Deep Learning/from scratch I
[밑바닥부터 시작하는 딥러닝 - 5장 오차역전파법 I]
연쇄법칙 순전파는 왼쪽 -> 오른쪽으로 전달 역전파는 국소적인 미분을 반대로 오른쪽에서 왼쪽으로 전달함 계산 그래프의 역전파 신호 E에 노드의 국소적 미분(∂y/ ∂x)을 곱한 후 다음 노드로 전달 만약 y = f(x) = x^2 이라면 ∂y/ ∂x = 2x 값을 E에 곱하여서 앞 노드로 전달한다. 덧셈노드 역전파는 입력신호는 다음 노드로 그대로 전달함 곱셈노드 역전파는 입력신호들을 서로 바꾼값을 곱해서 보낸다 더하기는 1.1를 그대로 보내주고 곱하기의 역전파는 1.1*150(반대편 순전파의 값) =165를 반대편 역전파에 대입해준다. 곱셈계층에 대한 코드 class MulLayer: def __init__(self): #x,y를 초기화 , 순전파 시의 입력값 유지 self.x = None self.y ..
