Deep Learning/from scratch I
[밑바닥부터 시작하는 딥러닝 - 5장 오차역전파법 II]
Affine/Softmax 계층 구현 Affine 계층 어파인계층은 행렬의 곱을 사용하여 계산한다. X는 ∂L/ ∂X과 같은 형상이고, W는 ∂L/ ∂W와 같은 형상이다. 행렬의 곱의 역전파는 대응하는 차원의 원소수가 일치하도록 곱을 조립한다. 배치용 Affine 계층 데이터N개를 묶어 순전파 하는 경우에는, 배치용 affine 계층을 생각해볼 수 있다. 순전파 때의 편향 덧셈은 X*W 에 대한 편향이 각 데이터에 전해진다. 예를들어 N=2 일 경우, 편향이 두개의 데이터 각각에 더해진다. X_dot_W = np.array([[0,0,0], [10,10,10]]) B = np.array([1,2,3]) X_dot_W array([[ 0, 0, 0], [10, 10, 10]]) X_dot_W + B arr..
