Deep Learning/from scratch I
[밑바닥부터 시작하는 딥러닝 - 6장 학습 관련 기술들 I]
최적화(optimization) 이란 loss function의 값을 낮추는 매개변수의 최적값을 찾는 과정이다 확률적 경사 하강법(SGD)-> 매개변수의 기울기를 구하여 기울어진 방향으로 매개변수값 갱신 W: 갱신할 가중치 매개변수 ∂L/ ∂W: W에 대한 손실 함수의 기울기 η: learning rate(0.01또는 0.001) class SGD: def __init__(self, lr=0.01): self.lr = lr def update(self, params, grads):#딕셔너리 형태의 변수 for key in params.keys(): params[key] -= self.lr * grads[key] update 메서드 SGD과정에서 반복함. params['W1'], grads['W1'] 와 ..
