학습 관련 기술 : 가중치 초기값

---

가중치 초기값의 설정

가중치 초기값을 잘못 설정 할 경우 생기는 문제점

가중치의 표준편차를 매우 크게 잡을경우

가중치를 평균이 0, 표준편차가 1인 정규분포로 초기화할 때의 각층의 활성화값 분포

활성화 값이 0과 1로 치우친다.

0과 1로 치우치면 그 미분값이 0에 가까워 진다.

0에 가까워진 값을 계속해서 역전파를 해 나가면 값이 계속 작아져 Vanishing Gradient Problem이 발생한다.

Vanishing Gradient Probelm

 

가중치의 표준편차를 매우 크게 잡을경우

가중치를 평균이 0, 표준편차가 0.01인 정규분포로 초기화할 때의 각층의 활성화값 분포

활성화 값이 가운데에 몰리게 된다.

표준편차가 매우 작으면 가중치의 값들이 거의 비슷하게 된다.

같은 가중치값으로 학습을 할 경우 같은 값을 출력함

100개의 뉴런으로 이루어진 신경망이나 1개의 뉴런으로 이루어진 신경망이나 같은 성능을 보임

표현력 제한하는 문제가 발생

가중치 초기값 설정

Sigmoid를 사용할 때의 가중치 초기값

LeCun initialization : W ~ N(0, 1/n.in)

Xavier initialization : W ~ N(0, 2/n.in+n.out)

Relu를 사용할 때의 가중치 초기값

He initialization : W ~ N(0, 2/n.in)