인공 신경망

1. 활성화 함수

Heaviside 함수

Heaviside는 미분 불가능

생물학적 관점에서 봤을 때 뉴런이 동작하는 원리와 가장 유사하다.

Sigmoid 함수

Sigmoid 함수 : Heaviside를 최대한 유사하게 만든 미분 가능한 함수 

미분이 가능해야, 학습하여 가중치의 최적 값을 자동으로 획득할 수 있으므로 Sigmoid를 쓴다.

 

퍼셉트론에서는 활성화 함수를 Heaviside 함수를 쓰지만

신경망에서는 Sigmoid, Relu와 같은 함수를 쓴다.