신경망

신경망은 여러개의 퍼셉트론을 쌓은 다층 퍼셉트론으로 볼 수 있으며 아래의 그림과 같이 입력층, 은닉층, 출력층으로 구성된다. 이전의 퍼셉트론이 임계값을 기준으로 0 아니면 1로 출력되는 계단함수를 활성화함수로 사용하는 반면 신경망은 비선형의 활성화 함수를 사용한다. 

활성화 함수란 가중치가 곱해진 입력신호의 총합을 활성화 할지 정해주는 함수이다. 예를 들어 아래와 같은 시그모이드 함수는 오른쪽에 값이 대입되어 출력값을 돌려주는 형태로 입력되는 값에 따라 다른 값을 출력하게 된다.

시그모이드 함수

 

흔하게 사용되는 활성화 함수는 ReLU이다. 아래의 그래프와 식과 같이  입력된 신호를 계산하지 않고 그대로 입력해주며 음수가 입력되는 경우는 무조건 0을 반환하는 방식이다.