딥러닝(Deep Learning) - 활성화 함수

퍼셉트론에서는 활성화함수로 계단 함수를 이용한다.

신경망의 활성화 함수는 출력계층의 값이 커지면 최종 출력이 1로 수렴하는 단위 계단함수와 로지스틱 함수를 사용

 

1. 시그모이드 함수

• 신경망에서 자주 이용하는 활성화 함수
• 신경망에서는 활성화 함수로 시그모이드 함수를 이용하여 신호를 변환하고, 그 변환된 신호를 다음 뉴런에 전달함.

 

 

2. 계단함수

 

 

 

 

 

3. ReLU 함수

• 최근에는 ReLU 함수 (렐루함수) 사용 (입력이 0을 넘으면 그 입력을 그대로 출력, 0 이하이면 0 출력)
• 시그모이드함수와 쌍곡 탄젠트 함수는 미분 계산을 기반으로 두는 함수이지만 ReLU는 0또는 입력값을 그대로 내보내기 때문에 계산이 편리하다
• 심층신경망(Deep Neural Network, DNN) -> 시그모이드 함수에 전파와 역잔파를 여러 번 적용하다가 보면 가중치가 발생하거나 곡선의 기울기가 0이 되어버리는 기울기 소실문제(vanishing gradient problem)가 발생하므로 ReLU 사용

 

 

 

 

4. Leaky ReLU 함수

• 활성화 함수를 잘못 선택하면 자칫 그래디언트의 소실이나 폭주로 이어질 수 있다.
• 대부분의 사람들은 생물학적 뉴런의 방식과 비슷한 시그모이드 활성화 함수가 최선의 선택이라고 생각했지만, 다른 활성화 함수가 심층 신경망에서 훨씬 더 작동한다는 사실이 밝혀졌다.
• ReLU 함수는 특정 양숫값에 수렴하지 않는다는 커다란 장점이 있다.
•