Ep 13 Backpropagation Algorithm 역전파 알고리즘 — 신경망의 부활
- Track: core
- Era: all
- Video ID: Sd8mNftkfRw
- Playlist: PLSucJlr3QLmwDNCNogSICJ3dCUyD-_-_6
- YouTube: Watch
- Thumbnail:
역전파 알고리즘 (Backpropagation Algorithm, 1986) — 신경망의 부활
개념 요약 역전파 알고리즘은 인공 신경망을 학습시키는 핵심 방법 중 하나로, 출력층에서 계산된 오차(error)를 출력 → 은닉층 → 입력층 순으로 거꾸로 전달하며 각 가중치(weight)를 조정하는 방식이다.
등장 배경
- 1969년 XOR 문제로 단층 퍼셉트론의 한계가 드러나면서, 다층 신경망(Multi-layer Perceptron, MLP)의 필요성은 인식됐지만 효율적인 학습 방법이 없어서 발전이 정체됨.
- 1980년대 중반까지도 심층 구조는 이론적으로 가능했지만 실제 학습은 불안정하거나 너무 느렸다.
전환점
- 1986년 데이비드 럼멜하트(David Rumelhart), 제프리 힌튼(Geoffrey Hinton), 로널드 윌리엄스(Ronald Williams)가 기존의 경사하강법(Gradient Descent)을 개선하여 오차의 체인 룰 전파를 공식화.
- 이로써 다층 신경망에서 가중치를 효과적으로 업데이트할 수 있게 됨.
핵심 원리
- 순전파(Forward pass): 입력을 네트워크에 통과시켜 출력 계산
- 오차 계산(Error calculation): 예측과 실제 값의 차이를 계산
- 역전파(Backward pass): 체인 룰을 이용해 오차를 각 층의 가중치 기울기로 변환
- 가중치 업데이트(Weight update): 학습률(learning rate)에 따라 가중치 조정
영향과 의의
- 다층 퍼셉트론 학습을 가능하게 함으로써 신경망 르네상스의 기초 마련
- 이후 CNN, RNN 등 모든 심층 학습 모델의 학습 기반이 됨
- 2000년대 딥러닝 부흥의 토대 역할 수행
한 문장 정리
- 역전파 알고리즘은 신경망의 잠자고 있던 가능성을 깨운,
- 현대 딥러닝의 첫 심장박동이었다.