Ep 59 Transformer 트랜스포머 – "어텐션만으로 충분하다"
- Track: nlp
- Era: era4
- Video ID: 1Uiq995gJoM
- Playlist: PLSucJlr3QLmy04NNsa7eBBbVaV-zhDxNc
- YouTube: Watch
- Thumbnail:
- Tags: transformer, ai, alexnet, deeplearning, attention
트랜스포머 (Transformer) (2017) – "어텐션만으로 충분하다" 정리
1. 개요
- 발표: 2017년, Google Brain & University of Toronto 연구진
- 논문: “Attention Is All You Need”
- 의미: RNN/LSTM 없이 어텐션 메커니즘만으로 시퀀스 데이터를 처리하는 혁신적인 아키텍처
2. 핵심 아이디어
- 셀프 어텐션(Self-Attention): 모든 단어가 문장의 다른 모든 단어와 직접 관계를 계산
- 병렬 처리 가능: RNN처럼 순차적으로 처리하지 않아 GPU 병렬 연산 최적화
- 포지셔널 인코딩(Positional Encoding): 단어 순서 정보를 수학적으로 인코딩해 어텐션과 결합
- 멀티-헤드 어텐션(Multi-Head Attention): 여러 시각에서 문맥 관계를 동시에 학습
3. 주요 성과
- 번역, 요약, 질의응답 등 거의 모든 NLP 태스크에서 성능 혁신
- BERT, GPT, T5, PaLM, ChatGPT 등 현대 대규모 언어모델(LLM)의 토대가 됨
- 자연어 처리에서 이미지, 오디오, 멀티모달 영역까지 확장
4. 한계
- 매우 큰 연산량 → 긴 시퀀스 처리 시 메모리 사용량 폭발
- 대규모 데이터와 하드웨어 필요
- 학습 과정이 불투명(Black-box 문제)
5. 역사적 의의
- Transformer는 언어 이해와 생성의 새로운 표준을 제시하며, AI 혁신의 패러다임을 완전히 바꾸어 놓았다.
📌 마지막 한 문장
- "Attention was all it needed — and it changed AI forever."