Ep 58 선택과 집중의 알고리즘 – 어텐션의 탄생
- Track: nlp
- Era: all
- Video ID: mqTdewsmggg
- Playlist: PLSucJlr3QLmwYcQ3XsyNkyiOl1chU3pAA
- YouTube: Watch
- Thumbnail:
- Tags: attention, transfomer, bert, nlp, rnn, lstm, query
집중의 힘 – 어텐션 메커니즘이 바꾼 AI의 사고방식
1. 개요
- 발표 시기: 2015년 (Neural Machine Translation by Jointly Learning to Align and Translate)
- 정의: 시퀀스 처리 과정에서 입력의 모든 요소를 고려하되, 중요한 부분에 더 높은 가중치를 부여하는 신경망 구조
- 의미: 긴 문맥 처리와 정보 손실 문제를 완화하며, AI가 맥락을 이해하는 방식을 혁신
- 역사적 위치: 이후 Transformer(2017)와 GPT 계열 모델의 핵심 토대
2. 배경 – 긴 문맥의 한계
- 기존 RNN·LSTM은 시퀀스 길이가 길어질수록 기울기 소실로 초반 정보가 희미해짐
- 번역·요약·질의응답에서 긴 문장을 처리하는 데 품질 저하 발생
3. 핵심 아이디어
- 입력의 각 요소에 연관도(유사도) 기반 가중치 부여
- Query–Key–Value 구조로, 관련성이 높은 정보만 강조
- 불필요한 정보는 억제하고 필요한 맥락만 집중적으로 반영
4. 주요 성과
- 번역 품질 향상, 특히 긴 문장에서 맥락 유지
- 요약, 질의응답, 이미지 캡션 생성 등 다양한 태스크로 확산
- 멀티헤드 어텐션을 통한 다중 시각 관점 분석 가능
5. 영향력
- Transformer 구조의 핵심 요소
- 텍스트뿐 아니라 이미지, 음성, 영상까지 적용 → 멀티모달 AI의 기반
- GPT, BERT, DALL·E 등 현대 거대 모델 전반에 사용
6. 의의
- 어텐션 메커니즘은 AI가 모든 정보를 똑같이 대하는 ‘평등한 처리’에서, 상황에 따라 선택과 집중을 하는 ‘지능적 처리’로 진화하는 전환점이었다.