Video thumbnail

💡 Self-Attention의 위력 — 자기 자신과의 대화

💡 Self-Attention의 위력 — 자기 자신과의 대화

셀프 어텐션은 단어가 자기 자신을 포함해 모든 단어와 연결되는 방식으로 문맥을 정밀하게 포착했습니다. 순환 구조의 한계를 넘어 전체 문장을 한 번에 바라볼 수 있게 하며, 트랜스포머의 핵심이 되었습니다.

✨ 핵심 포인트

순차적 구조의 한계

셀프 어텐션의 원리와 장점

문맥 이해와 성능 도약

계산량 증가와 위치 정보 부족의 과제

👉 다음 이야기: 트랜스포머 — Attention Is All You Need

🏷️ #SelfAttention #Transformer #NLP #AI역사 #NLPOdyssey

Up next

📐 Positional Encoding — 순서 정보를 어떻게 넣을까 #PositionalEncoding #Transformer #NLP #AI역사 #NLPOdyssey

💡 Self-Attention의 위력 — 자기 자신과의 대화 #SelfAttention #Transformer #NLP #AI역사 #NLPOdyssey - AI Odyssey NLP