ELMo의 맥락화 — 문맥에 따라 달라지는 단어 표현

🧠 ELMo의 맥락화 – 문맥에 따라 달라지는 단어 표현

언어는 맥락에 따라 의미가 달라집니다. 같은 단어라도 상황에 따라 전혀 다른 뜻을 가지죠. 그러나 기존 임베딩 모델은 단어마다 고정된 벡터를 사용했기에 이런 변화를 반영하지 못했습니다.

엘모는 이 한계를 깨고 등장했습니다. 양방향 언어 모델을 통해 문장의 앞뒤를 모두 참고하며, 단어가 놓인 맥락에 따라 다른 벡터를 생성했습니다. 덕분에 ‘bank’가 강둑일 때와 은행일 때, ‘파이썬’이 뱀일 때와 프로그래밍 언어일 때가 구분되기 시작했습니다.

✨ 핵심 포인트

고정 임베딩이 가진 다의어 처리의 한계

문맥에 따라 달라지는 동적 벡터의 필요성

엘모가 만든 번역, 요약, 질의응답의 혁신

계산량이 많아 속도와 자원 소모에 제약이 있었던 한계

엘모는 단어 임베딩을 문맥화하며 자연어 처리의 판도를 바꾸었습니다. 이후 버트와 지피티 같은 거대 언어 모델로 이어지는 중요한 출발점이 되었죠.

👉 다음 이야기: BERT의 양방향 – 양쪽에서 문맥을 이해하는 혁신

🏷️ #ELMo #NLP #자연어처리 #NLPOdyssey #AI역사