🌍 12 GloVe의 글로벌 관점 – 전역 통계와 지역 문맥의 결합

• Track: nlp
• Era: all
• Video ID: zAIfKBC-DGg
• Playlist: PLSucJlr3QLmwYcQ3XsyNkyiOl1chU3pAA
• YouTube: Watch
• Thumbnail:
• Tags: 자연어처리, 글로브, 단어임베딩, NLPOdyssey, AI역사

---

🌍 12. GloVe의 글로벌 관점 – 전역 통계와 지역 문맥의 결합

워드투벡이 주변 단어의 문맥을 중심으로 학습했다면, 글로브는 언어를 훨씬 넓은 시야에서 바라보았습니다. 단어가 말뭉치 전체에서 얼마나 자주 함께 등장하는지를 통계적으로 기록하고, 그 전역적 정보를 단어 벡터에 반영했습니다. 이 방식은 지역적 문맥과 전역적 통계를 동시에 결합한 새로운 접근이었습니다.

이 혁신 덕분에 단어들은 단순히 이웃 단어와의 관계뿐 아니라, 언어 전체 속에서의 위치와 의미를 반영할 수 있게 되었습니다. 왕과 여왕처럼 비슷한 의미의 단어들은 더 가깝게, 전혀 다른 의미의 단어들은 멀리 배치되면서 의미 공간은 한층 정밀해졌습니다.

물론 글로브에도 한계는 있었습니다. 방대한 말뭉치를 처리해야 하므로 계산 비용이 컸고, 문맥에 따라 달라지는 단어 의미를 완벽히 설명하지는 못했습니다. 그럼에도 불구하고 글로브는 단어 임베딩 연구에서 중요한 이정표가 되었으며, 이후 딥러닝과 맥락적 임베딩으로 이어지는 길을 열었습니다.

👉 다음 에피소드: 13. 파스트텍스트의 확장 – 부분 단어 정보까지 활용하다

🏷️ #자연어처리 #글로브 #단어임베딩 #NLPOdyssey #AI역사