🎥 NLP 05 N-gram 모델의 등장 – 확률로 다음 단어 예측하기

🧠 05. n그램 모델의 등장 – 확률로 다음 단어 예측하기

우리는 누군가 말할 때 자연스럽게 다음 단어를 예상합니다. 컴퓨터가 언어를 다루기 시작했을 때, 이 ‘예측’ 능력을 어떻게 구현할 수 있었을까요?

그 답은 바로 n그램 모델이었습니다. 앞의 단어 몇 개를 보고 다음 단어가 나올 확률을 계산하는 단순한 방식이지만, 이 아이디어는 음성 인식, 기계 번역, 검색 엔진 등 다양한 기술의 초석이 되었습니다.

n그램 모델은 컴퓨터가 언어를 규칙이 아닌 데이터로 다루기 시작한 첫 전환점이었습니다. 비록 데이터 희소성과 차원 폭발 같은 한계가 있었지만, 이 시도가 있었기에 오늘날 거대한 언어 모델이 탄생할 수 있었습니다.

✨ 이 영상에서 배우는 핵심

규칙 기반 접근의 한계를 어떻게 넘어섰는가

n그램 모델의 원리와 직관적 예시

실제 기술에 응용된 초기 사례들

한계와 그 이후 연구로 이어진 흐름

👉 다음 편에서는 단순한 단어 빈도를 넘어, 문서 속에서 단어의 가치를 평가한 혁신, TF-IDF를 만나봅니다.

🏷️ #자연어처리 #n그램 #언어모델 #AI역사 #NLPOdyssey