🔤 Subword Tokenization - BPE가 어휘 문제를 해결하다

🔤 16. Subword Tokenization - BPE가 어휘 문제를 해결하다

단어 기반 모델의 한계를 넘어, 단어를 작은 조각으로 나누어 처리하는 서브워드 토크나이징이 등장했습니다. 비피이 알고리즘은 새로운 단어도 부분 조합으로 다루며, 신조어와 다국어까지 유연하게 처리할 수 있게 만들었습니다.

✨ 핵심 포인트

사전에 없는 단어 문제 해결

비피이 알고리즘의 아이디어

다국어 모델에서의 강점

의미 단위 손실과 맥락 부족의 한계

👉 다음 에피소드: 17. 형태소 분석의 발전 – 언어별 특성을 반영한 토크나이징

🏷️ #자연어처리 #서브워드 #BPE #NLPOdyssey #AI역사