Ep 61 GPT 2 – 너무 똑똑해서 잠시 봉인된 언어모델
- Track: nlp
- Era: era5
- Video ID: wdIX0oPMFgA
- Playlist: PLSucJlr3QLmwZ7N3CXwlUyn4Lx6awYUgC
- YouTube: Watch
- Thumbnail:
- Tags: gpt, chatgpt, nlp
GPT-2 (2019) – 위험성 우려로 제한 공개
1. 개요
- 발표: 2019년 2월, OpenAI
- 정의: 15억 개 파라미터를 가진 대규모 Transformer 기반 언어모델
- 의미: 한 줄의 입력만으로 문단 전체를 일관성 있고 설득력 있게 생성
- 특징: 공개 직후 악용 가능성 우려로 전체 모델을 즉시 공개하지 않음
2. 배경 – 언어모델의 도약과 우려
- 기존 언어모델보다 훨씬 길고 자연스러운 텍스트 생성 가능
- 가짜 뉴스, 허위 정보, 자동 스팸 제작 등에 악용될 가능성 제기
- “너무 위험해서 공개하지 않는다”는 발표로 전 세계 주목
3. 핵심 기술
- Transformer 아키텍처 기반
- 학습 데이터: 대규모 웹 크롤링 텍스트
- 학습 방식: 다음 단어 예측(Autoregressive LM)
- 성과: 특정 주제·스타일·형식을 따라가는 고품질 생성
4. 공개 과정
- 초기에는 1.17억, 3.45억 파라미터 소규모 버전만 공개
- 반년 뒤, 전체 15억 파라미터 모델 공개
- 공개 후 커뮤니티에서 챗봇, 스토리 생성, QA 등 다양한 활용 확산
5. 영향과 유산
- AI 윤리·책임 있는 공개 논의의 불씨 제공
- 언어모델의 사회적 영향력에 대한 경각심 제고
- GPT-3, ChatGPT로 이어지는 초거대 언어모델 시대의 전초전
6. 의의
- GPT-2는 AI의 창작 능력이 사회에 미칠 파급력을
- 전 세계가 처음으로 실감하게 한 순간이었다.