Ep 68 GPT 3 – 하나의 모델, 무한한 언어
- Track: nlp
- Era: era5
- Video ID: _hYD-8OJgKY
- Playlist: PLSucJlr3QLmwZ7N3CXwlUyn4Lx6awYUgC
- YouTube: Watch
- Thumbnail:
- Tags: chatgpt, deeplearning, nlp
GPT-3 (2020) – 초거대 언어 모델
1. 개요
- 발표: 2020년 6월, OpenAI
- 정의: 1,750억 개의 파라미터를 가진 초대형 언어 생성 모델
- 의미: 인간 수준의 텍스트 생성 능력으로 언어 AI의 새로운 기준을 제시함
2. 핵심 기술
- 기반 구조: GPT-2의 Transformer 아키텍처를 100배 이상 확장
- 학습 데이터: 인터넷 전체에서 수집된 대규모 텍스트(약 45TB 이상)
- 학습 방식: Autoregressive Language Modeling (다음 단어 예측)
- Few-shot / One-shot / Zero-shot 학습 지원: 예시 몇 개만으로 새로운 작업 수행 가능
3. 주요 능력
- 자연어 처리 전반: 문서 요약, 질문응답, 번역, 에세이 작성, 창작
- 코드 생성, 수학 문제 풀이, 철학적 대화 등 다양한 지식 도메인 대응
- 일관성 있는 장문의 텍스트 생성 가능
4. 혁신적 특징
- 범용성: 한 모델이 다양한 작업에 무파인튜닝 상태로 대응
- Few-shot 학습: 학습 없이도 몇 개의 예시만으로 새로운 태스크 수행
- 다양한 문체, 인격, 지식 배경으로 응답 가능
5. 한계와 논란
- 사실 오류, 환각(hallucination), 편향된 발화 등
- 높은 연산 비용과 에너지 소비
- 가짜 뉴스, 악용 우려로 윤리적 논쟁
6. 의의
- GPT-3는 단순한 언어모델을 넘어,
- 하나의 모델이 수많은 인간 작업을 수행할 수 있다는
- 범용 인공지능(AGI)의 가능성을 처음으로 눈앞에 보여준 존재였다.