untitled-3
대규모 언어 모델 표 요약
모델별 정보
| 모델 | 날짜 | 개발사 | 파라미터 개수 | 오픈 소스 여부 |
|---|---|---|---|---|
| GPT-3 | 2020년 5월 | 오픈AI | 175,000,000,000 | N |
| GPT-Neo | 2021년 3월 | EleutherAI | 2,700,000,000 | Y |
| GPT-J | 2021년 6월 | EleutherAI | 6,000,000,000 | Y |
| 메가트론-튜링 NLG | 2021년 10월 | 마이크로소프트 & NVIDIA | 530,000,000,000 | N |
| Gopher | 2021년 12월 | 딥마인드 | 280,000,000,000 | N |
| LaMDA | 2022년 1월 | 구글 | 137,000,000,000 | N |
| GPT-NeoX | 2022년 2월 | EleutherAI | 20,000,000,000 | Y |
| 친칠라 | 2022년 3월 | 딥마인드 | 70,000,000,000 | N |
| PaLM | 2022년 4월 | 구글 | 540,000,000,000 | N |
| Luminous | 2022년 4월 | 알레프 알파 | 70,000,000,000 | N |
| OPT | 2022년 5월 | 메타 | 175,000,000,000 | Y (660억 개 파라미터 모델) |
| BLOOM | 2022년 7월 | 허깅 페이스 | 175,000,000,000 | Y |
| Flan-T5 | 2022년 10월 | 구글 | 11,000,000,000 | Y |
| GPT-3.5 | 2022년 11월 | 오픈AI | 비공개 | N |
| LLAMA | 2023년 2월 | 메타 | 65,000,000,000 | N |
| GPT-4 | 2023년 3월 | 오픈AI | 비공개 | N |
주요 트렌드
- 파라미터 개수 증가: 최신 모델일수록 파라미터 개수가 크게 증가.
- 오픈 소스 여부: 일부 모델은 오픈 소스로 공개되어 연구와 응용에 활용 가능.
요약
- 주요 모델: GPT-3, 메가트론-튜링 NLG, Gopher, PaLM 등.
- 개발사: 다양한 기관에서 개발, 구글, 오픈AI, 메타, EleutherAI, 딥마인드 등.
- 파라미터 개수: 수십억에서 수천억 개까지 다양.
- 오픈 소스: 일부 모델은 공개되어 자유롭게 사용 가능 (예: GPT-Neo, GPT-J, OPT, BLOOM 등). 이 표는 최신 대규모 언어 모델들의 개발 동향과 주요 특징을 한눈에 파악할 수 있게 해줍니다.