주요 LLM
- LLaMA: 페이스북이 공개(상업적 이용X)
- MPT: Llama와 비슷하지만 상업적 이용이 가능
- Falcon: TII에서 공개한 모델. 성능이 높음. 허깅페이스에서 다운로드 가능
- XGen: 최대 8K 시퀀스로 학습(타 모델은 보통 2K 정도)
- Vicuna: ShardGPT로 부터 수집된 대화로 LLaMA를 fine-tuning한 모델
리더보드
- 오픈소스 LLM 리더보드: ARC, HellaSwag, MMLU, TruthfulQA 로 성능 비교
- 오픈 LLM-Perf 리더보드: LLM의 성능을 메모리, 처리 속도 그리고 위의 리더보드에서 4가지 점수의 평균으로 비교
데이터셋
- Stanford Alpaca
- OpenOrca: MS의 Orca 논문을 바탕으로 만든 데이터셋
- Redpajama: Llama의 데이터셋을 재현하기 위한 개방형 프로젝트
한국어 LLM