Meta, Llama 3.1 405B 공개 — 최초의 오픈소스 초거대 모델

Meta가 Llama 3.1을 공개했습니다. 405B 모델은 오픈소스로 공개된 모델 중 가장 큰 규모이며, GPT-4에 필적하는 성능을 보여줍니다.

로컬에서 돌리기엔 여전히 무겁지만(최소 GPU 메모리 800GB), 8B와 70B 모델은 실용적입니다. 70B는 A100 1장이면 됩니다.

128K 컨텍스트, 다국어 지원 강화, 도구 사용(Tool Use) 능력 등이 개선됐습니다. 오픈소스 AI의 새로운 이정표입니다.