Meta周四 宣布推出新一代大语言模型(LLM) Llama 3，共有80 亿和700 亿参数两种版本，用了24000 块GPU、15 万亿个token 训练训练的Llama 3 一亮相便登上开源大模型铁王座，而随着推理编码大幅提升，代码和权重全开源，加上4000 亿参数的版本也正在开发，专家认为4000 亿参数的版本推出后将是全球首个开源GPT-4 级别的模型。
Meta 这次推出的80 亿和700 亿参数模型分别有预训练和指令微调两种版本，Meta 也声称Llama 3 效能优于Claude Sonnet、Mistral Medium 和GPT-3.5。
80 亿参数版本让所有人都能接触最前端的AI 技术，全球各地的开发人员、研究人员都可以借此进行游戏、建造和实验，不过上下文长度相较之前虽增加一倍，但依然只能一次生成8 千字。
Meta 也预告，接下来几个月将发布多个新功能的模型，包括多语言对话、更长上下文，以及整体能力提升。
在性能上，8B 和70B 显著优于Llama 2，取代了SOTA，预训练模型和指令微调模型在8B 和70B 的参数规模上取得了如此先进的性能，都是得益于预训练和训练后的改进。
此外，Llama 3 已能在网页版Meta AI 使用且免登录，AI 模型资源平台Hugging Face 共同创办人兼执行官表示：Llama 1 和2 现已衍生出3 万个新模型，Llama 3 将给AI生态带来更大冲击。
不过，80 亿跟700 亿参数版本的Llama 3 还只是开胃菜，Llama 3 的4000 亿参数版本不久便要解禁，目前还在训练中，其中预训练版本在推理挑战测试集ARC-Challenge 上拿下96 的高分，Llama 3 的4000 亿参数指令微调版更在数学(GSM-8K)、代码(Human-Eval)、大规模多任务语言理解基准(MMLU)上表现非常亮眼。
英伟达高级科学家范麟熙(Jim Fan) 将Llama 3 的4000 亿参数版本与Claude 3 Opus、GPT-4-2024-04-09 版和Gemini 在同基准数据中进行对比，结果显示Llama 3 的4000 亿参数版本在多语言推理任务跟代码能力，已经能跟GPT-4、Claude 3 相匹敌，甚至完全胜过Gemini Ultra 1.0。
OpenAI 共同创办人兼AI 研究员Andrej Karpathy 认为，Llama 3 的4000 亿参数版本将会是首个开源GPT-4 级别的模型，范麟熙也说Llama 3 的4000 亿参数版本将成为一个分水岭，将改变许多研究工作和草根创业公司的计算方式。
OpenAI 研究科学家Will Depue 也表达同样看法，认为Llama 3 的4000 亿参数版本将让未来的可能性无穷无尽，非常期待这样一款开源GPT-4 级别的模型。
