马斯克的xAI越来越好:Grok-1.5提供了16倍长的短期记忆和改进的推理能力

来源:网界网 | 2024-03-29 17:01:51

马斯克的人工智能初创公司xAI推出了 Grok-1.5,这显然比之前的版本带来了一些重大改进。

Grok-1.5 现在能够处理 128k 个令牌,比之前的版本高出 16 倍。它本质上使模型能够提供高出 16 倍的短期记忆,从而能够处理更长的文档。

在法学硕士中,令牌是可以处理的最小数据单位。在文本上下文中,标记可以是单词或单词的一部分。据报道,Grok 的增强版还可以处理更复杂的提示。

Grok-1.5 现在还可以更好地执行编码和数学相关任务。为了提供一个想法,马斯克的人工智能初创公司分享了他们用新模型测试的一些基准结果。

“在我们的测试中,Grok-1.5 在 MATH 基准上取得了 50.6% 的成绩,在 GSM8K 基准上取得了 90% 的成绩,这两个数学基准涵盖了广泛的小学到高中的竞赛问题。” xAI 补充道:“此外,它在评估代码生成和解决问题能力的 HumanEval 基准测试中得分为 74.1%。”

Grok-1.5 构建在基于 JAX、Rust 和 Kubernetes 的自定义分布式训练框架之上。自定义训练协调器可确保自动检测到有问题的节点并将其从训练作业中删除。简而言之,他们成功地优化了培训流程。

Grok 目前仅限X Premium+订阅者使用。谈到 Grok-1.5 的可用性,该平台指出,早期测试者和现有 Grok 用户或 X Premium+ 订阅者将“很快”获得机会。预计将逐步向更广泛的受众推出。

相关阅读

每日精选