谷歌发布了一个基于用于创建 Gemini 的技术的开源大型语言模型，该模型功能强大但轻量级，经过优化，可以在笔记本电脑或云基础设施等资源有限的环境中使用。
Gemma 可用于创建聊天机器人、内容生成工具以及语言模型可以执行的几乎所有其他操作。这是 SEO 一直在等待的工具。
它发布了两个版本，一个版本有 20 亿个参数(2B)，另一个版本有 70 亿个参数(7B)。参数的数量表明模型的复杂性和潜在能力。具有更多参数的模型可以更好地理解语言并生成更复杂的响应，但它们也需要更多的资源来训练和运行。
发布 Gemma 的目的是民主化对最先进人工智能的访问，这些人工智能经过训练，开箱即用，安全可靠，并提供工具包进一步优化其安全性。
该模型的开发是轻量级且高效的，这使其成为更多最终用户手中的理想选择。
谷歌官方公告指出了以下要点：
“我们发布了两种尺寸的模型配重：Gemma 2B 和 Gemma 7B。每个尺寸都发布了经过预训练和指令调整的变体。
新的 Responsible Generative AI 工具包为使用 Gemma 创建更安全的 AI 应用程序提供了指导和基本工具。
我们通过原生 Keras 3.0 提供跨所有主要框架的推理和监督微调 (SFT) 工具链：JAX、PyTorch 和 TensorFlow。
即用型 Colab 和 Kaggle 笔记本，以及与 Hugging Face、MaxText、NVIDIA NeMo 和 TensorRT-LLM 等流行工具的集成，让您可以轻松开始使用 Gemma。
预先训练和指令调整的 Gemma 模型可以在您的笔记本电脑、工作站或 Google Cloud 上运行，并可轻松部署在 Vertex AI 和 Google Kubernetes Engine (GKE) 上。
跨多个 AI 硬件平台的优化可确保行业领先的性能，包括 NVIDIA GPU 和 Google Cloud TPU。
使用条款允许所有组织(无论规模大小)负责任地进行商业使用和分发。”
杰玛分析
根据 Apple 机器学习研究科学家 Awni Hannun 的分析，Gemma 经过优化，效率极高，适合在资源匮乏的环境中使用。
Hannun 观察到，Gemma 的词汇量为 250,000 (250k) 个标记，而类似模型的词汇量为 32k。其重要性在于，Gemma 可以识别和处理更广泛的单词，从而能够处理复杂语言的任务。他的分析表明，这种广泛的词汇量增强了模型在不同类型内容上的多功能性。他还认为这可能对数学、代码和其他模式有所帮助。
还值得注意的是，“嵌入权重”非常大(7.5 亿)。嵌入权重是对有助于将单词映射到其含义和关系的表示的参数的引用。
他指出的一个重要特征是，嵌入权重对单词含义和关系的详细信息进行编码，不仅用于处理输入部分，还用于生成模型的输出。这种共享允许模型在生成文本时更好地利用其对语言的理解，从而提高了模型的效率。
对于最终用户来说，这意味着模型能够提供更准确、更相关、更适合上下文的响应(内容)，从而改善其在内容生成以及聊天机器人和翻译中的使用。
他发推文说：
“与其他开源模型相比，词汇量很大：Mistral 7B 的词汇量为 250K 与 32k也许对数学/代码/其他带有大量符号的模式有很大帮助。而且嵌入权重很大(~750M 参数)，因此它们与输出头共享。”
在后续推文中，他还指出了训练的优化，这可能会转化为更准确和更精细的模型响应，因为它使模型能够在训练阶段更有效地学习和适应。
他还说：
“均方根标准重量有一个单位偏移。他们不是“x * 重量”，而是“x * (1 + 重量)”。
我认为这是一个训练优化。通常权重初始化为 1，但很可能它们初始化为接近 0。与所有其他参数类似。”
他接着说，数据和训练方面有更多优化，但这两个因素尤其突出。
设计安全、负责
一个重要的关键功能是它从头开始就安全设计，这使其非常适合部署使用。训练数据经过过滤，删除个人信息和敏感信息。谷歌还利用人类反馈的强化学习(RLHF)来训练模型的负责任行为。
通过手动重新组合、自动化测试对其进行了进一步调试，并检查了是否有能力进行不需要的和危险的活动。
谷歌还发布了一个工具包来帮助最终用户进一步提高安全性：
“我们还与 Gemma 一起发布了新的Responsible Generative AI Toolkit，以帮助开发人员和研究人员优先构建安全且负责任的 AI 应用程序。该工具包包括：
安全分类：我们提供了一种新颖的方法，可以用最少的示例构建强大的安全分类器。
调试：模型调试工具可帮助您调查 Gemma 的行为并解决潜在问题。
指导：您可以根据 Google 在开发和部署大型语言模型方面的经验，获取模型构建者的最佳实践。”
