谷歌在今年Google I/O 2024期间宣布推出全新开源模型Gemma 2,本身针对TPU、GPU加速优化,并且能输出2倍高的模型运行效能,最多更可对应270亿组参数,但同时也提供可对应90亿组参数的小规模版本,接下来也会提供更小规模设计的26亿组参数版本,将可在手机端执行。
在稍早说明中,Gemma 2可通过数据建模与数据分析竞赛平台Kaggle取得,或是通过全名为Colaboratory的网页编写程序平台Colab免费服务取用,而学术研究人员也能通过研究计划申请使用。
从相关模测流程中,Gemma 2 270亿组参数版本在微调模式中的执行效能,可超越700亿参数规模的Llama 3,同时也超越3400亿组参数的Nemotron 4,以及Claude 3 Sonnet、Command R+、Qwen 72B等模型,至于90亿组参数版本更成为当前150亿组参数以下规模最佳效能模型。
依照说明,90亿组参数版本的Gemma 2在4096组TPU v4构成运算丛集训练,270亿组参数规模版本则是在TPU v5p运算丛集上训练,总计使用6144组芯片。 而整体架构上,Gemma 2采重新设计形式打造,导入类似Gemma 1.1的运算模式,但是加上更多学习监督与模型合并,使Gemma 2在编成、数学、推理及安全等项目对比Gemma 1.1均有明显提升。
此外,Gemma 2 270亿组参数规模版本可在Google Cloud TPU服务器、NVIDIA A100 80GB Tensor Core GPU或H100 Tensor Core GPU上,以高效能执行全精度推理,可在维持高效能运算的同时降低运作成本,借此让企业、开发者能以更经济实惠方式执行、布署人工智能服务。
而谷歌也强调以负责任形式打造Gemma 2,同时也说明应用Gemma 2的安全特性,并且遵循内部安全流程,将训练前的数据进行过滤,避免出现潜在偏见等风险。