#本地化运行Gemma2#

Gemma 2 是谷歌最新的轻量级开放大语言模型。基于 Gemini 开发，拥有 8K Tokens 的上下文长度。与第一代模型相比具有更好的性能，且显著改进了安全能力。

除了从Kaggle、Colab 笔记本、Hugging Face运行之外，今天介绍的这个开源库还提供了一种可以从命令行界面或者 Python 库本地运行 Gemma2 的方法！

它建立在 Transformer 和 bitsandbytes 库之上。只需要简单的安装，就可以在命令行界面直接配置和交互，或者通过Python库进行操作。

Gemma 2有 9B（90 亿）参数 和27B（270 亿）参数两种规模，分别具有基础（预训练）和指令调优版本。在27B中，它和比它参数大两倍多的模型性能相当。

它可以在单个 NVIDIA H100 Tensor Core GPU 或 TPU 主机上实现，显著降低部署成本。此外它还具有广泛的框架兼容性，可以更轻松地集成到现有工作流程中，适合开发人员和研究人员使用。

首次使用 Google Cloud 的客户可能有资格获得 300 美元的赠金。学术研究人员可以申请 Gemma 2 学术研究计划，获得 Google Cloud 积分。申请从现在开始到8月9日截止。

地址：O网页链接