Google 近日推出开放式模型 Gemma,NVIDIA 亦宣布与 Google 展开多项合作关系,包括:在所有 NVIDIA AI 平台上(包括本地端 RTX AI PC、云端、资料中心)针对 Gemma 进行最佳化。同时,NVIDIA 自家的 Chat With RTX 也将很快加入支援 Gemma 的行列。
Gemma 是 Google 在本周稍早推出的开放式模型(open model),分别有两种规模,包括:Gemma 2B 和 Gemma 7B。NVIDIA 与 Google 双方团队共同合作,透过用来最佳化 LLM 模型推论能力的开源函式库 NVIDIA TensorRT-LLM,针对在资料中心或云端环境运行的 NVIDIA GPU,以及在搭载 NVIDIA RTX GPU 的 AI PC 上,加速 Gemma 的运行效能。
NVIDIA 在新闻稿中表示,如此一来,开发者便能锁定 AI PC 进行开发。此外,还能以云端环境里的 NVIDIA GPU 运行 Gemma 模型,包括在搭载 H100 Tensor 核心 GPU 的 Google Cloud A3 实体,以及 Google 未来将引入的 NVIDIA H200 Tensor Core GPU(该 GPU 拥有 141GB HBM3e 记忆体,每秒执行速度为 4.8 TB)。
企业开发者也可以运用 NVIDIA 的工具生态系统,包括配备 NeMo 框架和 TensorRT-LLM 的 NVIDIA AI Enterprise,来微调 Gemma 并且在其生产力应用程式中部署经过最佳化调整的模型。
Chat with RTX 即将支援 Gemma
Chat With RTX 是 NVIDIA 在本月稍早推出的个性化聊天 AI 机器人,可以让使用者将资料连接到有 RTX 支援的 PC 的大型语言模型,并且从自己的档案和内容快速地获取量身打造的个性化资讯,Chat with RTX 最大的亮点就是可以在本地执行。
NVIDIA 表示,这项工具也将加入支援 Gemma。
核稿编辑:Jocelyn
快加入 INSIDE Google News 按下追踪,给你最新、最 IN 的科技新闻!
核稿编辑: