自行部署模型概览

Model Garden 提供可自行部署的开放模型和合作伙伴模型,您可以在 Vertex AI 上部署和提供这些模型。这些模型不同于模型即服务 (MaaS) 产品,后者是无服务器的,无需手动部署。

自行部署模型时,您可以在自己的 Google Cloud 项目和 VPC 网络中安全地部署模型。

自行部署开放模型

开放模型为各种 AI 任务提供预训练模型,包括擅长多模态处理的 Gemini 模型。开放模型可免费使用,您可以随意发布其输出,并在遵守其许可条款的情况下随时随地使用该模型。Vertex AI 提供开放模型(也称为“开放权重”)和开源模型。

将开放模型与 Vertex AI 搭配使用时,您可以将 Vertex AI 用于基础设施。您还可以将开放模型与其他基础设施产品(例如 PyTorch 或 Jax)搭配使用。

开放权重模型

许多开放模型都被认为是开放权重大语言模型 (LLM)。开放模型比非开放权重模型的透明度更高。模型的权重是存储在模型的神经网络架构中的数值,用于表示从训练模型的数据中学习的模式和关系。系统会发布开放权重模型的预训练参数或权重。您可以使用开放权重模型进行推理和调优,但不提供原始数据集、模型架构和训练代码等详细信息。

开源模型

开放模型不同于开源 AI 模型。虽然开放模型通常会公开已学模式的权重和核心数值表示法,但不一定会提供完整的源代码或训练细节。提供权重可提供一定程度的 AI 模型透明度,让您无需自行构建模型即可了解模型的功能。

自行部署合作伙伴模型

Model Garden 可帮助您从提供专有模型作为自行部署选项的合作伙伴处购买和管理模型许可。从 Cloud Marketplace 购买模型访问权限后,您可以选择在按需硬件上部署,也可以使用 Compute Engine 预留和承诺使用折扣来满足您的预算要求。您需要为模型使用费用以及您使用的 Vertex AI 基础架构支付费用。

如需申请使用自行部署的合作伙伴模型,请在 Model Garden 控制台中找到相关模型,点击联系销售人员,然后填写表单,以发起与 Google Cloud 销售代表的联系。

如需详细了解如何部署和使用合作伙伴模型,请参阅部署合作伙伴模型并发出预测请求

注意事项

使用自行部署的合作伙伴模型时,请考虑以下限制:

  • 与开放模型不同,您无法导出权重。
  • 如果您为项目设置了 VPC Service Controls,则无法上传模型,这会导致您无法部署合作伙伴模型。
  • 对于端点,仅支持共享公共端点类型。

详细了解 Vertex AI 中的自行部署模型