Gemini 的模型调优概览

模型调优是调整 Gemini 以更准确地执行特定任务的关键过程。模型调优的工作原理是为模型提供训练数据集,其中包含一组特定下游任务的示例。

本页面简要介绍了 Gemini 的模型调优,介绍了 Gemini 可用的调优选项,并可帮助您确定应在何时使用每个调优选项。

调优模型的好处

模型调优是针对任务自定义大型模型的有效方法。这是提高模型质量和效率的关键步骤。模型调优具有以下优势:

  • 为您的特定任务提高质量。
  • 提高了模型稳健性。
  • 提示较短,因此推理延迟时间和费用更低。

调优与提示设计比较

与提示设计相比,调优具有以下优势。

  • 允许对模型进行深度自定义,并改善特定任务的性能。
  • 提供更一致、更可靠的结果。
  • 能够一次处理更多示例。

调优方法

参数高效调优和完全微调是自定义大型模型的两种方法。这两种方法在模型质量和资源效率方面有各自的优势和影响。

参数高效微调

参数高效调优(也称为适配器调优)可让您将大型模型高效适应您的特定任务或领域。参数高效的调优会在调整过程中更新模型参数中相对较小的子集。

如需了解 Vertex AI 如何支持适配器调优和传送,请参阅《大型基础模型自适应》白皮书了解详情。

全面微调

全面微调会更新模型的所有参数,它适合用来调整模型以适应高度复杂的任务,同时尽可能提高任务完成质量。但是,全面微调需要更多计算资源来进行调优和传送,从而导致总体费用更高。

参数高效调优与完全微调对比

与全面微调相比,参数高效调优更省资源且更经济实惠。它使用大幅减少的计算资源进行训练。 它能够使用较小的数据集更快地调整模型。参数高效调优的灵活性为多任务学习提供了一种解决方案,无需进行大量重新训练。

调优 Gemini 模型

Gemini 模型 (gemini-1.0-pro-002) 支持以下调优方法:

  • 监督式参数高效调优

    如果您拥有明确定义的任务以及已加标签的数据,则监督式微调是理想之选。监督式调优使用带标签的数据集调整模型行为。此过程会调整模型的权重,以最大限度地减少其预测结果与实际标签之间的差异。

配额

系统对并发调优作业的数量实施配额。每个项目都配有运行至少一个调优作业的默认配额。这是一个全球配额,所有可用区域共用这一配额。如果要同时运行更多作业,则需要为 Global concurrent tuning jobs 申请更多配额

后续步骤