配置引擎

本页面将简要介绍配置引擎背后的概念。

支持的超参数来源

配置引擎时,您可以选择用于创建模型的超参数的来源。支持以下来源:

  • 自动调整:在您创建 EngineConfig 资源时,AML AI 会调整超参数(默认行为)
  • 继承:从使用同一调参版本中的早期引擎版本创建的先前引擎配置中继承超参数。 此设置可让您避免在每次采用新的模型引擎版本时进行重新调整。

何时调整或沿用

以下部分概述了何时应选择自动调整,以及何时应从之前的引擎配置继承超参数。

何时调整

您可以选择对每项新的引擎配置进行调优,如有疑问,则应始终微调以获得最佳性能结果。如需了解详情,请参阅如何调整引擎部分。

为获得最佳性能,出现以下任一情况时,您都应考虑引擎调整:

  • 您将对数据集逻辑进行重大更改。例如,当以下任一情况发生变化时:
    • 填充字段的逻辑
    • 选择填充的 RECOMMENDED 字段
    • PartySupplementaryData 表格中提供的数据的逻辑或选择性
  • 您即将让引擎针对新的区域训练模型。

何时继承超参数

为了在采用新的引擎版本时节省时间和费用,您可以使用同一调参版本从上一个引擎继承超参数。请参阅“如何在不重新调整的情况下采用引擎版本”部分。

调参版本 v003 的引擎版本以及 2024 年 2 月 22 日之前发布的引擎版本不支持继承超参数,但这些版本可用作超参数的来源。

如何调优引擎

如需触发调整,请参阅创建和管理引擎配置

具体而言,您需要选择以下各项:

  • 用于引擎调整的数据

    请指定数据集及其日期范围的结束时间。

    引擎调整会根据截至所选结束时间月份的完整日历月(但不包括该月份)使用标签和功能。如需了解详情,请参阅数据集时间范围

  • 用于引擎调整的引擎版本

    选择与您将为其使用关联模型的业务领域(零售或商业)相匹配的引擎版本

  • 基于模型的调查量预计如下

    指定 partyInvestigationsPerPeriodHint。这用于引擎调优、训练和回测,以确保 AML AI 在您的每月调查量范围内提供出色的性能。

引擎调优输出

Engine 调整会生成 EngineConfig 资源,它可用于创建模型资源

引擎配置元数据包含以下指标。具体而言,这些指标会向您显示以下信息:

  • 与使用默认超参数相比,引擎调整带来的预期性能提升

  • 数据集支持的特征系列的任何重大更改(在引擎调优、训练、评估和预测之间)

指标名称 指标说明 指标值示例
ExpectedRecallPreTuning 使用引擎版本的默认超参数时,在测试集上测量的召回率指标。

此召回率衡量假设 partyInvestigationsPerPeriodHint 中指定的每月调查次数。

{
  "recallValues": [
    {
      "partyInvestigationsPerPeriod": 5000,
      "recallValue": 0.72,
      "scoreThreshold": 0.42,
    },
  ],
}
ExpectedRecallPostTuning 使用经调优的超参数时在测试集上测量的召回率指标。

此召回率衡量假设 partyInvestigationsPerPeriodHint 中指定的每月调查次数。

{
  "recallValues": [
    {
      "partyInvestigationsPerPeriod": 5000,
      "recallValue": 0.80,
      "scoreThreshold": 0.43,
    },
  ],
}
缺失

每个功能系列中所有特征的缺失值所占的比例。

理想情况下,所有 AML AI 功能系列的缺失值都应接近 0。当这些功能系列的基础数据无法集成时,可能会出现例外情况。

如果此值在调优、训练、评估和预测期间发生任何特征系列的显著变化,则可能表示所用数据集存在不一致。

{
  "featureFamilies": [
    {
      "featureFamily": "unusual_wire_credit_activity",
      "missingnessValue": 0.00,
    },
    ...
    ...
    {
      "featureFamily": "party_supplementary_data_id_3",
      "missingnessValue": 0.45,
    },
  ],
}

如何在不重新调整的情况下采用引擎版本

如需重复使用先前引擎配置中的超参数,请参阅创建继承超参数的引擎配置部分(位于创建和管理引擎配置页面上)。具体而言,您需要选择以下各项:

  • 超参数来源类型:选择 INHERITED 作为 hyperparameterSourceType。如果您未指定来源类型,则超参数来源类型会设置为 TUNING,以实现向后兼容性。
  • 超参数来源:在 hyperparameterSource 对象中指定来源引擎配置的完整资源名称。源引擎配置的输出会用于新的引擎配置。源引擎配置必须是使用您正在使用的同一调整引擎版本中的早期引擎版本创建的。
  • 要用于引擎配置的引擎版本选择与您要使用的模型的业务领域(零售或商业)匹配的引擎版本。此业务线必须与您用作超参数源的引擎配置中的业务线匹配。

继承时的输出和沿袭

从其他引擎版本继承超参数会创建一个 EngineConfig 资源,该资源可用于使用来源引擎配置中的超参数创建模型资源

对于沿袭,从其他引擎配置继承超参数时,EngineConfig 资源中的以下字段设置如下:

  • hyperparameterSourceTypeINHERITED
  • hyperparameterSource:用作超参数来源的引擎配置
  • tuning:原始 tuning 对象,包括对原始引擎调参所用数据集的引用 (primaryDataset) 以及使用数据生成训练特征的最晚时间 (endTime)
  • performanceTarget:原始 performanceTarget 对象,包括根据指定模型 (partyInvestigationsPerPeriodHint) 预计的调查量
  • 来自原始引擎调整的引擎配置元数据