エンジンを構成する

このページでは、エンジンの構成に関するコンセプトについて簡単に説明します。

ハイパーパラメータのサポートされるソース

エンジンを構成するときは、モデルの作成に使用されるハイパーパラメータのソースを選択できます。次のソースがサポートされています。

  • 自動調整: EngineConfig リソースの作成時に AML AI がハイパーパラメータを調整します（デフォルトの動作）。
  • 継承: 同じ調整バージョン内の以前のエンジン バージョンで作成した以前のエンジン構成からハイパーパラメータを継承します。この設定により、新しいモデルエンジン バージョンを採用するたびに、再調整を行う必要がなくなります。

調整または継承を行うタイミング

以降のセクションでは、自動調整を選択すべき状況と以前のエンジン構成からハイパーパラメータを継承すべき状況の概要を説明します。

調整のタイミング

新しいエンジン構成は、それぞれ調整できます。また、疑わしい場合は、最高のパフォーマンスが得られるように常に調整する必要があります。詳細については、エンジンの調整方法をご覧ください。

最高のパフォーマンスを得るために、次のいずれかが発生した場合にエンジンの調整を検討する必要があります。

  • データセットのロジックに大幅な変更を加える。たとえば、次のいずれかの変更を行う場合。
    • フィールドに入力する際のロジック
    • 入力されている RECOMMENDED フィールドの選択
    • PartySupplementaryData テーブルで提供されるロジックまたはデータの選択
  • エンジンが新しいリージョンのモデルをトレーニングしようとしている。

ハイパーパラメータを継承するタイミング

新しいエンジン バージョンを採用する際の時間と費用を節約するために、同じ調整バージョンを使用して以前のエンジンからハイパーパラメータを継承できます。再調整せずにエンジン バージョンを導入する方法をご覧ください。

調整バージョン v003 のエンジン バージョンと、2024 年 2 月 22 日より前にリリースされたエンジン バージョンでは、ハイパーパラメータの継承はサポートされていませんが、これらのバージョンはハイパーパラメータのソースとして使用できます。

エンジンの調整方法

調整をトリガーするには、エンジン構成の作成と管理をご覧ください。

特に、以下を選択する必要があります。

  • エンジンの調整に使用するデータ:

    データセットと、データセットの期間内での終了時間を指定します。

    エンジンの調整では、選択した終了時間の暦月（ただしその歴月を含まない）までの完全な暦月に基づくラベルと特徴が使用されます。詳細については、データセットの時間範囲をご覧ください。

  • エンジンの調整に使用するエンジン バージョン:

    関連するモデルを使用する事業部門（リテールまたはコマーシャル）に一致するエンジン バージョンを選択します。

  • モデルに基づいて予想される調査量:

    partyInvestigationsPerPeriodHint を指定します。エンジンの調整、トレーニング、バックテストでこれを使用することにより、AML AI は毎月の調査量に応じてパフォーマンスを確保できます。

エンジン調整の出力

エンジンの調整により、Model リソースの作成に使用できる EngineConfig リソースが生成されます。

エンジン構成メタデータには、次の指標が含まれます。特に、これらの指標には次の情報が表示されます。

  • デフォルトのハイパーパラメータを使用した場合に比べて、エンジンの調整からの想定されるパフォーマンスの向上

  • データセットでサポートされている特徴ファミリーに対する大きな変更（エンジンの調整、トレーニング、評価、予測の間）

指標名 指標の説明 指標値の例
ExpectedRecallPreTuning エンジン バージョンのデフォルトのハイパーパラメータを使用するときにテストセットで測定される再現率の指標。

この再現率の測定では、partyInvestigationsPerPeriodHint で指定された 1 か月あたりの調査数を想定しています。 


{
  "recallValues": [
    {
      "partyInvestigationsPerPeriod": 5000,
      "recallValue": 0.72,
      "scoreThreshold": 0.42,
    },
  ],
}
ExpectedRecallPostTuning 調整されたハイパーパラメータを使用するときにテストセットで測定される再現率の指標。

この再現率の測定では、partyInvestigationsPerPeriodHint で指定された 1 か月あたりの調査数を想定しています。 


{
  "recallValues": [
    {
      "partyInvestigationsPerPeriod": 5000,
      "recallValue": 0.80,
      "scoreThreshold": 0.43,
    },
  ],
}
欠損

各特徴ファミリーのすべての特徴の欠損値の割合。

理想的には、すべての AML AI 特徴ファミリーで、欠損が 0 に近いことが推奨されます。これらの特徴ファミリーの基礎となるデータが統合に使用できない場合、例外が発生する可能性があります。

調整、トレーニング、評価、予測の間の特徴ファミリーの値の大幅な変化は、使用されるデータセットに不整合があることを示している可能性があります。 


{
  "featureFamilies": [
    {
      "featureFamily": "unusual_wire_credit_activity",
      "missingnessValue": 0.00,
    },
    ...
    ...
    {
      "featureFamily": "party_supplementary_data_id_3",
      "missingnessValue": 0.45,
    },
  ],
}

再調整せずにエンジン バージョンを導入する方法

以前のエンジン構成のハイパーパラメータを再利用するには、ハイパーパラメータを継承するエンジン構成を作成するセクション（[エンジン構成の作成と管理] ページ）をご覧ください。特に、次のものを選択する必要があります。

  • ハイパーパラメータ ソースタイプ: hyperparameterSourceType として INHERITED を選択します。ソースタイプを指定しない場合、ハイパーパラメータのソースタイプは TUNING に設定され、下位互換性が確保されます。
  • ハイパーパラメータ ソース: hyperparameterSource オブジェクトでソースエンジン構成の完全なリソース名を指定します。移行元エンジン構成の出力は、新しいエンジン構成に使用されます。ソースエンジン構成は、現在使用している調整エンジン バージョン内の以前のエンジン バージョンで作成されている必要があります。
  • エンジン構成に使用するエンジン バージョン: 使用するモデルの事業部門（リテールまたはコマーシャル）に一致するエンジン バージョンを選択します。この事業部門は、ハイパーパラメータ ソースとして使用するエンジン構成の事業部門と一致する必要があります。

継承時の出力とリネージ

別のエンジン バージョンからハイパーパラメータを継承すると、EngineConfig リソースが作成されます。これにより、ソースのエンジン構成のハイパーパラメータを使用して Model リソースを作成できます。

リネージでは、別のエンジン構成からハイパーパラメータを継承する場合、EngineConfig リソースの次のフィールドは次のように設定されます。

  • hyperparameterSourceType: INHERITED
  • hyperparameterSource: ハイパーパラメータ ソースとして使用されるエンジン構成
  • tuning: オリジナル　tuning オブジェクト。元のエンジン調整に使用されたデータセット（primaryDataset）への参照と、トレーニング用の特徴の生成（endTime）に使用されたデータの取得元の最新の時刻が含まれます。
  • performanceTarget:オリジナル performanceTarget オブジェクト。指定されたモデルに基づいて予想される調査量（partyInvestigationsPerPeriodHint）を含む。
  • 元のエンジン調整のエンジン構成メタデータ