特許検索の革新: IPRally が Google Kubernetes Engine と Ray を使用して AI を活用
Google Cloud Japan Team
※この投稿は米国時間 2024 年 4 月 19 日に、Google Cloud blog に投稿されたものの抄訳です。
特許検索のプラットフォーム プロバイダである IPRally は、グローバル企業、知財法律事務所、国内の複数の特許商標事務所にサービスを提供する、急成長している会社です。会社が成長するにつれて、テクノロジーのニーズも高まっています。同社は精度を高めるために継続してモデルをトレーニングしており、顧客アクセス用の検索可能なレコードを毎週 20 万件追加し、新しい特許をマッピングしています。
毎年何百万という特許ドキュメントが公開されており、さらにドキュメントの技術的な複雑さは増す一方で、従来の特許検索ツールを使用してケースを解決するには、経験豊富な特許専門家でさえ、調査に何時間もかかることがあります。2018 年、フィンランドの企業 IPRally は、グラフベースのアプローチでこの問題に取り組み始めました。
従業員 50 人を抱える IPRally の共同創設者 / CTO である Juho Kallio 氏は、次のように述べています。「特許の検索エンジンはほとんどが複雑なブール演算エンジンで、複雑なクエリを構築するのに何時間も費やす必要がありました。私は何か重要で取り組みがいのあるものを作りたいと思っていました。」
同社は、ML と自然言語処理（NLP）を使用して、1 億 2,000 万を超える世界中の特許ドキュメントのテキストを、検索可能なベクトル空間に埋め込まれたドキュメント レベルのナレッジグラフに変換しました。現在では、特許研究者は、AI が選択した重要な情報のハイライトと説明可能な結果を含む、関連する結果を数秒で受け取ることができます。
これらのニーズを満たすために、IPRally は、Google Kubernetes Engine（GKE）とオープンソース ML フレームワークである Ray を使用して、カスタマイズされた ML プラットフォームを構築し、効率性、パフォーマンス、ML オペレーション（MLOps）の合理化のバランスをとれるようにしました。同社は、オープンソースである KubeRay を使用して GKE に Ray をデプロイして管理しています。これにより、費用効率に優れた NVIDIA GPU Spot インスタンスを利用して、探索的な ML 研究開発を行うことができます。また、Cloud Storage や Compute Engine 永続ディスクなどの Google Cloud データ構成要素も使用しています。次に見据えているのは、Ray Data と BigQuery を使用したビッグデータ ソリューションへの拡大です。
「GKE 上の Ray は、規模や種類を問わず、どのような分散型の複雑なディープ ラーニングでも、将来にわたってサポートできる能力を備えています」と Kallio 氏は述べています。
パフォーマンスと効率性を考慮して構築されたカスタム ML プラットフォーム
IPRally エンジニアリング チームが主に焦点を当てているのは、研究開発と、Graph AI を継続的に改善して技術知識にアクセスしやすくする方法です。IPRally は、たった 2 人の DevOps エンジニアと 1 人の MLOps エンジニアによって、GKE と Ray を主要コンポーネントとした、独自のカスタマイズされた ML プラットフォームを構築できました。
オープンソースを強く支持している IPRally は、コンピューティングのニーズが増大したときに、すべてを Kubernetes に移行しました。ただし、Kubernetes を自社で管理することは望んでいませんでした。そのようなことから、スケーラビリティ、柔軟性、オープン エコシステム、多様なアクセラレータ セットのサポートを備えた GKE の導入に至りました。つまり、GKE により、IPRally はパフォーマンスと費用の適切なバランスを確保できるほか、コンピューティング リソースの管理が容易になり、容量が不要になったときに効率的にスケールダウンできます。
「GKE により、この複雑なトレーニングとサービングのニーズを満たすスケーラビリティとパフォーマンスが得られ、データやコンピューティングを適切な粒度で制御できるようになりました」と Kallio 氏は述べています。
Kallio 氏が特に強調する GKE 機能の一つが、コンテナ イメージ ストリーミングで、これにより、起動時間が大幅に短縮されます。
Kallio 氏は次のように述べています。「GKE のコンテナ イメージ ストリーミングは、アプリケーションの起動時間の短縮に大きな影響を与えました。イメージ ストリーミングにより、送信後のトレーニング ジョブの起動時間が 20% 高速化されます。さらに、既存の Pod を再利用できる場合は、数分どころか数秒で起動できます。」
次のレイヤーは Ray で、同社はこれを使用して、ML に使用する分散型の並列処理される Python および Clojure アプリケーションをスケールしています。Ray の管理を容易にするために、IPRally は、Kubernetes 上の Ray クラスタの管理を簡素化する専用ツール、KubeRay を使用しています。IPRally は、研究開発におけるデータの大規模な前処理や探索的ディープ ラーニングといった特に高度なタスクに Ray を使用しています。
「Ray と GKE 自動スケーリング間の相互運用はスムーズかつ堅牢です。計算リソースを何の制約もなく組み合わせることができます」と Kallio 氏は述べています。
特に負荷の高い ML は主に、最大 8 つの NVIDIA L4 Tensor コア GPU を備えた 8 つの NVIDIA L4 GPU を搭載した G2 VM にデプロイされており、AI 推論ワークロードに対してこれまでにない費用対効果を実現しています。また、これらを GKE 内で利用することで、IPRally はオンデマンドでのノードの作成を容易にし、必要に応じて GPU リソースをスケールして、運用コストを最適化しています。各リージョンには、Terraform でプロビジョニングされた単一の Kubernetes クラスタがあり、IPRally はそこで低料金の Spot インスタンスを検索します。その後、GKE と Ray がコンピューティング オーケストレーションと自動スケーリングを行います。
MLOps をさらに容易にするために、IPRally は KubeRay と Ray の上に独自のシン オーケストレーション レイヤである IPRay を構築しました。このレイヤで提供されるコマンドライン ツールを使用して、データ サイエンティストは、テンプレート化された Ray クラスタを簡単にプロビジョニングして、効率的にスケールアップおよびスケールダウンでき、また Terraform の知識がなくても Ray でジョブを実行できます。このセルフサービス レイヤのおかげで、エンジニアとデータ サイエンティスト間の摩擦が軽減され、どちらもより価値の高い作業に集中できます。
テクノロジーが力強い成長への道を切り開く
IPRally は、この Google Cloud とオープンソース フレームワークの採用を通じて、数百万ドルもの費用をかけなくてもスタートアップがエンタープライズ グレードの ML プラットフォームを構築できることを示しました。初期の段階から高度な MLOps と自動化基盤の提供に注力したことで、効率性が高まり、チームは研究開発に注力することができました。
IPRally の ML エンジニアである Jari Rosti 氏は、次のように述べています。「最適な部分から柔軟な ML インフラストラクチャを作成することで、期待を超える価値が得られました。今では、絶えず進化する最新の ML のアイデアにインフラストラクチャを適応させることができ、この投資のメリットは倍増しています。Google Cloud と Ray を活用すれば、他の若い企業も同様のメリットが得られるでしょう。」
さらに、同社は Spot インスタンスを使用することで、ML 研究開発費用を 70% 削減しました。この手頃な料金のインスタンスは、オンデマンド インスタンスと同じ品質の VM を提供しますが、中断される可能性があります。ただし、IPRally の研究開発ワークロードはフォールト トレラントであるため、Spot インスタンスに適しています。
IPRally は昨年 1,000 万ユーロの A ラウンドの資金調達を完了し、グラフ ニューラル ネットワーク モデルの改善と特許検索に最適な AI プラットフォームの構築に重点を置いて、世界中の IP ドキュメントの取り込みと処理を進めています。2022 年の特許出願は 340 万件で、この数は 3 年連続で増加しています。今後データが増え続けても、IPRally は、知的財産の専門家が関連する情報を逃さず見つけられるよう支援し続けることができます。
Kallio 氏は次のように述べています。「GKE 上で Ray を使用して構築した ML 基盤は、AI を利用するうえで Google Cloud がいかに優れているかを証明するものとなりました。そして今、当社はさらに高度なディープ ラーニングについて調査を進め、成長し続ける準備が整っています。」
