MLPerf Agentic Inference Benchmarkは、実際のエンタープライズビジネスプロセス全体においてAgentic AIのパフォーマンスを測定する、史上初の取り組みです。WorkatoのAI Labは、AMD・Intel・NVIDIA・MLCommonsとともにエンタープライズワークフローのワークロードを共同構築しました。
今週、MLCommonsはMLPerf Inferenceに新しいトラックを追加しました。MLPerf InferenceはAIインフラシステムが実際にどれだけ速くパフォーマンスを発揮するかを測定する、業界で最も広く使われている標準規格です。MLPerf Agentic Inference Benchmarkは、コンテキストが増大し続け、すべてのターンが前のターンに依存するマルチターンのAgenticワークロードにおいて、LLMシステムがどれだけ効率的に持続するかを測定します。これは、実際のエンタープライズビジネスプロセスの複雑さに対するインフラパフォーマンスを測定する、初のMLPerf Agenticsベンチマークです。
研究コミュニティにはAgentic効率を測定する共通の方法がなかった。なぜなら、リアルなワークフローが存在しなかったからだ。
長年にわたり、LLM推論ベンチマークはプロンプト1つを入力して回答1つを出力するという形式を測定してきました。シングルターンのテキスト生成・質問応答・要約などです。これらのワークロードは依然として重要ですが、タスクに焦点を当てており、サービングスタックがAgentic タスクをどれだけ効率的に実行するかを明らかにするものではありません。本番環境で実際に動作するエージェントは、何十ものシステム・データソース・承認プロセスをまたいでエンドツーエンドのビジネスプロセスを処理することが期待されているのです。
本物のエージェントは一度答えて終わりではありません。ワークフローエージェントは顧客情報を収集し、ツールを呼び出し、返ってきた情報を解釈し、フォローアップを求め、タスクが完了するまで処理を続けます。業務の単位はリクエストやタスクではありません。成果への軌跡です。依存し合うターンのシーケンスであり、各ターンが会話全体をビジネスメトリクスやKPIに向けて前進させます。コンテキストは軌跡全体にわたって増大するため、プリフィルとKVキャッシュへの負荷は時間とともに増加します。キャッシュの再利用は副次的な効果ではなく、中心的な最適化対象になります。そしてターンが互いに依存するため、効率性はもはや独立したリクエストをいくつ処理できるかではなく、実際のユーザーのためにどれだけ進捗を生み出せるかによって決まります。
フロンティアラボはこの一部を社内で測定しています。それが彼らのエージェントが優れている理由のひとつです。しかし彼らはAI Labにあるプライベートなワークロードに対して測定しており、オープンな研究コミュニティには実際のエンタープライズプロセスに対してパフォーマンスをテストするための共有ベンチマークがありませんでした。理由はメトリクスやハーネスではありませんでした。それらは解決可能です。ボトルネックはワークロード自体にありました。
ここで区別が重要になります。Agenticsな推論を測定するためには、リアルなワークフローが必要です。ツール・ビジネスルール・タスク構造・プロンプトの形状など、コンテキストがどのように増大し、実際の組織においてサービングスタックがどこで真に負荷がかかるかを決定するものです。それを流れる実際のトラフィック（実際の顧客リクエストやデータ）は必要ありません。トラフィックはシミュレーションできますが、リアルなワークフローは実際にエンタープライズエージェントを動かしている場所から来なければなりません。この分離こそがオープンなベンチマークを可能にするものです。エンタープライズワークフローが希少で価値のある部分であり、汎用的またはスクレイピングされたデータが捉えることに失敗している部分です。一方、その上を流れるトラフィックは合成的に生成でき、プライベートデータが建物の外に出ることは一切ありません。つまり欠けていたのはライブのトラフィックではありませんでした。誰かが公開できる、代表性のあるAgentic ワークフローでした。
なぜWorkatoなのか：大規模なエンタープライズワークフローとシミュレートされたデータ
WorkatoはAIのためのEnterpriseコントロールプレーンとエグゼキューションプレーンであり、成熟したエンタープライズMCPレイヤーと豊富なコネクタ・ツールのカタログを持っています。10年以上にわたり、Workatoはライブのビジネスシステムをまたいで複雑なAgentic ワークフローとミッションクリティカルなビジネスプロセスをオーケストレーションしてきました。それにより、Workatoはエンタープライズエージェントのワークフローが実際にどのようなものか、そしてその上を流れるトラフィックがどのようなものかについて、直接的なファーストハンドの知識を持っています。
ビジネスワークフローを実行するエンタープライズAIエージェントは、すべての軌跡を非常に大きな共有プロンプトで開始します。数十のツール定義・ビジネスルール・ポリシー・アカウントコンテキストです。比較的少ないターン数でケースを解決することが多いため、決定的なストレスは軌跡の深さにあるのではありません。何千もの会話にわたって繰り返される巨大な共通プレフィックスにあります。これにより、プレフィックスの再利用とルーティングの局所性が、サービングスタックが効率的かどうか無駄が多いかを決める中心的な要素になります。ベンチマークにはまた、SWE-benchスタイルのソフトウェアタスクから構築されたAgentic コーディングワークロードも含まれており、その深く増大するコンテキストがKVキャッシュの容量と長いコンテキストのスケジューリングに負荷をかけます。両方をカバーすることで、ベンチマークはどちらか一方だけでは得られない、より幅広い本番サービングパターンを持つことになります。
オープンで、新しい形のコラボレーションを通じてAMD・Intel・NVIDIA・MLCommonsと構築
Workato AI Labはオープンソースを積極的に推進しています。トレースとリファレンス実装はオープンライセンスの下でリリースされており、どのビルダーもワークロードを取得し、自分のサービングスタックをそれに対してベンチマークし、貢献を返すことができます。より多くのチームが共通のエンタープライズグレードのワークロードに対してビルド・測定・共有するほど、エコシステム全体が実際のエージェントを動かすことにおいて速くなります。
コラボレーションのモデル自体も注目に値します。このMLPerf Inferenceワーキンググループのタスクフォースの取り組みは、NVIDIAのHarshil VagadiaとIntelのTianmu Liが共同議長を務め、AMDのPoovaiah PalangappaとAMDのRita Brugarolas Brufauからの主要な貢献があり、コーディングトレース生成とKimi-K2.6用のEagle3投機的デコーディングヘッド（NVIDIA ModelOptを使用して開発）はNVIDIAが提供しました。Workato側では、ワークフローワークロードがAI研究者のZhaozhuo XuとQi Yang Huang、そしてWorkato AI Labチーム全体によって構築されました。エンタープライズAgenticsの企業が、自社のみが生み出せるワークロードを提供し、それを測定・サービングする方法を知っているMLシステムとGPUクラウドのパートナーとともに取り組みました。
この組み合わせたベンチマークは相当な規模です。2つのドメインにわたる990以上のマルチターン軌跡と30,000以上のクライアント発行ターンを含み、最大262Kトークンのコンテキストで長いコンテキストと思考能力を持つモデル（Kimi K2.6とQwen3.6-35B-A3B）で評価されます。集計スループットとユーザーごとの進捗のParetoカーブでスコアリングされ、システムが回答を静かに切り詰めることで勝てないよう3つのレベルで精度が強制されます。ベンチマークはMLCommons傘下のMLPerf Endpointsフレームワーク内に存在します。
これはWorkatoのビルド方法の背後にある同じ確信でもあります。エンタープライズはモデルが推論できるから変革するのではありません。エージェントが実際のシステムをまたいで確実に実行できるときに変革します。その実行をインフラレベルで、そして業界全体とともに測定可能にすることは、それを信頼できるものにすることの一部です。