Workato Model Gateway

Route every model call - from every provider - through one governed endpoint. Swap models, cap spend, and screen every prompt without touching a line of application code.
AI Gateway dashboard

Skipping a model layer is costing you

  • Workato icon — Revenue operations

    Cost

    Token spend arrives as one invoice with no team attribution. Everyone defaults to the frontier model. Reasoning models cost multiples of a standard call, untracked. One looping job can burn a month of budget overnight.

  • Workato icon — Error

    Reliability

    A deprecated model means a code change in ten services. A provider outage takes production down with no fallback. Provider lock-in — nothing routes around a bad vendor.

  • Workato icon — Lock

    Security

    PII goes to third-party providers because masking was never anybody's job. Prompt injection and jailbreak attempts arrive unscreened.

  • Workato icon — Compliance

    Governance

    Provider keys are handed out directly — nothing to revoke, cap, or audit. No record of which prompt hit which model. Every team writes its own retry, fallback, and logging code.

  • One change: swap the base URL and the key
    Get Started

    One change: swap the base URL and the key

    Point your application, agent, or AI client at the Workato gateway endpoint instead of the provider endpoint, and replace the provider API key with a Workato virtual key. No SDK change, no rewrite, no re-architecture. From that call onward, traffic is authenticated, routed by policy, screened, metered, logged, and attributed.

    Schedule a demo

    • Key Components

    Five Components, One Gateway

  • Governance

    Governance

    Issue a Workato credential that replaces your provider key in every application, carry its own routing rules, limits, budgets, and policies, revoke it without touching the provider account. Log every request and response with cost attributed by key, team, model, provider, and tag.

  • Intelligent and conditional routing

    Intelligent and conditional routing

    Map every request to a model and provider by virtual key, team, or tag, and set a workspace default with overrides. Block anything off the approved-model list in enforce or observe-only mode, and change the rules without an application deploy.

  • Reliability

    Reliability

    Send one request format across every provider, and automatically retry or fall back to an alternate model or provider when one degrades or errors.

  • Guardrails

    Guardrails

    Detect and mask PII before a request leaves the gateway, screen for prompt injection and jailbreaks on the way in, moderate content in both directions, and check grounding on responses that were given context to work from. Each guardrail runs in enforce or observe-only mode.

  • Cost control

    Cost control

    Normalize token accounting per request across every provider, split by input, output, reasoning, and cached tokens. Set token-per-minute rate limits and monthly budgets per key, with alerts before you hit the ceiling, not after.

    • Who it's for

    各チームが実現できること

    • IT / プラットフォーム / AIエンジニアリング
      すべてのチームに、モデル用の1つのエンドポイントを提供し、リリースによってではなく設定変更によって、どのモデルを使うかを切り替えられます。
      OpenAI・Anthropic・AWS Bedrock・Azure OpenAI・Gemini・OpenAI互換・Anthropic互換・BYOLLM
    • アプリケーションエンジニアリング
      Get retry, fallback, and provider abstraction without writing any of it, and keep your existing SDK.
      OpenAI互換SDK・SSEストリーミング・仮想キー
    • セキュリティ&コンプライアンス
      PIIがモデルプロバイダーに渡ることを防ぎ、プロンプトインジェクションを検知し、すべての呼び出しをログに記録します。
    • ファイナンス / FinOps
      チーム、キー、モデル別にトークン利用コストを把握し——推論トークンも個別に表示——上限を設定できます。
      トークン・コストダッシュボード・CSVエクスポート・BIツール
    • データサイエンス / 機械学習
      実際のトラフィックでモデルを比較し、アプリケーションのコードを変更せずに、より低コストなモデルへ本番環境を移行できます。
      ルーティングルール・承認済みモデルリスト・セルフホストおよびモデル持ち込み

    IT / Platform / AI Eng

    IT / Platform / AI Eng
    How it works

    Model choice stops being a code decision

    Swapping a model, adding a provider, or blocking one becomes a configuration change instead of a release across every service that calls it.

    Works with

    One multi-provider LLM API for every model

    AI GW — provider strip

    よくある質問

    • AI Gatewayとは何ですか?

      大まかに言えば、AI Gatewayとは、組織内でAIを利用する主体とAIが利用する対象との間に置かれる実行制御ポイントであり、認証、アクセス制御、安全性ポリシー、レート制限、コスト上限、ログ記録を一箇所に集約するものです。多くのベンダーがこの用語を、モデルトラフィック、ツールアクセス、エージェントワークフローをまとめて包含する総称として使用しています。

      Workatoでは、この用語をより厳密に使用しています。Workato AI Gatewayはモデル層であり、あらゆるモデルプロバイダーの手前に置かれる単一のエンドポイントです。より広い総称はWorkato AI 制御プレーンであり、AI Gatewayはその3つの構成要素のうちの1つです。総称としての全体像をお探しの場合は、そちらから始めてください。

    • AI GatewayとLLM Gatewayの違いは何ですか?

      モデル層に関して言えば、実質的な違いはありません。この2つの用語は同じ意味で使われています。Workato AI Gatewayもその意味でLLM Gatewayであり、ルーティング、フェイルオーバー、トークン集計、プロンプトおよびレスポンスのスクリーニングを担います。両者が本当に分かれるのは一段階上のレイヤー、つまりエージェントがツールを呼び出しアクションを実行するようになった段階であり、そのレイヤーがAI制御プレーンです。

    • AIゲートウェイはAPIゲートウェイとどう違うのですか?

      APIゲートウェイはトラフィックをルーティングし、ペイロードの中身は関知しません。一方、AIゲートウェイは中身を読み取ります——どのモデルが呼び出されているか、コストが何トークンかかるか、プロンプトに個人情報が含まれていないか、といった点です。APIゲートウェイは秒間リクエスト数を制御しますが、AIゲートウェイはチームごとのトークン数やコストを制御し、リクエストが送信される前に書き換えることもできます。多くの企業は両方を併用しています。

    • AIゲートウェイはAPI ゲートウェイを置き換えるものですか、それとも併用するものですか?

      並立関係です。APIゲートウェイは引き続きサービス間トラフィックを処理し、AIゲートウェイはモデルトラフィックを処理します。Workato内では、この2つが組み合わさります。API Managementによって管理されているAPIは、MCPゲートウェイを通じてガバナンスの効いたエージェントツールとして公開できるため、APIとそれを呼び出すエージェントの両方を単一のポリシーモデルでカバーできます。

    • How do I switch models without changing application code?

      Model selection lives in a routing rule, not your application. A rule maps a request — by virtual key, team, or tag — to the model and provider it must use, with a default for everything unmatched. Change the rule and the next request goes to the new model; no deploy, no release. An approved-model list can run in observe-only mode first, so you see what would have been blocked before you block it.

    • Can I use my own self-hosted or fine-tuned model?

      Yes. Any endpoint that speaks an OpenAI-compatible or Anthropic-compatible API can be registered as a provider and governed by the same routing rules, limits, guardrails, and logging as a commercial provider.

    • アプリケーションのコードを変更せずに、モデルを切り替えるにはどうすればよいですか?

      モデルの選択はアプリケーション自体ではなく、ルーティングルールの中に置かれます。ルールは、仮想キー・チーム・タグなどに基づいてリクエストを、使用すべきモデルとプロバイダーにマッピングし、該当しないものにはデフォルトを適用します。ルールを更新するだけで、次のリクエストから新しいモデルへとリダイレクトされ、デプロイやリリースは不要です。承認済みモデルのリストを、まずは監視のみ(observe-only)モードで運用することもできます。

    • Do I have to route all my traffic through it?

      No. Start with one application or one team, and expand when it's earned it. Adoption is a base-URL and key change, and so is backing it out.

    • How does the Model Gateway stop PII from reaching a model provider?

      PII detection runs on the outbound request inside the gateway, before it leaves for the provider, and masks what it finds. Where masking is a mandatory policy and the check can't run, the request is blocked rather than sent through unscreened. The audit record shows that PII was detected and which categories — never the values.

    • Model Gatewayはどのような監査ログを生成しますか?

      すべての呼び出しが記録されます。誰が呼び出したか、どのモデル・プロバイダーに解決されたか、どのポリシーが適用され何を判断したか、そしてトークンとしてどれだけのコストがかかったか。記録はSIEMやオブジェクトストレージにストリーミングでき、EU AI Act対応、SOX、HIPAAプログラムが求める証拠基盤となります。

    • Can I see AI spend by team?

      Yes. Tokens are metered per request and normalized across providers, then attributed by virtual key, team, model, provider, and tag — with reasoning tokens broken out separately, since they cost materially more. Budgets and per-minute limits sit on the same numbers, with alerting before the ceiling.