Ada、MCP経由で変更セットの効果をベースラインと比較できる新ツールを追加
概要
Adaは2026年9月23日付の公式リリースノートで、MCPサーバーに新ツール「compare_changeset_metrics」を追加したと発表しました。変更セットのcontainment_rateやresolution_rateなどの指標を、1回の呼び出しでベースラインと比較できるようにする機能です。
何が起きたか
Adaは公式ドキュメントのリリースノートに2026年9月23日付で「MCP: compare a change set against baseline in one call」を追加したと記載しました。原文には新ツール compare_changeset_metrics について「Give it a change set ID and a date range, and it returns containment_rate, resolution_rate, csat_rate, and any enabled custom metric pass rates for both cohorts side by side, along with the absolute and relative difference and how many conversations were in each cohort.」とあります。従来はAIアシスタントが get_ada_metric を2回呼び出して結果を自分で突き合わせる必要があったともあります。
選定にとっての意味
Adaは2026年1月にMCPサーバーとして外部のAIアシスタントに操作を開放し、9月15日には変更セットを本番トラフィックの一部だけに段階的適用する機能も追加しています。今回はその変更セットの効果測定までMCP経由の1回の呼び出しに集約したもので、MCP対応が会話応答の実行にとどまらず、変更の検証・比較という運用改善のワークフローにまで及んでいることを示します。MCP対応を比較する際には、操作できる範囲だけでなく、変更後の効果をどこまで自動的に確認できるかも判断材料になります。
見るべき点
この比較機能が他の指標や複数の変更セット間の比較にも広がるか、また他社のMCP対応が同様に運用改善の領域まで踏み込むかを注視します。