Visaが22個のAIモデルに買い物をさせたところ、42.8パーセントの割合でタスクに失敗しました。テレビやノートPC、パーソナルケア家電を選ぶという、条件が小出しにされる実践的なテストです。最も優秀なモデルでも正解率は82.2パーセントにとどまり、同じシナリオを3回繰り返すと全問正解できたのは34.2パーセントだけでした。AIに「お任せで買い物」を委ねる前に、知っておきたい数字です。
Visaが22モデルに課した15の買い物課題
Visaが発表した「Visa Agentic Commerce Benchmark」は、12の研究所が開発した22個のAIモデルに、15種類の買い物タスクをこなさせるというものです。テレビ、ノートPC、パーソナルケア家電などを選ぶ設定で、顧客役は最初から全ての条件を明かしません。AIは対話を通じて何が必要なのかを引き出し、条件に合う商品がなければ「買わない」という判断もできなければなりません。さらに、たまたま正解を選んだだけではないことを示すために、十分な情報を集めて自分の選択を正当化する必要もありました。Visaはこれを「この種のベンチマークとしては初めて」としています。
タスクに合格するには、設定された要件を全て見つけ出し、購入するかしないかの判断を正しく下す必要があります。全てのテスト実行を通じた合格率は57.2パーセントで、裏を返せば42.8パーセントが失敗です。最高スコアはGoogleとMetaのエージェントが並んで82パーセント、3位はClaudeのエージェントで76パーセント、6位にOpenAIのエージェントが64パーセントで入ったと、Fortune誌のJeff John Roberts記者が報じています。各モデルには1つのシナリオにつき3回の挑戦が与えられましたが、3回とも合格できたのは全体の34.2パーセントにとどまりました。
質問の質が結果を左右した点も示されています。隠れた購入条件を最も多く引き出した上位5モデルは70.2パーセントの合格率だった一方、引き出しが少なかった下位5モデルは44.4パーセントでした。また、1回あたりのコストが高い上位5モデルは67.1パーセント、安い下位5モデルは50.2パーセントという差も出ています。さらに気になるのは、失敗した実行のうち54パーセントで、AIはそれでも何かを購入してしまっていたという点です。顧客の条件に合わない商品を選んでしまうか、全ての条件を把握する前に買ってしまうか、いずれかのパターンでした。
テレビを選ぶシナリオでは、顧客は親戚に勧められたブランド名とサードパーティのメンバーシップには触れるものの、予算やHDR10+対応、ゲーム機能といった詳細は伏せたままです。AIはこれらを自分で聞き出す必要があり、要件を見つけ出すのが上手いモデルほど合格率が高かったとVisaは述べています。一方で、同じモデルが一度合格したシナリオを再び実行すると、しばしば失敗したという結果も報告されており、一貫性に課題が残ることを示しています。
信頼は技術より先にある課題
Visaが9月に公表した「Trust Index」によると、米国の消費者の72パーセントがAIアシスタントを使ったことがある一方、支払いをAIに任せることを信頼しているのは23パーセントにとどまります。NIQの調査でも、9月時点でAIによる買い物を受け入れている米国消費者は50パーセントでした。Visaはすでに自社サービスをChatGPTへ組み込んでおり、MastercardやAnt Internationalとともにエージェントの本人確認でも連携しています。
Visaでグロースを統括するRubail Birwadker氏はFortune誌の取材に対し、AIエージェントによる買い物はまだ初期段階にあると答えています。「信頼や技術の観点でまだそこに到達していない。しかしやがて、消費者が信頼して委任できる世界に入っていくだろう」と述べました。Visaは今回の結果について、AIエージェントが商取引に使えないという意味ではなく、一貫性と信頼性に課題が残っているという受け止め方を示しています。今後はシナリオと商品カテゴリーを追加し、チェックアウトや支払い、注文のプロセスまでテスト範囲を広げる計画です。ベンチマーク自体は主要なモデル提供企業にもフィードバック用として共有されており、Visaの「Payments Frontier」サイトで誰でも試せるようになっています。
ここまでの数字が示すのは、特定のモデルの優劣というより、タスクの難易度や質問の引き出し方によって成績が大きく変わるという構造です。どのモデルが実運用でも同じ結果を再現できるかは、今回確認できた範囲の情報だけでは判断がつきません。
用語補足：Agentic Commerce Benchmark
これはVisaが独自に設計した買い物タスクのテストで、業界標準として確立された指標ではありません。AIエージェントが顧客の意図を聞き出し、条件に合う商品を選べるかを測るものです。ここでの「合格」は、タスクごとに定められた全要件を見つけ、買うか買わないかの判断を正しく下せたかどうかで判定されています。モデル名は公表されていない部分もあり、Fortune誌が報じた順位情報のみが個別モデル名を伴っています。この数字は実店舗やECサイトでの購買体験全般を代表するものではなく、Visaが設計した15のシナリオにおける結果である点に留意が必要です。
注目ニュース
Dropboxがデータストレージ企業Tigrisを3億5,000万ドルで買収計画
Dropboxは、AIワークロード向けの分散データストレージを手がけるTigris Dataを3億5,000万ドル（約554億円）で買収する計画を発表しました。同社にとって2007年の創業以来、最大の買収になるとCrunchbase Newsに説明しています。Tigrisは2021年創業で、これまでに3,190万ドル（約50億5,000万円）を調達しており、2025年10月のシリーズAではSpark Capitalが主導し2,500万ドル（約39億5,000万円）を獲得しています。Dropboxはこの買収と合わせて「DBX Agent Cloud」を発表しており、AIアプリケーション開発者向けのオブジェクトストレージをまず提供するとしています。同社の直近の買収は2024年から2025年にかけて4件、年平均2件のペースで、2012年から2015年の活発だった時期と比べて落ち着いた水準にあります。
OracleがTencent向けAIチップのリース契約を解消したと報道
Financial Timesの報道によると、Oracleは米政府からの働きかけを受けて、Tencentへ先進的なAIチップをリースする5年契約を解消しました。契約額はおよそ70億ドル（約1兆1,100億円）で、東南アジアのOracleデータセンターを通じて約10万個の先進AIチップをTencentへ提供する内容だったとされています。米当局はこの取り決めについてOracleへ懸念を伝えており、Tencentは広東省の政府高官からも中国製チップの採用を求める働きかけを受けていたと報じられています。Reutersはこの報道を独自に検証できていないとしており、Oracle、Tencent、ホワイトハウスはいずれもコメント要請に応じていません。
OpenAIがサイバーセキュリティ向けモデル「GPT-6 Cyber」を発表
OpenAIは、脆弱性の発見と修正を支援するサイバーセキュリティ専用モデル「GPT-6 Cyber」を発表しました。認可された範囲内にとどまるよう訓練されている点が特徴として挙げられています。公開されたブログ記事では、悪用可能な脆弱性を見つけ出し修正を開発するためのモデルと説明されていますが、価格や提供条件についての詳細は今回確認した範囲の情報には含まれていません。
編集後記：3回中3回合格はまだ3割程度
今回の数字で印象に残るのは、平均の合格率よりも「同じシナリオを3回試して3回とも通る」確率が34.2パーセントにとどまった点です。一度うまくいった買い物でも、再現性までは保証されていません。トップモデルでも82.2パーセントという数字は裏返せば5回に1回近くは失敗するということでもあり、AIに買い物を任せるかどうかを考えるとき、平均点だけでなく「ブレ幅」を見る必要がありそうです。Visa自身も、今回の結果をAIエージェントが使えないという結論ではなく、一貫性と信頼性の課題として位置づけています。消費者がどこまで委任するかは、この一貫性がどう改善されていくか次第だと言えそうです。