DeepSeekの「V4 Flash」は各種リーダーボードで上位に立ち、開発者からも高評価を受けてきたモデルです。しかしComposioが実施したエージェントタスクのテストでは、240回の実行のうち成功は129回、達成率は53.8%にとどまりました。全30タスクのうち、使用したツール構成すべてで成功したのはわずか6件だけです。同時にDeepSeekはV4 FlashとProの値上げも発表しています。
DeepSeekのV4 Flash、エージェントタスクの成功率は53.8%
DeepSeekのV4 Flashは、公開から評価を集めてきたモデルです。開発者コミュニティでは「total monster」と呼ばれるほどの評判を得て、複数のモデルリーダーボードで上位にランクインしてきました。ところが実際のエージェント運用を想定したテストでは、その評判とは異なる結果が出ています。
このテストを実施したのはComposioです。Claude Code、Codex、OpenCodeを含む8種類のエージェントハーネス上でV4 Flashを動かし、Gmail、GitHub、Slack、Google Sheetsといった実際のツールを使う、複数ステップにわたる意図的に難易度の高いタスクを30種類用意しました。8つのハーネスそれぞれで30タスクを実行した結果、合計240回の実行のうち成功したのは129回。達成率にすると53.8%です。さらに注目すべきは、30の作業フローのうち、テストしたすべてのハーネスで成功したのはたった6件にとどまった点です。
この結果が示しているのは、同じモデルであっても、動かす環境によって結果が変わるという事実です。ハーネスの種類、ツールの設定、キャッシュの挙動、リトライの仕組み、プロバイダー側のスタックといった要素が組み合わさることで、成果に差が出ています。モデル単体の性能だけでなく、それを取り巻くオーケストレーションの設計が、エンタープライズ環境での成否を左右する可能性がある、という見立てです。
DeepSeekが価格を引き上げ、低価格という強みに変化
もう一つの動きが、DeepSeekによる価格改定です。V4 FlashとV4 Proは、コーディング支援やエージェント構築に取り組む開発者の間で使われてきたモデルですが、DeepSeekはこの2モデルの価格を引き上げると発表しました。
V4 Flashは7月31日にパブリックベータとして公開され、V4 Proは8月13日に一般提供が始まっています。両モデルはこれまで、フロンティア系のプロバイダーが太刀打ちできないほどの低価格と高い性能の組み合わせで支持を集めてきました。今回の値上げは、この価格面での強みを弱める可能性がある動きです。
一方で、この一件は「安価な中国製モデル」という単純な括りだけでは語りきれない段階に入っていることも示しています。ユースケースが具体化し、企業側もどのモデルをどの業務に当てはめるべきか見極め始めている中で、価格と実運用での成功率という、2つの異なる評価軸が同時に浮かび上がった形です。低価格であることと、実際のタスクをこなせることは、別の問題だと捉える必要があります。
出典記事に記載があるのは以上の内容までです。今回の値上げ幅や、価格改定後にV4 FlashやProの利用実態がどう変わるかについては、記載がありません。
用語補足：エージェントハーネス
エージェントハーネスとは、AIモデルに外部ツールを操作させ、複数ステップの作業を自律的に進めさせるための実行環境を指します。Claude CodeやCodex、OpenCodeなどがこれにあたります。同じモデルを使っていても、ハーネスが異なればツールの呼び出し方やエラー処理の挙動が変わるため、成功率にも差が出ます。今回の53.8%という数字は、あくまで8種類のハーネスと30タスクという条件下での結果であり、モデル単体の性能を直接測る指標ではありません。ハーネス選びが成果を左右しうる、という点を押さえた上で数字を読む必要があります。
注目ニュース
ランサムウエア攻撃、侵入経路はメールが主流に
ランサムウエア攻撃者が企業ネットワークへ侵入する経路について、これまではVPN装置などの脆弱性を突く手口が常とう手段とされてきました。しかし最新の調査によると、メールを使った攻撃が主流になっているといいます。攻撃者はデータを暗号化する前段階として、まず侵入経路を確保する必要がありますが、その手口が変化しているという指摘です。詳細な調査データや対策の方向性については、有料会員限定の記事となっており、公開情報だけでは確認できる範囲が限られています。
Cloudflare、AIエージェント専用の軽量ブラウザ「Kitesurf」を発表
Cloudflareは、AIエージェントによる操作専用に設計されたヘッドレスWebブラウザ「Kitesurf」を発表しました。現在はベータ版として公開されています。主にRust言語で書かれWebAssemblyにコンパイルされ、Cloudflare Workers上で動作する仕組みで、タブやブックマーク、拡張機能、パスワード管理といった人間向けブラウザに欠かせない機能は搭載していません。Cloudflareの説明では、CPUとメモリ消費の効率はChromiumと比較して3倍から7倍優れているとしています。Chrome DevTools Protocol経由でPuppeteerやPlaywrightなど既存ツールとの接続にも対応しており、Web Platform Testsへの適合テストも実施しているとのことです。
編集後記：達成率と評判のギャップ
今回のテストで残るのは、リーダーボードでの評価と実運用での達成率が、必ずしも一致しないという事実です。V4 Flashは「total monster」と呼ばれるほどの評判を集めた一方で、実際のエージェントタスクでは半分強の成功率にとどまりました。この差がどこから生まれるのか、出典記事はハーネスやツール設定、キャッシュ挙動といった要因を挙げています。裏を返せば、モデル単体のベンチマークスコアだけを見て導入を判断するのは、リスクを伴うということです。どのハーネスでどう動かすかという運用設計まで含めて評価しない限り、実際の成果は見えてこない。今回のテスト結果は、その点を数字で示した事例といえそうです。