ポルトガル語の作文を自動採点するAIシステムが、モデルも学習データも変えずに、推論コストだけを77%削減しました。仕掛けは「語彙」です。AIが文章をどう数える単位に切り分けるか、その設計を見直しただけだといいます。今日はこの実装知見を掘り下げます。
数字だけ見ると意外です。モデルを小さくしたわけでもなく、追加のハードウェアに必ずしも依存しない手法だけで、コストが4分の1以下になったという話だからです。何が起きたのか、どこまでが確認できる事実で、どこからが未検証なのか、順番に見ていきます。
Dharma AIの採点システムが語彙再構築だけでコスト77%減を記録
AI開発を手がけるDharma AIは、ポルトガル語の作文を自動採点するシステムで、推論コストを77%削減したと明らかにしました。このシステムは、生徒の作文と出題プロンプト、参考テキストを受け取り、採点基準ごとの評点とコメントを含むJSONを返します。ベースにしているのは、オープンソースの小型言語モデル「Qwen3-4B」です。パラメータ数は40億で、すでに採点タスク向けに学習済みでした。
ここで見直されたのは、モデル本体でも学習データでもなく「トークナイザー」です。かみ砕いて言えば、AIが文章を読み書きする際、どの単位で文字をまとめて数えるかを決める仕組みのことです。たとえば「こんにちは」という一つの単語でも、AIの内部では複数の断片に分割されて処理されることがあります。この分割の単位を「トークン」と呼び、AIは生成するたびにこのトークン1個ごとに計算コストを払います。
Dharma AIによれば、このシステムのトークナイザーは、多言語・多分野向けに作られたQwen3-4B標準のものがそのまま使われていました。語彙の登録数は15万1,669個です。しかし実際の用途はポルトガル語の作文採点、しかも決まったJSON形式の出力だけでした。Hugging Face Blogに掲載された記事は、ここに「断片化」と「過剰」という二つの無駄があったと説明しています。
断片化とは、その用途で繰り返し使う定型文が、必要以上に細かいトークンへ分割されてしまう現象です。採点システムの応答は毎回同じJSONの枠組み、同じ評価項目名、同じ判定フレーズで始まります。本来は一つのトークンで表現できる定型句が複数のトークンに分かれ、リクエストのたびに余分な計算が発生していました。もう一つの過剰とは、使われない語彙を抱え続ける無駄です。モデルはトークンを一つ生成するたびに、語彙リストの全エントリについて確率を計算します。ポルトガル語の作文を採点するだけのシステムでも、毎回15万を超える語彙の候補に対して計算をしていたことになります。
Dharma AIはこの語彙を「VocabX」という手法で再構築しました。Hugging Face Blogによれば、ポイントは頻度ではなく「各トークンのコスト」を基準に語彙を選び直した点です。よく使われる表現を機械的に残すのではなく、計算コストへの影響が大きい単位を優先して語彙に組み込んだ、という説明になっています。ベースモデルのQwen3-4B自体、学習データ、学習のやり方はすべて変えていません。変えたのは語彙だけです。
AI分野のニュースをまとめるAI Winsは、この手法を「モデルを大きくすることに頼らない効率化」の一例として紹介しています。同メディアは、ドメインの言語パターンに合わせて語彙を調整すれば、同じ情報を表現するのに必要なトークン数が減り、推論時の計算負荷を抑えられると説明しており、Dharma AIの発表内容を後追いする形で取り上げています。
日本語でこの発表を伝えたnews.takumi-oda.comの記事は、語彙の登録数が15万1,669個から6万4,767個まで絞り込まれたと伝えています。この数字はnews.takumi-oda.comの記事によるものです。同記事はさらに、ベースのトークナイザーで14トークンを要していた文章がVocabXでは4トークンに圧縮され、採点システムが毎回書き出す定型フレーズは12トークンから1トークンにまで減ったとしています。
出典が示す範囲と、まだ分からないこと
77%という削減率などの数字は、Dharma AIがHugging Face Blogで公開した内容に基づいています。Hugging Face Blogの記事自体が「本記事の数字は査読中の論文の現時点のバージョンによるもので、正式公開までに変わる可能性がある」と明記しています。つまり77%という削減率は、Dharma AIの本番環境における一事例の実測値であって、他のモデルや他の言語、他の用途でも同じ結果になると確認されたものではありません。
記事は契約書を扱う別の実験にも触れています。契約書向けに語彙を刈り込んだケースでは、トークン削減率が62.6%に達し、語彙登録数は11万3,426個になったとしています。これは、最良のin-place BPE構成で達成できた61.8%、登録数20万7,803個という結果と比べられています。同じ目的でも、語彙の絞り込み方によって成果に差が出ることを示す数字ですが、この契約書の実験がどのモデルを使い、どんな条件で行われたのか、記事の抜粋だけでは詳細が分かりません。
出典が説明しているのはここまでです。VocabXという手法の詳しい仕組みや、全実験のデータ、見送られた他の手法については、近く公開予定の論文に委ねられています。現時点で分かるのは、トークナイザーの再構築という、モデルの学習が始まる前の一段階を変えるだけで、本番システムのコストに差が出た、という一つの事例です。これが他のモデルや言語でも再現できる傾向なのか、それともこの採点システム特有の結果なのかは、論文の公開を待つ必要があります。
用語補足：トークナイザーとトークン
AIが文章を処理する際、文字列をそのまま扱うのではなく「トークン」という単位に区切って計算します。この区切り方のルールを決めるのがトークナイザーです。一般的な大規模モデルのトークナイザーは、多言語や多分野の文章を広くカバーできるよう設計されています。そのため、特定の言語や特定の業務だけに使うシステムでも、使わない語彙への計算や、頻出表現の過剰な分割といった無駄を抱えたままになりがちです。本記事の77%という数字は、語彙の設計を用途に合わせて作り直した場合の、特定の採点システムにおける削減率であり、他のシステムでの削減幅を保証するものではありません。こうしたトークナイザーの実装自体は、Hugging Faceがgithub.comで公開しているオープンソースのツール群にも含まれています。
注目ニュース
パナソニックHD子会社、禁止生成AIへ従業員情報をアップロード
パナソニックホールディングス傘下のパナソニック オペレーショナルエクセレンスは10月23日、社内プロジェクトに携わる社員が、パナソニックグループの従業員・元従業員とその家族計約33万4,000人分の個人情報を、社内利用が禁止されている外部の生成AIサービスにアップロードしていたと発表しました。対象は人事情報システム導入プロジェクトの一環で扱われていたデータで、従業員・元従業員については社員番号、住所、電話番号、メールアドレスが含まれますが氏名は含まれません。家族については緊急連絡先として登録された氏名、住所、電話番号、メールアドレスが対象です。同社は不正アクセスではなく社内ルール違反によるものだと説明しており、該当社員は発覚直後にチャット履歴と業務用PC内のデータを削除しました。生成AIサービスの運営事業者への確認では、アップロード時点でAI学習への利用機能は無効だったとしています。ただし運営事業者はセキュリティと法令順守のため削除データを30日間保持しており、今回のデータは10月25日まで保管されるということです。現時点で、対象の個人情報が一般に公開された事実や、不正利用による具体的な被害は確認されていません。ITmedia NEWS
編集後記：77%という数字の射程
今回の記事を読み返して残るのは、77%という削減率がどこまで一般化できるのかという一点です。Dharma AIの採点システムは、単一言語、単一フォーマットという条件がそろっていました。語彙の無駄が大きいほど、絞り込みの効果も大きく出やすい状況だったとも読めます。出典自身が、この数字は査読中の論文の現時点の値だと断っており、今後の公開内容で変わる可能性にも触れています。トークナイザーという、モデル学習が始まる前の一段階にコスト削減の余地があるという着眼点そのものは、確認できる事実として興味深いものです。ただ、それが特定の事例の成果なのか、もっと広く当てはまる話なのかは、論文を読むまで判断を保留したいところです。