QAの現場では、AIが会話の100%を自動でスコアリングできる時代になった一方、支援窓口を運営するリーダーが実際に評価しているのは、いまだ「ごく一部の会話」にとどまるといいます。CX Collectiveの創業者Ty Givenは、AIツールは会話の解析を助けるが、文脈やニュアンスの判断は依然として人間の仕事だと述べています。QAツールを増やすことが、負担軽減につながっているのか。その前提から見直す必要がありそうです。
CX Collectiveの Ty Given、QA運用の負担を「サービス化」で軽減する仕組みを説明
サポートチームの運営は、Ty Givenの言葉を借りれば「小さな会社を経営するようなもの」です。人材、業務プロセス、テクノロジーのすべてに目を配りながら、実際には顧客対応のごく一部しか評価できていない。これがCX Todayのインタビューで語られた出発点です。AIツールは会話の解析を助けてくれますが、Givenは、AIはニュアンスの判断で依然苦戦していると指摘します。文脈を読み、どこをコーチングすべきかを見極める作業は、最終的に人間が担う必要があるという説明です。
ここでCX Collectiveが提示するのが「Quality as a Service」というモデルです。かみ砕いて言えば、QAツールを自社で購入し、学習し、導入し、運用し続けるという一連の作業をチームに背負わせるのではなく、顧客企業のニーズに合わせて品質プログラムそのものを外部から組み立て、精査済みの結果だけを届けるという発想です。別のQAプラットフォームを購入・学習・導入・管理する代わりに、QA業務の「重い部分」を外部に任せる、という位置づけになります。
Givenによれば、このモデルが特に有効なのはエージェント数が5人から20人規模のチームです。急成長しているものの、QAを本格的に運用する時間や予算、社内の専門知識が不足しているケースが多いといいます。CX Collectiveはこうしたチームに対し、月次のキャリブレーションセッション、人間による審査、エージェントからの異議申し立てワークフロー、コーチングノートといった仕組みを提供し、リーダーとエージェント双方が次の行動に移せる形に整えているとのことです。
もう一つ興味深いのは、QAと顧客満足度スコア(CSAT)の関係についての指摘です。Givenは、エージェントが正しい手順を踏んでも、顧客が会社の方針そのものに不満を持っている場合はCSATが低くなり得ると説明します。品質スコアをチケットに組み込むことで、リーダーがパフォーマンスをより多面的に把握できるようにする、というのがCX Collectiveの狙いです。多くのベンダーがAIによる100%の対話レビューに力を入れる一方で、Givenは人間の判断が不可欠だと考えている、というのがこのインタビューの要点です。QA担当者チームを丸ごと抱えるのに近い体制を、意思決定とコーチングに集中できる形で提供する。それがQuality as a Serviceの狙いだと述べています。詳しくはCX Todayのインタビュー記事に記載があります。
AutoQAとハイブリッド型QAに関する記事から
Zendeskが提供するAutoQAは、AIを使ってコール・チャット・メールの対応を評価し、抜き取りによる主観的なサンプリングを、標準化されたデータ駆動の指標へ置き換えることを掲げています。Zendesk QAの中核機能として、対話の100%を評価できる点を強みにしているという説明です。
metricsherpa.comに掲載された論考は、QAの完全自動化に対して慎重な見方を示しています。この記事は、自動化されたQAが「コンプライアンスのチェック」に落ち着いてしまう危うさを指摘します。エージェントが台本通りに必要事項を読み上げるだけで顧客と向き合っていなくても、自動採点システムはそれを満点と評価してしまう可能性がある。逆に、台本から少し外れて顧客に寄り添い、実際に問題を解決したやり取りが、システム上は「失格」と判定されることもあるといいます。結果として、エージェントは「システムが測るもの」に最適化してしまい、本来QAが目指すべき顧客体験の改善から離れてしまう、という懸念です。この記事は、自動化を拒否するのではなく、効率とスケールが得意な自動化と、深さと文脈判断が必要な場面での人間の監督を組み合わせる「ハイブリッド型」が現実的だと結論づけています。
AmplifAIのブログでは「従来型のQAはもう不要だ」という主張が示されています。かみ砕いて言えば、これまでのQAはフォームやチェックボックス、ごく一部の通話だけをサンプリングするという「制約の中で生まれた仕組み」であり、全件を分析できるAIの時代にはその制約自体が意味を失っている、という論理です。事前に決めた5つの質問しかチェックしないフォームでは、会話の中で実際に起きている「それ以外すべて」を取りこぼしてしまう。この記事は、QAを「測定」から「理解」へ移行させることが必要だと論じています。
出典: Zendesk、metricsherpa.com、AmplifAI
用語補足：Quality as a Service
CX Collectiveが掲げる「Quality as a Service」は、QAツールという製品を売るのではなく、品質評価という業務プロセスそのものを外部から提供する仕組みを指します。何かを測る指標ではなく、運用のかたちを表す言葉です。月次のキャリブレーションセッションや人間による審査、コーチングノートといった一連の作業を、社内に専門チームを持たずに利用できるようにし、支援リーダーの管理負担を軽減する点が特徴です。この記事に出てくる「5人から20人規模のチーム」という言及は、CX Collectiveがこのモデルを特に有効だと位置づけている対象を示すものであり、他の規模のチームに当てはまらないという意味ではありません。
注目ニュース
AWS、Claude Fable 5.1をAmazon Bedrockなどで提供開始
AWSのウィークリーラウンドアップによると、AnthropicのClaude Fable 5.1がAWS上で利用可能になりました。コーディングや科学研究、企業ワークフローといった、数時間にわたり継続する重要度の高い、複数のアプリケーションにまたがる作業向けに設計されたモデルで、長時間にわたるセッションでコードベース全体の機能追加やレビュー、パフォーマンス改善までを一つのプロジェクトとしてこなせる点が特徴です。
Anthropicはこのモデルを「Covered Model」に分類しており、データ保持や安全性審査、アクセス方針で追加の管理が課されます。具体的には最大30日間のデータ保持とAmazon担当者による人手レビューが伴う「aws_review」モードが新設されており、AWSの管理境界内でプロンプトと出力が確認される仕組みです。従来の「provider_data_share」モードは旧方式(legacy)として位置づけられており、Amazon Bedrockがモデル提供元とデータを共有することはありません。加えて、AWSとAnthropicが共同開発した「Enterprise Frontier Safeguards」により、対象顧客は今後、自社が管理するクラウド環境にデータを置いたままCovered Modelを使えるようになる予定です。利用はAmazon BedrockまたはAWS上のClaude Platformの2経路から可能です。データ保持方式の違いは自社の管理要件と照らして確認しておく価値があります。 AWS Blog
編集後記：人間の文脈判断を重視するGivenの視点
今回の記事を読み返すと、AIとQAの関係について考えるべき点が残ります。CX CollectiveのTy Givenは、AIツールが会話の解析を助ける一方でニュアンスの判断には依然苦戦しており、文脈を確認する作業は人間が担う必要があると述べています。多くのベンダーがAIによる100%の対話レビューに力点を置く中、Givenは人間の判断が不可欠だと考えている、という点は導入を検討する側にとって確認しておく価値がありそうです。