【2026年8月時点】Agentforce Observabilityとは？定着と精度を測る指標設計

役員会で「で、効果はどうなの」と聞かれたときに、手元にあったのが月間の会話数と前月比だけだった、という声を導入済みの企業の担当者からよく聞きます。エージェント自体は止まらずに動いており、処理した会話の本数も月ごとに増えているのに、社員が使いこなしているのか、それとも回答の精度が信用されていないのかまでは、その数字から読み取れないのではないでしょうか。

本記事では、Agentforceの効果を数値で説明するために先に決めておくべき指標と、その指標をAgentforce Observabilityでどう確認するのかを、2026年8月時点の仕様にもとづいて整理します。

この記事を書いた人

本田正憲

合同会社クロスコムの代表｜専門商社にて7年間のBtoB営業を経て、マーケティング業界に参入。現在はSalesforce公式コンサルティングパートナーとして、ソリューション営業の業務プロセスに特化したAgentforce導入・定着支援を提供している。

Agentforceの成果を会話数で語れない3つの状況

経営層から投資対効果を問われて答えに詰まる場面は、Agentforceの稼働から半年ほど経った時期に訪れます。今回は、問い合わせ対応のエージェントを昨年から動かしている従業員600名規模のBtoBサービス企業を例に、Salesforceの運用を担当する情報システム部の担当者が役員会で「で、効果はどうなの」と聞かれた場面から考えていきます。そこでここでは、Agentforceの成果を会話数だけでは語れなくなる3つの状況を整理します。

状況①役員会への報告が処理件数だけで終わっている

1つ目は「役員会への報告が処理件数だけで終わっている」状況です。エージェントが処理した会話の本数は、システムが稼働している証明にはなりますが、業務が変わったかどうかの証明にはなりません。

たとえば、先ほどの600名規模のBtoBサービス企業では、情報システム部の担当者が半年分の月次レポートを用意して役員会に臨みました。ところが役員から返ってきたのは「会話が増えたのは分かったけれど、それで何が良くなったの」という問いで、担当者はその場で答えられず、追加の資料を用意すると答えるしかありませんでした。

担当者が用意できていたのは、月ごとの会話数と前月比だけでした。質問の種類ごとの内訳も、同じ社員が翌月も使っているかどうかの数字も、集計の対象に入っていなかったのです。

会話数を報告したあとに返ってくる追加の質問こそ、本来測るべき指標を指しています。役員会で出た問いをそのまま書き留めておくと、次に用意する数字が決まってくるでしょう。

状況②現場が使わない理由を特定できていない

会話数の報告でつまずいた次に起きるのが、社員が使わない理由を特定できていない状況です。利用が伸びない事実は分かっても、その理由が業務に合っていないからなのか、回答が役に立たないからなのかを、担当者が説明できない状態を指します。

この600名規模のBtoBサービス企業では、営業部から「回答が浅いから結局自分で調べている」という声が情報システム部に届いていました。ただし、声を上げたのは営業部の一部の社員であり、同じことを感じている社員が何割なのかは、手元のデータからは確認できませんでした。

社員から届く声は、改善のきっかけにはなりますが、それだけでは優先順位を決められません。声の内容と件数の分布を突き合わせられる状態にしておくと、次に直す設定を件数の多い順に選べます。なお、営業部門でのエージェント活用については、ほか記事「Agentforce for Sales完全ガイド｜SDR・Sales Coachの使い方と営業活用事例【2026年最新】」で整理していますので、あわせて参考にしてもらえると嬉しいです。

状況③精度への不信と未定着を切り分けられていない

3つ目は「精度への不信と未定着を切り分けられていない」状況です。同じ「使われていない」という結果でも、そもそも社員がエージェントの存在を知らないのか、一度使ったうえで回答を信用しなくなったのかで、打つべき対策はまったく変わります。

具体例でいうと、この情報システム部の担当者が見ていた月次レポートには、会話数と前月比しか並んでいませんでした。会話数が横ばいのとき、それが新しく使い始めた社員が増えていない状態なのか、一度使った社員が二度目を使わなくなった状態なのかは、合計値からは判別できません。

逆にいえば、この2つを切り分けられれば、社内への案内を増やすのか、回答の内容を直すのかという対策は自動的に決まります。以上が、Agentforceの成果を会話数だけでは語れなくなる3つの状況でした。

Agentforceの定着率を把握できない3つの原因

ここまで、Agentforceの成果を会話数で語れなくなる3つの状況を見てきましたが、こうした状態は特定の企業に限った話ではありません。Gartnerが2026年5月19日に公表した調査では、最高営業責任者（CSO）227名のうち31%が、AI駆動ツールの投資対効果を示すことの難しさを、2026年の営業目標に対する主要な課題として挙げています（実施時期は2025年8月から9月、対象はAI駆動ツール全般であり、AIエージェントに限定した数字ではありません）。そこでここでは、Agentforceの定着率を把握できない3つの原因を、データの取り方という観点から整理します。

※参考記事はこちら

原因①ログが会話単位でしか残っていないから

最初に挙げたいのは、記録が会話単位でしか残っていないという原因です。会話が始まって終わった事実だけが積み上がり、途中で何が起きたのかが残らないため、会話数以外の数字を後から作れなくなります。

では、なぜ会話単位の記録だけでは足りないのでしょうか。それは、定着や精度の判断に使う情報が、会話の内部にしか存在しないからです。社員がどの質問で引き返したのか、エージェントがどの参照先を使って答えたのかといった情報は、会話の開始と終了だけを記録していても再現できません。

先ほどの600名規模のBtoBサービス企業でも、残っていたのは会話の件数とタイムスタンプだけでした。営業部から「回答が浅い」という声が届いたあと、担当者はどの質問で浅い回答が返ったのかを調べようとしましたが、該当する会話を絞り込む手がかりがなく、確認は途中で止まりました。

記録の粒度を細かくしていないかぎり、あとから指標を増やすことはできません。指標を増やしたいと考えた時点で、まず記録の設定がどこまで細かくなっているかを確認しましょう。

原因②利用者ごとの再利用状況を追っていないから

会話単位の記録という制約に加えて、利用者ごとの再利用状況を追っていないことも、定着率を把握できない原因になります。合計の会話数は、初めて使った社員の分と、繰り返し使っている社員の分が混ざった数字であり、そのままでは定着の判断に使えません。

たとえば、同じ月間100件の会話でも、100人が1回ずつ使った状態と、10人が10回ずつ使った状態では、意味がまったく異なります。前者は関心を持たれているものの業務に組み込まれていない状態で、後者は一部の社員には定着したものの広がっていない状態です。どちらの状態かで打つ手も変わり、前者なら業務のどの場面で使うのかを案内し直すところから、後者ならすでに使っている部門のやり方を隣の部門へ移すところから始めることになります。

この情報システム部の担当者も、レポートに並ぶ合計値を毎月確認していましたが、同じ社員が翌月も使っているかどうかは追えていませんでした。定着という言葉が指すのは、この再利用のことです。

同じ社員が翌月も使ったかどうかを数える設定にしてあれば、合計値が横ばいの月でも、定着が進んだのか止まったのかを判定できます。

原因③回答の正しさを人が確認していないから

3つ目の原因は、回答の正しさを人が確認していないことにあります。エージェントが返した内容が業務として正しかったかどうかは、システムの動作記録だけでは判定できないため、誰かが読んで評価しないかぎりデータになりません。

エージェントは、参照先のデータが古くても、質問の意図を取り違えていても、エラーを出さずに文章を返し、処理としては正常に完了した記録が残ります。

この企業では、営業部の社員が回答を読んで浅いと判断していたにもかかわらず、その判断がどこにも記録されていませんでした。社員は評価を入力する場所を知らず、わざわざ管理者へ報告せずに、自然とエージェントを使わなくなっていきました。

評価を残す仕組みには、回答ごとの良し悪しを選ぶボタンと、そう判断した理由を書き残す欄の両方が要ります。ボタンだけを置いても、どこが業務に足りなかったのかまでは残らないからです。回答の質を数値にしたいのであれば、人が評価を残す仕組みを先に用意しなければいけません。

Agentforceの効果測定で先に決める3つの定義

前章では、Agentforceの定着率を把握できない原因を、記録の取り方の側から整理しました。ただし、記録を細かくすれば数字を語れるようになるかというと、そうではありません。同じデータを見ていても、何をもって完了とみなすのか、人へ回った会話をどう数えるのかが社内で揃っていなければ、出てきた数字の意味が部門ごとに変わってしまいます。そこでここでは、Agentforceの効果測定を始める前に社内で決めておく3つの定義を整理していきます。

定義①完了とみなす状態の線引き

最初に決めるのは、どの状態を完了とみなすかの線引きです。会話が終わったという事実と、社員の用件が片づいたという事実は一致しないため、この線引きを先に決めておかないと、あとから出てくる比率の意味が部門ごとにずれます。

解釈が分かれるのは、会話の終わり方が記録の上では区別されないためです。記録の上では、社員が回答を読んで納得して閉じた場合も、途中であきらめて閉じた場合も、どちらも会話の終了として残ります。そのため、この2つを同じ完了として数えるのか別々に数えるのかを決めないまま比率を出すと、その数字が良い状態を指すのか悪い状態を指すのかで、会議のたびに議論が戻ってしまいます。

たとえば、この600名規模のBtoBサービス企業では、「申請書の提出先を知りたい」という質問が多く寄せられていました。担当者は、提出先のURLを提示した時点を完了とみなすのか、その後に社員が実際に申請を終えた時点を完了とみなすのかを、営業部と情報システム部で言葉を揃えるところから始めました。

完了の線引きは、あとから変えると過去の数字と比較できなくなります。最初に決めた定義を文章で残し、変更するときは変更日も一緒に記録しておきましょう。

定義②人へ引き継いだ会話の扱い

完了の線引きが決まったら、次は人へ引き継いだ会話をどう扱うかを決めます。担当者への引き継ぎを失敗として数えるのか、設計どおりの動作として数えるのかで、同じデータから出てくる評価が正反対になります。

引き継ぎは、エージェントが答えられなかった結果として起きる場合もあれば、契約変更のように最初から人が対応すると決めている場合もあります。後者を失敗に数えると、設計どおりに動いているエージェントほど評価が下がってしまいます。

この企業の場合、見積もりの内容に関する質問は営業担当者へ引き継ぐ設計にしていました。担当者はこの引き継ぎを失敗から除外し、それ以外の理由で人へ回った会話だけを改善の対象として扱うことにしました。除外の条件を先に文章にしておいたため、月次のレポートでも同じ基準で集計できています。

除外する引き継ぎの条件は、レポートを出すたびに解釈が変わらないよう、対象になる質問の種類の名前まで書いて残しておきましょう。

定義③成果を判定する対象期間

3つ目に決めるのは、成果を判定する対象期間です。エージェントの利用は月ごとの業務量に左右されるため、期間の取り方を決めないまま前月比だけを追うと、業務の繁閑をエージェントの成果として読んでしまいます。

期間を決めるときの基準は、社内で予算や体制を判断する周期に合わせることです。四半期で予算を見直す会社であれば、四半期を判定の単位にしたうえで、月次は途中経過として扱います。

先ほどの企業では、問い合わせが増える期末月とそれ以外の月で会話数が大きく変わっていました。担当者が月次の前月比だけを役員会に出していたときは、期末月の伸びを成果のように説明してしまい、翌月に数字が戻ったところで説明が続かなくなったのです。そこで判定の単位を四半期に変えています。

以上が、Agentforceの効果測定を始める前に決めておく3つの定義でした。この3つを言葉で揃えてから、次に見る指標を選んでいきます。

Agentforceの定着を示す4つの指標

前章では、効果測定を始める前に社内で揃えておく3つの定義を整理しました。定義が揃うと、ようやく指標を選べるようになります。ただし、4つのうち1つだけを見て定着を判断できる指標はありません。それぞれ上がったときに疑うことと下がったときに疑うことが違うため、4つを並べて読む前提で意味を押さえておく必要があります。そこでここでは、Agentforceの定着を判断するために使う4つの指標について、それぞれ何を意味するのかを整理していきます。

指標①引き継ぎの多さを示すエスカレーション率

1つ目は「引き継ぎの多さを示すエスカレーション率（Escalation Rate）」です。担当者や他のエージェントへ引き継いだセッションの割合を指します。

この数字が上がったときにまず疑うのは、対応範囲の設定が業務の実態に追いついていない可能性です。新しい制度が増えたのに参照先を更新していなければ、答えられない質問が増えます。一方で、この数字が低ければ良いわけでもありません。引き継ぎの条件を設定していないために、答えられない質問にも答え続けている場合があるからです。

先ほどの600名規模のBtoBサービス企業では、見積もりに関する質問を営業担当者へ引き継ぐ設計にしており、この設計を入れた月は引き継ぎが増えました。ただし想定どおりの動作であり、改善の対象にはなりません。

エスカレーション率は、単独で高い低いを判断せず、定義②で決めた「想定していた引き継ぎ」を除いた数字で見るようにしましょう。なお、引き継ぎが発生する現場の設計については、ほか記事「Agentforce Service Agentとは？チャットボットとの違いと導入設計を解説【2026年最新】」で詳しく解説しています。

指標②人を介さず終わった割合のデフレクション率

2つ目は「人を介さず終わった割合のデフレクション率（Deflection Rate）」です。担当者や他のエージェントへ引き継がずに終了したセッションの割合を指し、人手をかけずに完了した会話の比率として読まれます。

デフレクション率は、経営層への報告でもっとも使われやすい指標です。人が対応しなくて済んだ会話の割合という説明は分かりやすく、投資の効果としても伝わります。ただし、引き継がずに終わった会話には、社員が納得して終えたものと、途中であきらめて閉じたものの両方が含まれます。

たとえば、この企業では、回答が浅いと感じた営業部の社員が途中で画面を閉じ、自分で調べ直していました。この会話は担当者へ引き継がれていないためデフレクションとして数えられますが、実際には業務の手戻りが増えている状態です。

デフレクション率は、放棄セッション率とフィードバックを並べて読まないかぎり、成果として報告できる数字にはなりません。

指標③離脱の多さを示す放棄セッション率

3つ目は「離脱の多さを示す放棄セッション率（Abandonment Rate）」です。タイムアウトしたセッションや、社員からの反応がないまま終了したセッションの割合を指します。既定のタイムアウトは2時間で、この時間を過ぎた会話は放棄として扱われます。

この数字は、会話が最後まで成立しているかを確認するために使います。放棄が多い場合に疑うのは、回答が長すぎて読まれていない、意図を取り違えた回答が返っている、待ち時間が長いといった、会話の途中で起きている問題です。

具体例でいうと、この600名規模のBtoBサービス企業では、社内規程に関する質問への回答が数百字にわたることがありました。社員が知りたかったのは適用の可否だけでしたが、条文の要約が先に返るため、読み切る前に画面を閉じる社員が出ていました。

放棄セッション率が下がっているときは、会話が成立している状態と読んで差し支えありません。ただしこの指標は社員が何も操作しなかった会話まで拾うため、率の推移と一緒に、放棄と判定された会話の件数そのものも見ておきましょう。

指標④現場の信頼度が表れるフィードバック

4つ目は「現場の信頼度が表れるフィードバック」です。社員が回答に対して付けた評価であり、原因③で触れたとおり、回答が業務として役に立ったかどうかを人が判断した唯一のデータになります。

フィードバックは、率で読むよりも中身を読む指標です。評価の件数が少ないうちは比率に意味がなく、どの質問に対して不満が付いたのかという内容の側に情報があります。評価の入力は任意であるため、件数が少ないことは満足を意味しません。

この企業では、営業部から届いた「回答が浅い」という声が、システム上の評価としては1件も残っていませんでした。担当者が確認したところ、評価を入力するボタンの存在を知っている社員がほとんどいない状態でした。

フィードバックの件数が極端に少ないときは、まず入力の導線を確認しましょう。以上が、Agentforceの定着を示す4つの指標でした。

Agentforceの指標を切り替える3つの時期

前章では、Agentforceの定着を示す4つの指標が、それぞれ何を意味するのかを整理しました。ただし、この4つを最初から同時に追いかける必要はありません。稼働直後に見ても数字が動くだけの指標があり、逆に、対象の業務を広げる段階になってから初めて判断に使える指標もあります。そこでここでは、稼働からの経過に応じてAgentforceの指標をどう切り替えていくのかを、3つの時期に分けて整理していきます。

時期①稼働直後は放棄セッション率で会話の成立を確かめる

稼働から数週間の段階で最初に見るのは、放棄セッション率です。会話が最後まで成立していない状態で回答の中身を評価しても、評価の対象になる会話が集まりません。

この時期に確かめたいのは、社員が質問を入力してから回答を受け取るまでの流れが、そもそも途切れずに進んでいるかどうかです。応答が返らない、意図の違う回答が返って会話が止まるといった問題は、回答の質を議論する前に解決しておく対象になります。

先ほどの600名規模のBtoBサービス企業を例にとると、稼働の初月に社内規程の質問で会話が途中で止まる事象が続いていました。担当者が確認したところ、参照先として指定した文書が古い版のままだったのです。この段階でデフレクション率を見ていても、この原因にはたどり着きませんでした。

稼働直後は、率の絶対値よりも、放棄が起きた会話の中身を1件ずつ読む時期だと考えます。母数が小さいうちは率が大きく動くため、数字の上下だけを追いかけないようにしましょう。

時期②定着期はデフレクション率で任せられる範囲を測る

会話が途切れずに成立するようになったら、次に見るのはデフレクション率です。この段階では、エージェントにどこまでの業務を任せられるのかという範囲の判断に、数字を使います。

デフレクション率を範囲の判断に使えるのは、この指標が「人手をかけずに終わった会話の割合」を表すからです。質問の種類ごとにこの割合を分けて見ると、任せきれている業務と、人の対応が必要なまま残っている業務が分かれてきます。

この企業では、申請書の提出先といった定型的な質問と、見積もりや契約条件に関する質問とで、人へ回る割合が明確に違っていました。担当者は前者を任せる範囲として確定させ、後者は引き継ぐ設計のまま維持しています。

質問の種類ごとに分けて読むときは、分類の仕方を先に決めてから集計します。あとから分類を変えると、前の四半期の数字と並べられなくなるからです。ただし、指標②で触れたとおり途中離脱の会話も含まれるため、質問の種類ごとに分けた数字であっても、放棄セッション率と並べて確認する必要があります。

時期③拡大期はタスク解決率で回答の中身を評価する

任せる範囲が固まり、対象の業務や部門を広げる段階に入ったら、タスク解決率（Task Resolution Rate）を見ます。社員の用件が完全に解決したと評価されたセッションの割合を指し、会話が終わったかどうかを問わず、用件が片づいたかどうかを表す指標です。

あわせて、この時期には品質スコア（Quality Score）も確認の対象になります。参照元のデータへの忠実さを表す回答の忠実度（Answer Faithfulness）や、質問との関連性を表す回答の関連性（Answer Relevance）も、回答の中身を評価するために使われます。

先ほどの企業では、問い合わせ対応から始めて、営業の面談メモを要約する業務へ適用を広げようとしていました。要約のような業務では、会話が終わっても用件が片づいたとは限らず、出てきた文章が使えるかどうかで判断が変わります。だからこそ、拡大の段階では回答の中身を測る指標が必要になるのです。

以上が、稼働からの経過に応じて見る指標を切り替える3つの時期でした。自社が今どの時期にいるのかを先に決めてから、見る指標を選んでいきましょう。

Agentforceの効果測定で起きる3つの誤読

ここまで、時期ごとに見る指標を切り替える考え方を整理してきましたが、指標を選べば正しい結論が出るわけではありません。Agentforceの効果測定では、数字の読み方を先に決めていないと、良い数字を根拠に誤った判断を下すことがあります。とくにデフレクション率のように経営層への報告で使われやすい指標ほど、単独で読んだときのずれが投資の判断へ直結します。そこでここでは、Agentforceの効果測定で起きやすい3つの誤読を整理していきます。

誤読①デフレクション率が高くても満足とは限らない

もっとも起きやすいのは、デフレクション率の高さを社員の満足として読んでしまう誤読です。この指標が数えているのは担当者へ引き継がなかった会話であり、社員が納得したかどうかは判定の条件に入っていません。

納得できずに自分で調べ直した会話は、社内の別の場所で人が処理しているだけであり、会社全体で見た業務の総量は減っていません。

この600名規模のBtoBサービス企業でも、営業部の社員が回答を読んだうえで自分で資料を探し直していました。両者を見分けるには、引き継がずに終わった会話のうち、社員がそのあとに別の手段で同じ用件を処理していないかを確認します。エージェント側の記録だけでは追えないため、限界③で触れる聞き取りと組み合わせることになります。

人へ引き継がなかったという記録は、業務が減ったことの証明にはなりません。

デフレクション率を報告に使うのであれば、放棄セッション率とフィードバックの内容をあわせて示し、3つの数字が同じ方向を指しているかを確認してから結論を出しましょう。

誤読②放棄セッションに正常終了が混ざる

次に多いのが、放棄セッションをすべて失敗として読んでしまう誤読です。放棄として数えられる条件には、用件が片づいた会話も当てはまります。

社員が知りたかった情報を受け取ったあと、返信をせずに画面をそのまま閉じるケースは珍しくありません。エージェント側から見れば反応がないまま時間が過ぎた会話であり、既定の2時間を超えた時点で放棄として記録されます。

たとえば、この企業では申請書の提出先を尋ねる質問が多く、社員は提示されたリンクを開いた時点で用件を終えていました。担当者が放棄として集計された会話を読むと、リンクの提示までで完結しているものが相当数を占めていたのです。

分けるときの手がかりになるのは、最後にエージェントが返した内容です。用件に対する答えを返したあとで途切れているのか、答えが返る前に途切れているのかで、正常に終わった会話かどうかを判定できます。放棄セッション率は、率の高さを問題視する前に、中身を読んで正常に終わった会話を分けるところから始めます。分けた結果を定義①の線引きに反映させておくと、翌月からの集計が読みやすくなるでしょう。

誤読③フィードバックは不満のときに偏る

3つ目は、フィードバックの件数や評価の平均を、社員全体の評価として読んでしまう誤読です。評価の入力は任意であるうえ、入力する動機は満足したときよりも不満を感じたときのほうが強くなります。

そのため、評価が低く偏っていることは、社員の大半が不満を持っていることを意味しません。逆に評価が高く並んでいる場合も、熱心に使っている一部の社員だけが入力している可能性があります。

指標④で触れたとおり、この企業では評価の入力ボタンを知っている社員がほとんどいませんでした。この状態で集まった数件の評価から全体の傾向を読み取ろうとしても、判断の材料にはなりません。

フィードバックは、母数の代表性を確認できないかぎり比率で語らず、記述された内容を個別に読む材料として扱います。何件たまれば比率で語ってよいのかは、月間のセッション数に対する入力の割合を先に測ってから決めましょう。

Agentforceの効果測定にある3つの限界

前章では、指標を単独で読んだときに起きる誤読を整理しました。ただし、読み方を工夫しても答えられない問いは残ります。Agentforceの効果測定で集計されるのはエージェントとの会話に関する数値であり、その外側で起きたことは記録に含まれないため、測れる範囲には初めから境目があるのです。測れないことを先に共有しておけば、報告の場で答えられない質問が出ても、その場で困らずに済みます。そこでここでは、Agentforceの効果測定にどのような限界があるのかを、3つに分けて整理していきます。

限界①売上への貢献は指標から導けない

まず押さえておきたいのは、売上への貢献を指標から直接は導けないという限界です。集計される数字はエージェントとの会話に関するものであり、その会話のあとに商談が進んだのか、契約に至ったのかまでは記録の対象に含まれていません。

では、なぜ導けないのでしょうか。それは、会話と売上の間に、担当者の提案や価格の条件といった別の要因が数多く入るからです。受注できた案件があっても、その要因をエージェントに配分する根拠は、会話の記録の側からは作れません。

先ほどの600名規模のBtoBサービス企業でも、役員から「売上にはどう効いているの」という質問が出ていました。担当者が用意できたのは、問い合わせ対応がエージェント側で完結した会話の割合までで、そこから先は別のデータと突き合わせる必要がありました。

売上への貢献を語りたい場合は、指標から導くことはせず、業務量の変化を示したうえで金額換算の前提を人が置く形になります。効果測定で答えられるのは業務がどう変わったかまでであり、売上の因果は指標の外側にあります。

限界②設定前の会話はさかのぼって測れない

次に知っておきたいのは、会話の詳細を記録する設定を有効にする前の会話は、さかのぼって測れないという限界です。分析に使えるのは設定後に発生した会話だけで、過去の会話に対して後から指標を付け直すことはできません。

この制約は、稼働から時間が経っている企業ほど影響が大きくなります。半年前から動かしているエージェントであっても、記録の設定を今日有効にしたのであれば、比較に使える期間は今日以降の分だけです。

この企業の担当者も、役員会の直後に設定を見直しましたが、過去半年分の会話に対して引き継ぎの割合を出すことはできませんでした。結果として、次の四半期の数字が出そろうまで、比較の対象がない状態が続いています。

過去の数字を出せない期間は、報告の場でも空欄のまま残ります。いつからのデータであれば示せるのかを、指標の中身を決めるより先に役員へ伝えておきましょう。

限界③人が代わりに処理した件数は残らない

3つ目の限界は、社員が自分で処理した件数が記録に残らないことです。エージェントを使わずに済ませた業務や、回答に納得できず自分で調べ直した作業は、会話の記録の外側で起きているため、データとして集まりません。

この限界は、状況③で触れた切り分けの難しさと直結します。使われていない業務が、そもそも対象外なのか、一度試して見限られたのかは、エージェント側の記録だけでは判別できません。

実際に、この企業の営業部では、見積もりの前提条件を確認する作業を、エージェントに聞かずに先輩社員へ直接尋ねる習慣が残っていました。その件数はどこにも残らないため、担当者は営業部への聞き取りで把握するしかありませんでした。

記録の外側で起きている業務量は、社員への聞き取りやアンケートで補います。以上が、Agentforceの効果測定にある3つの限界でした。

Agentforceの指標整備が向かない3つのケース

ここまでは、測れることと測れないことを機能の側から整理してきましたが、判断はもう1つ必要です。測れるとしても、自社が今それを整備すべき段階にあるとは限りません。指標を増やすほど集計と報告の作業も増えるため、改善に結びつかない段階で着手すると、担当者の工数だけが積み上がることになってしまいます。着手しないという判断も、有効な選択肢のひとつです。そこでここでは、Agentforceの指標整備をまだ始めなくてよい3つのケースを整理します。

ケース①稼働中のエージェントが1体しかない段階

1つ目は「稼働中のエージェントが1体しかない段階」です。対象が1体で、対象の業務も1つに限られている場合、比率の指標を整えるより、会話の中身を直接読むほうが早く改善につながります。

では、なぜ比率の指標が向かないのでしょうか。それは、会話の件数が少ないうちは、数件の増減で率が大きく動いてしまうからです。月に数十件の会話しかない状態でデフレクション率の推移を追っても、改善したのか偶然なのかを判定できません。

会話の件数が少ない段階では、率を見るよりも会話を1件ずつ読むほうが、改善の材料が多く得られます。

たとえば、稼働から1か月で数十件という規模であれば、全件を読み通すことも現実的でしょう。

2体目のエージェントを動かし始めるまでは、指標の整備を後回しにして構いません。なお、規模の小さい組織でのAgentforceの始め方については、ほか記事「中小企業のAgentforce導入ガイド｜向く理由・成果の出る業務・費用」をご確認ください。

ケース②分析基盤の権限とライセンスを確保できていないとき

指標を見る前提として、分析基盤の利用権限とライセンスの割り当てが必要になります。この割り当てを確保できていないときは、指標の設計を先に進めても、画面上で数字を確認できない状態が続きます。

権限とライセンスの手配は、情報システム部門だけで完結しない場合があります。追加の割り当てが必要になれば社内の承認が要りますし、既存の契約内容の確認も必要です。指標の議論を始める前に、この手配にどれくらいの期間がかかるのかを確認しておくと、計画が現実的になります。

600名規模のBtoBサービス企業では実際に、担当者が指標の一覧を作ったあとで、権限の割り当てが済んでいないことに気づきました。手配の依頼から実際に画面を確認できるまでの間、指標の議論は止まった状態になっていました。

必要な権限セットとライセンスの具体名は、前提④で整理します。手配にかかる期間が読めない場合は、指標の議論そのものは止めずに、契約内容の確認だけを並行して進めましょう。

ケース③指標が下がっても定義を直せる担当が社内にいない

3つ目は「指標が下がっても定義を直せる担当が社内にいない」ケースです。数字が悪化したときに、参照先の設定や引き継ぎの条件を変更できる担当がいなければ、指標を整備しても報告資料が増えるだけになります。

指標は、下がったときに設定を直すためにあります。逆にいえば、直す担当が決まっていない状態では、毎月の数字が改善に結びつかず、レポートの作成工数だけが積み上がることになってしまいます。

この企業の場合、Salesforceの運用は情報システム部の担当者1名が兼任しており、日常の運用対応の合間に設定を変更する余裕がありませんでした。指標を増やす前に、誰がその数字を受けて設定を変えるのかを決める必要があります。

社内に担当を確保できない場合は、指標の整備を保留するか、外部の支援を前提に体制から設計します。以上が、Agentforceの指標整備をまだ始めなくてよい3つのケースでした。

Agentforceの指標整備が効く3つの組織要件

前章では、Agentforceの指標整備をまだ始めなくてよいケースを整理しました。ここで挙げる3つは、そのケースと裏表の関係にある該当条件です。1つでも欠けていると、指標を整えても数字が判断に使われないまま終わるため、欠けている要件があればそちらを先に埋める順番になります。そこでここでは、Agentforceの指標整備が効く3つの組織要件を、自社が該当するかどうかを判定できる形で整理していきます。

要件①複数の部門でエージェントを動かしている

1つ目は「複数の部門でエージェントを動かしている」ことです。2つ以上の部門で利用が始まっていると、同じ指標を部門ごとに並べて比較でき、数字の差から原因を絞り込めるようになります。

比較の対象があると、指標の読み方が変わります。ある部門だけデフレクション率が低いのであれば、原因はエージェント全体の設定よりも、その部門が扱う質問の種類にある可能性が高くなります。全社で1つの数字しか出ない状態では、この絞り込みができません。

先ほどの600名規模のBtoBサービス企業では、情報システム部が管理する問い合わせ対応のエージェントを、管理部門と営業部門の両方で使っていました。同じ設定で動かしているにもかかわらず、営業部門だけ引き継ぎが多い状態が続いていたため、担当者は営業部門特有の質問に原因を絞ることができました。

部門をまたいだ利用があるかどうかは、指標を整備する価値を判定するうえで最初に確認する条件です。1部門のみであれば、ケース①のとおり会話の中身を読むほうが先になります。

要件②次の予算を決める時期が決まっている

2つ目の要件は、次の予算を決める時期が社内で決まっていることです。判断の期日が決まっていると、いつまでにどの数字を用意するのかが逆算でき、指標の整備が報告の準備として機能します。

指標は、判断の期日が決まってはじめて、集めるべき範囲と期間が確定します。期日がないまま数字を集めると、どこまで揃えれば十分なのかを決められず、集計の作業だけが続くことになります。

この企業では、次年度の予算案を12月に確定させる運用でした。担当者は12月の稟議から逆算し、9月末までに四半期の比較ができる状態にすると決めています。この期限があったため、測る指標を4つに絞り込む判断もできました。

自社の予算判断の月がいつなのかを確認し、そこから逆算して指標の整備計画を立てましょう。期日が決まっていない場合は、報告の期限を先に置くところから始めます。

要件③会話ログを読んで定義を直す担当がいる

3つ目は「会話ログを読んで定義を直す担当がいる」ことです。数字が動いたときに会話の中身まで確認し、参照先や引き継ぎの条件を変更できる担当がいるかどうかで、指標が改善につながるかが決まります。

この要件が満たされているかは、集計を担当する人がいるかどうかでは判定できません。レポートを作る作業と、設定を変更する作業は別のスキルであり、担当も分かれていることが多いからです。

600名規模のBtoBサービス企業の担当者は、集計までは自分で担えたものの、設定の変更までは対応できていませんでした。担当者はこの状態を役員会に説明し、外部の支援を前提とした体制の見直しを提案しています。

自社がこの3つの要件に該当するかを確認したうえで、該当するのであれば次は誰に何を報告するかを決めていきます。社内に担当を確保できない場合の選択肢は、ほか記事「Agentforce導入支援会社のおすすめ8選｜失敗しない選び方と7つの見極め方【2026年最新】」で整理しています。

Agentforceの定着率を報告する3つの相手

前章では、指標整備が効く組織要件を判定の基準として整理しました。該当すると判断できたら、次に決めるのは同じ数字を誰にどう伝えるかです。同じダッシュボードを全員に見せても、経営層が知りたいのは投資を続けてよいかどうか、情報システム部門が知りたいのは動作が安定しているかどうかであり、必要な数字は一致しません。相手ごとに何を出すのかを決めていないと、説明のたびに追加の質問が返ってきてしまいます。そこでここでは、Agentforceの定着率を報告する3つの相手について、示す指標の違いを整理していきます。

相手①次期予算の稟議で説明を求められる経営層

まず経営層に対しては、投資を続ける根拠になる数字を示します。経営層が判断するのは個別の設定の良し悪しではありません。判断の対象は次の期も費用をかける価値があるかどうかであり、必要なのは四半期単位での推移です。

経営層への報告で気をつけたいのは、指標を並べすぎないことです。4つすべてを並べると、どれが判断材料なのかが伝わりません。定義③で決めた対象期間に沿って、デフレクション率を主として示し、その数字の読み方を支える補足として放棄セッション率とフィードバックの内容を添える形にします。

先ほどの企業の担当者は、月次の前月比を提示していたときには追加の質問が続いていました。四半期どうしの比較に切り替え、任せる範囲を確定させた業務の一覧を添えたところ、議論が数字の増減から次に広げる業務の選定へ移っています。

経営層への報告では、指標の数値よりも、その数字をもとに次に何をするのかまでを1枚で示しましょう。

相手②稼働の異常対応を任される情報システム部門

情報システム部門に対しては、動作が安定しているかどうかを示す数字を渡します。この部門が対応するのは、応答が返らない、処理が途中で止まるといった稼働上の問題であり、判断に必要なのは業務の成果よりも異常の兆候です。

同じデータでも、経営層には投資の判断材料として、情報システム部門には異常の検知材料として、別の切り口で示す必要があります。放棄セッション率が急に上がった場合、経営層にとっては効果の低下ですが、情報システム部門にとっては応答時間や参照先の不具合を疑う合図になります。

この600名規模のBtoBサービス企業では、稼働の初月に会話が途中で止まる事象が続きました。参照先の文書が古い版のままだったことが原因でしたが、この種の問題は数字が下がってから会話を読むまでの間に時間がかかるほど、影響が広がります。

情報システム部門には、率の推移よりも、異常が起きた会話をすぐ確認できる状態を渡すほうが役に立ちます。

相手③回答が浅いと感じている営業現場

3つ目の相手は、回答が浅いと感じている営業現場です。営業担当者が知りたいのは全社の比率よりも、自分が任せている業務で手戻りが減るのかどうかであり、示すべきなのは質問の種類ごとの解決状況になります。

営業現場でエージェントに任せる業務は、問い合わせ対応だけではありません。過去の類似案件を抽出する、面談のメモを要約して提案の骨子に変換する、面談後に見込み顧客へ要約メールを送るといった業務が対象になり、出てきた文章をそのまま使えるかどうかで評価が決まります。少しでも直しが必要なら、営業担当者は手戻りとして受け止めます。

この企業の営業部から届いていた「回答が浅い」という声も、要約の内容が提案に使える水準に届いていないという意味でした。担当者が全社のデフレクション率を示しても、営業担当者の関心には答えられません。

営業現場には、自分が使っている業務の数字だけを切り出して示します。以上が、Agentforceの定着率を報告する3つの相手でした。

Agentforce Observabilityの3層

ここまで、何を測り、誰に伝えるのかという設計を整理してきました。ここからは、その設計を実際に確認するための機能を見ていきます。なお、Salesforceの公式ヘルプはAgent AnalyticsとAgent Optimizationの2つを主要なユースケースとして記載しており、記録・集計・深掘りという3層の括り方は本記事独自の整理です。そこでここでは、Agentforce Observabilityがどのような構成になっているのかを、3つの層に分けて整理します。

層①会話の記録を残すSession Tracing

1つ目は「会話の記録を残すSession Tracing」です。正式にはSession Tracing Data Model（STDM）と呼ばれ、エージェントの会話をOpenTelemetryの標準に沿ったテレメトリとしてData 360に保存する仕組みで、上位の2層はいずれもこの記録を参照して動きます。

この層が記録するのは、会話全体を指すセッションと、1回のやり取りを指すインタラクションです。さらに、そのやり取りの中で実行された個々のステップやメッセージまでが、それぞれのオブジェクトとして残ります。原因①で触れた「会話単位でしか残っていない」状態とは、この記録を有効にしていない状態のことです。

先ほどの600名規模のBtoBサービス企業が過去半年分の引き継ぎの割合を出せなかったのも、この記録が有効になっていなかったためで、担当者は役員会の直後にセットアップを進めています。

Session Tracing Data Modelを有効にした時点から記録が始まるため、指標の設計より先に有効化を済ませておくほうが無駄がありません。

層②指標の推移を集計するAgent Analytics

記録が残るようになったら、その記録を集計して指標の推移として見せるのがAgent Analyticsです。2025年11月に一般提供が開始された機能で、エスカレーション率やデフレクション率といった指標をダッシュボードで確認できます。

Agent Analyticsが担うのは、全体の傾向を把握する役割です。どの指標がどの期間に動いたのかを確認し、変化が起きた時期を特定するところまでを、この層で行います。個別の会話に何があったのかまでは、この層では追いません。

この企業の担当者が四半期どうしの比較に切り替えられたのも、集計された指標を期間で切り出せるようになったからです。月次の前月比しか出せなかった状態から、判断の周期に合わせた数字を出せる状態へ変わりました。

なお、測定の対象になる機能全体の一覧は、ほか記事「Agentforceの機能一覧｜360・Coworker・Voiceまで主要機能を整理」にまとめています。

※参考記事はこちら

層③未解決の会話を掘るAgent Optimization

3つ目は、指標が動いた原因を個別のセッションまでさかのぼって確認するAgent Optimizationです。こちらも2025年11月に一般提供が開始されており、Session Tracing Data Modelに記録されたセッションを使って、解決に至らなかった会話を確認できます。

集計値だけでは、なぜその数字になったのかを説明できません。放棄が増えたという事実が分かっても、参照先の設定が原因なのか、質問の種類が変わったのかは、会話の中身を読まないと判定できないからです。

この企業の担当者は、営業部門だけ引き継ぎが多いという傾向をAgent Analyticsで確認したあと、該当するセッションを個別に確認して、見積もりの前提条件に関する質問が集中していることを特定しました。

以上が、Agentforce Observabilityを記録・集計・深掘りの3層に分けた整理でした。数字が動いた月は、まずAgent Analyticsで変化した期間を特定し、そのうえでAgent Optimizationへ移るという順番で確認します。

Agent Analyticsが集計する指標の区分

前章では、Agentforce Observabilityの構成を3層に分けて整理しました。このうち指標の推移を見るAgent Analyticsは、指標をいくつかの観点に分けてダッシュボードに表示します。なお、ダッシュボードにはこれ以外のタブもあり、Trailheadの公式モジュールではTrustやVoiceといったタブも記載されています。ここで扱うのは網羅ではありません。本記事の目的に沿った絞り込みです。そこでここでは、Agent Analyticsが集計する指標の区分を、定着と精度の判断に使う4つの観点に絞って整理していきます。

観点①応答の質を見る指標

1つ目は「応答の質を見る指標」です。英語のタブではQuality Scoresにあたり、回答の内容を採点した数値が並びます。

この区分に含まれるのは、応答の関連性を1から5で表す品質スコア（Quality Score）、参照元への忠実さを0から1で表す回答の忠実度（Answer Faithfulness）、質問との関連性を0から1で表す回答の関連性（Answer Relevance）、正しいデータソースを取得できたかを0から1で表すContext Relevanceです。いずれも外部のLLM（大規模言語モデル）による評価器で生成され、利用にはAudit and FeedbackとKnowledge/RAG Quality Data and Metricsの両方を、あらかじめSetupで有効にしておく必要があります。

先ほどの600名規模のBtoBサービス企業で営業部から届いていた「回答が浅い」という声も、この区分の指標と照らし合わせます。参照先は正しく取得できているのに関連性が低いのか、取得先が違っているのかで、直す場所が変わるからです。

応答の質を見る指標は、参照先を取得できたかどうかと、取得した内容に沿って答えたかどうかを別々の数値で示すため、直す場所の切り分けに使えます。

観点②稼働の安定を見る指標

2つ目に見るのは、稼働の安定を表す指標です。英語のタブではHealthにあたり、エラー率、セッションの継続時間、応答レイテンシといった、システムとしての動作状況を示す数値が集まります。

この区分は、相手②で整理した情報システム部門への報告と直接つながります。応答レイテンシが伸びていれば社員が待たされている状態ですし、エラー率が上がっていれば処理が途中で止まっている状態です。どちらも回答の中身とは別の原因であり、対応する担当も異なります。

この企業では、稼働の初月に会話が途中で止まる事象が続いていました。参照先の設定が原因でしたが、こうした問題はまず稼働の指標に表れるため、日々の確認先として情報システム部門に渡す価値があります。

稼働の指標が悪化しているときは、応答の質の議論を後回しにして、先に動作の問題から解消しましょう。

観点③成果への寄与を見る指標

3つ目は、成果への寄与を見る指標です。英語のタブではEffectivenessにあたり、デフレクション率、エスカレーション率、放棄率、エンゲージメント率、成功率、タスク解決率がこの区分に含まれます。

この区分に、経営層への報告で使う指標が集まっています。定着を示す4つの指標のうち3つはここに含まれており、四半期の推移を確認するときの主な参照先になります。

このうちタスク解決率は、Trust LayerのTask Resolution検出器が完全な解決と評価したセッションの割合として算出されます。時期③で触れたとおり、用件が片づいたかどうかを見る指標であり、拡大期の判断に使います。エンゲージメント率はエージェントの動作に紐づく返信を利用者が受け取ったセッションの割合、成功率はアクションのステップを含みエラーなく完了したインタラクションの割合を指し、この2つは成果よりも動作の確認に近い性格を持ちます。

ただし、この区分の指標がサービス系のエージェントを前提にしている点は押さえておく必要があり、前提はほか記事「Agentforce Service Agentとは？チャットボットとの違いと導入設計を解説【2026年最新】」をご参照ください。

※参考記事はこちら

観点④利用状況を見る指標

4つ目は、利用状況を見る指標です。英語のタブではUsageにあたり、ユニークセッション数のほか、ユニークユーザー数や1セッションあたりの平均インタラクション数といった、どれだけ使われたかを表す数値が並びます。

この区分は、会話数だけを見ていた状態と近いように見えますが、違いはユニークという単位にあります。原因②で触れた「同じ社員が翌月も使っているか」という問いに答えられるのは合計値ではありません。ユニークという単位です。

この600名規模のBtoBサービス企業でも、担当者が最初に確認したのはこの区分でした。合計の会話数が横ばいだった月に、利用した社員の数が増えて1人あたりの利用回数が減っていることが分かり、再利用が進んでいない状態だと判定できています。

利用状況の指標は、単独では成果を語れませんが、成果の指標を読み違えないための分母として必要になります。

Custom Scorersで採点する3ステップ

前章では、Agent Analyticsが集計する指標を4つの観点に絞って整理しました。ただし、標準で用意されている指標だけでは、自社が合格とみなす水準を表現しきれない場合があります。Custom Scorersは、Summer ’26リリースでベータとして提供されている機能です。リリース前のテストで合否を判定する採点と混同されやすいのですが、ここで扱うのは公開したあとに動いているセッションを採点する使い方になります。利用にはAgentforce Scorer Betaの権限セットが必要で、Scorer Hubから有効化すると稼働中のセッションに対して実行されます。そこでここでは、稼働中のセッションを自社の基準で採点するCustom Scorersについて、3つのステップで整理していきます。

ステップ①合格とみなす条件を文章で定義する

最初に行うのは、自社が合格とみなす条件を文章で定義することです。標準の指標は会話の終わり方や回答の関連性を測りますが、業種や業務ごとの判断基準までは含んでいないため、その基準を言葉にするところから始めます。

条件を文章にする段階で決めるのは、どの状態を合格とし、どの状態を不合格とするかの境目です。ここが曖昧なままだと、採点の結果が出てもその数字をどう読むのかが決まりません。定義①の完了の線引きと同じ議論を、回答の中身に対して行います。

実際に、600名規模のBtoBサービス企業の担当者は、営業部から届いた「回答が浅い」という声を条件に落とし込む作業を進めていました。提案の骨子として使うのであれば、案件の背景と課題の両方に触れていることを合格の条件にする、といった形で言葉にしていきます。

採点の仕組みを用意する前に、自社にとっての合格を文章で書けるかどうかが分かれ目になります。書けない条件は採点にできません。

ステップ②プロンプトテンプレートで判定を実装する

条件を文章にできたら、次はその条件をプロンプトテンプレートとして実装します。Custom Scorersはプロンプトテンプレートを判定のエンジンとして使い、出力を合格、不合格、対象外のいずれかに写像する仕組みになっています。

この段階で気をつけたいのは、条件を一度に詰め込みすぎないことです。1つの採点に複数の観点を混ぜると、不合格になった理由がどの観点によるものかを後から判別できず、改善の対象を絞り込めません。観点ごとに分けて用意するほうが、結果を読みやすくなります。

この企業のケースでいえば、案件の背景に触れているかという観点と、次の行動を提案しているかという観点は、分けて採点したほうが直す場所を特定できます。前者なら参照するデータの範囲を、後者なら指示の内容を見直すことになるでしょう。

なお、Salesforceが標準の例として挙げている観点には、感情、話し方のトーン、製品への関心、エスカレーションの契機、丁寧さといったものがあります。自社の条件を考えるときの出発点として参考になります。

ステップ③稼働中のセッションに当てて結果を読む

判定を実装したら、稼働中のセッションに当てて結果を読みます。ここで見るのは合格率よりも、不合格になったセッションにどのような共通点があるかです。

結果を読むときは、Agent Optimizationで個別のセッションを確認する作業と組み合わせます。採点は不合格の会話を絞り込むところまでを担い、なぜ不合格になったのかは会話の中身を読んで判断することになるからです。

600名規模のBtoBサービス企業では、要約の内容が提案に使えるかどうかを営業部の社員が個別に判断していました。この判断を採点として残せるようになると、営業部への聞き取りに頼らずに、どの質問の種類で水準に届いていないのかを特定できます。

以上が、Custom Scorersで稼働中のセッションを採点する3ステップでした。ベータの機能であるため、本番運用の判断材料として使う前に、提供状況を確認しておきましょう。

Agentforceの効果測定を揺らす3つの仕様変更

ここまで、指標を見る手段と自社基準を足す方法を整理してきましたが、前提としてもう1つ押さえておきたいことがあります。指標の定義が、2026年に入ってから複数回変わっている点です。変わったのはダッシュボードの見た目ではありません。デフレクション率と放棄セッション率をどう判定するかという計算の中身です。表示される指標の名前は同じまま、その数字を作っている根拠だけが入れ替わっています。そこでここでは、Agentforceの効果測定に影響する3つの仕様変更を、時系列で整理します。

変更①セッション終了の判定が2026年3月に修正された

1つ目は、セッション終了の判定に含まれていた誤りが2026年3月に修正された件です。タイムアウトしたセッションが、期限切れとして扱われずに社員が終了したセッションとして分類されていた誤りが修正され、バージョン260.9から数値に反映されています。

この修正で押さえておきたいのは、数値が動く方向です。タイムアウトが正しく分類されるようになった結果、デフレクション率は下がり、放棄率は上がる方向に変化しました。Salesforceはこの変化について、指標の是正であり不具合には当たらないため、利用者側での対応は不要と案内しています。

先ほどの600名規模のBtoBサービス企業のように、この時期をまたいで数字を比較しようとすると、実際には何も悪化していないのに効果が落ちたように見える報告になってしまいます。

指標の定義が変わった時期をまたぐ比較は、改善や悪化の根拠として使えません。比較の対象期間を決めるときは、この修正の前後で線を引きましょう。

※参考記事はこちら

変更②判定が2026年7月にLLMベースへ切り替わった

3月の修正に続いて、2026年7月16日には判定の方式が切り替わりました。従来はセッションの終了ボタンやタイムアウトといった実行時のイベントに依存していましたが、信頼性が十分でないという理由から、LLMによる評価へ置き換えられています。

切り替え後の判定は、デフレクションについては目標の達成度を1から5で評価する形、放棄についてはTRUE、FALSE、UNSUREのいずれかを返す形になりました。ダッシュボードに表示される割合の見た目は変わりませんが、その割合を作っているデータの出どころが変わっている点が重要です。

この企業の担当者が9月末までに四半期の比較を用意すると決めていたのも、この切り替えの直後にあたります。過去のデータは参照できるものの、新しい方式の採点は有効化した日以降の会話にしか適用されないため、比較できる期間は限られます。

なお、GovCloudはこの切り替えの対象外です。標準機能の範囲で行われるLLMの呼び出しについては課金の対象にならないと案内されています。

※参考記事はこちら

変更③判定できない会話がAmbiguousとして分離された

同じ2026年7月16日の変更で、判定が確定しない会話をAmbiguousとして分離する区分が新設されました。デフレクションの評価が5段階の3になった会話や、放棄の判定がUNSUREとなった会話が、この区分に入ります。

この区分が加わったことで、指標の読み方も変わります。従来は判定が曖昧な会話もどちらかに振り分けられていましたが、別枠に分かれるようになった以上、デフレクション率と放棄セッション率を足しても全体にはなりません。

この企業で問題になっていた「回答が浅いと感じて途中で閉じた会話」は、まさに判定が難しい種類の会話です。こうした会話がAmbiguousに集まってくるのであれば、その件数の推移自体が、改善の対象を見つける手がかりになります。

以上が、Agentforceの効果測定に影響する3つの仕様変更でした。過去の数字と並べる前に、比較したい期間にこれらの変更が挟まっていないかを確認しましょう。

Agentforceの効果測定でつまずく5つの前提

前章では、2026年に入ってから指標の定義が変わった経緯を整理しました。ここから挙げるのは、指標の設計の話ではありません。自社の環境をどう整えるかという作業の話です。設定・種別・データの反映・権限・課金のそれぞれに、始めてから気づくと手戻りになる条件があります。指標を選び終えてから確認したのでは、記録の有効化をやり直したり、ライセンスの契約を入れ替えたりする時間が追加で必要になります。そこでここでは、Agentforceの効果測定で見落としやすい5つの前提を整理していきます。

前提①設定後の会話しかデータに残らない

1つ目の前提は、Session Tracing Data Modelのセットアップ後に発生した会話だけがデータに残ることです。限界②で触れたとおり、有効化する前の会話に対して後から分析を適用することはできません。

この制約が影響するのは、比較のための期間を確保できるかどうかです。四半期どうしの比較を行いたいのであれば、その四半期が始まる前に有効化を済ませておく必要があり、指標の議論が長引くほど期間の確保は遅れます。

600名規模のBtoBサービス企業の担当者も、役員会で問われてから有効化までに時間がかかり、過去半年分の会話は分析の対象外のままでした。担当者は、指標の選定と並行してセットアップだけを先に進める判断をしています。

測る指標が決まっていない段階でも、記録の有効化だけは先に済ませておくと、検討期間の会話もデータとして残ります。

前提②エージェント種別で使える機能が異なる

2つ目に確認したいのは、エージェントの種別によって使える分析機能が異なることです。同じAgentforceでも、社内向けのエージェント、顧客対応のエージェント、営業側のエージェントでは、Agent AnalyticsとAgent Optimizationのどちらに対応しているかが揃っていません。

この違いは、複数の種別を並行して動かしている場合に影響します。要件①で挙げた部門をまたいだ比較を行おうとしても、種別が違えば同じ指標を並べられない場合があるからです。

種別の名称そのものも変わります。営業側のSDRエージェントはAgentforce Lead Nurturingへ名称が変わっており、社内の資料が旧名称のまま残っていると、対応状況を調べる時点で行き違いが起きます。

この企業では、問い合わせ対応のエージェントを社内向けに動かしていました。今後、営業部門の新規開拓業務へ広げる場合は、種別が変わることで確認できる範囲も変わるため、比較の設計を先に見直す必要があります。

自社で動かしているエージェントの種別を一覧にして、それぞれがどちらの機能に対応しているのかを公式ヘルプで確認してから、指標の一覧を作りましょう。

※参考記事はこちら

前提③データの反映に時間差がある

3つ目の前提は、設定を変えた結果がダッシュボードへ反映されるまでに時間差があることです。参照先を直した直後に画面を開いても、変更後に発生した会話がまだ集計に入っていないため、数値は動きません。

この時間差は、改善の効果を確認する作業の進め方に影響します。Salesforceの公式ヘルプは、セットアップの後にデータが表示され始めるまで時間がかかる場合があると案内しているだけで、指標ごとの反映間隔までは公開していません。そのため、何時間後に確認すればよいのかは、自社の環境で測るしかないのです。

この600名規模のBtoBサービス企業の担当者も、参照先の文書を新しい版に差し替えた当日に数値を確認し、変化がないことを不具合だと考えていました。設定を変えた時刻と数値が動いた時刻を記録しておけば、次からは確認のタイミングを決められます。

設定変更のたびに時刻を控えておくと、自社の環境での反映間隔が数回の変更でつかめます。

前提④権限セットとライセンスの割り当てが要る

4つ目の前提は、権限セットとライセンスの割り当てです。Access Agentforce Optimizationの権限セット、Tableau Next Limited ConsumerまたはTableau Next Platform Analystのライセンス、そしてData Cloud Userの権限セットが必要になります。

あわせて確認したいのが、プロファイル側の設定です。API Enabledがtrueになっていないと、ダッシュボード上のメトリックカードが動作しません。ケース②で触れた手配の遅れは、この設定の見落としからも起きます。

なお、Tableau Next Limited ConsumerはSalesforce Foundationsに含まれています。ただし現行のFoundationsが対象であり、古い版を契約している場合はライセンスの入れ替えが必要になるため、手配の前に契約内容を確認しておきましょう。

この企業では、指標の一覧を作ったあとで権限の割り当てが済んでいないことに気づき、議論が止まりました。割り当ての手配は、指標の選定と並行して進める作業だと考えます。

※参考記事はこちら

前提⑤旧新の分析が並行して動くと消費が増える

5つ目は、移行の期間中に新旧2つのパイプラインが並行して動くと、消費が増える可能性があることです。Salesforceは、移行が完了したあとに旧来の分析を手動で無効化するよう案内しています。

無効化を忘れやすいのは、旧来の分析を止めても表示上は困らないためです。担当者が新しいダッシュボードだけを見るようになっても、システムの内部では旧来の処理が動き続けます。この状態が続くと、Data 360の課金が想定より増えることになります。

移行を進めるときは、新しい分析が使える状態になった時点で、旧来の分析を止める作業を工程に入れておきましょう。以上が、Agentforceの効果測定でつまずきやすい5つの前提でした。費用の考え方は、ほか記事「Agentforce料金・ライセンス完全ガイド｜Flex Credits・従量課金・ユーザーライセンスの違いを解説【2026年最新】」で扱っています。

Agentforceの定着率を上げる3つの運用条件

ここまで、測る対象と測る手段、そして測り始める前の前提を整理してきました。最後に残るのは、その数字を誰がどう確認し続けるのかという体制の話です。自社が着手すべき段階にあると判定できたのであれば、次に決めるのは、指標が動いたときに何を、誰が、どの基準で見直すのかという取り決めになります。ここを決めていないかぎり、指標を増やしても報告資料が増えるだけの運用になってしまいます。そこでここでは、Agentforceの定着率を上げるために先に決めておく3つの運用条件を整理します。

条件①指標を見る担当と直す担当が氏名で決まっていること

まず決めておきたいのは、指標を見る担当と設定を直す担当を、役割名ではなく氏名で確定させることです。要件③で触れたとおり、集計する作業と設定を変更する作業は別であり、片方だけが決まっている状態では数字が改善につながりません。

氏名まで決める理由は、役割名で決めた場合に担当が空くからです。情報システム部門が担当するという決め方では、実際に誰が毎月ダッシュボードを開くのかが決まらず、月次の確認が飛びやすくなります。

この600名規模のBtoBサービス企業の場合は、Salesforceの運用を情報システム部の担当者1名が兼任していました。担当者は指標を見る役割を自分で担い、設定変更のうち参照先の更新は外部の支援を受ける形に分け、それぞれの担当者名を運用の手順書に書き込んでいます。

指標を見る担当と設定を直す担当を氏名で決めておくことが、数字を改善に結びつけるうえで重要です。

なお、指標を読む担当に求める知識の水準を考えるときは、ほか記事「【2026年最新】Agentforceスペシャリスト資格の試験概要や勉強法」が目安になります。

条件②見直しを始める変動幅が先に決まっていること

担当が決まったら、次はどれだけ数字が動いたら見直しを始めるのかを先に決めます。この幅を決めていないと、毎月の増減のたびに議論が起きるか、逆に悪化しても誰も気づかない状態になります。

変動幅は、他社の水準に合わせず、自社の月ごとのばらつきから決めます。会話の件数が少ない月ほど率は大きく動くため、通常の月にどれくらい上下しているのかを数か月ぶん観察し、その範囲を超えたときに見直す形にします。ケース①で触れたとおり、母数が小さい段階では率の変動が大きくなる点にも注意が必要です。

この企業では、四半期を判定の単位に切り替えたうえで、月次は途中経過として扱う運用にしました。月ごとの数字で判断を変えず、通常の変動を超えた月だけ会話の中身を確認する形にしています。

見直しを始める幅は、決めた数値より決め方を残しておくと、あとから条件を変えるときの議論が短くなります。数字が動いたときの通知の受け方は、ほか記事「Agentforce in Slackとは｜できること・導入手順とBox for Agentforceの位置づけ」で解説している連携が使えます。

条件③「回答が浅い」を照合する指標が決まっていること

3つ目の条件は、社員から届く「回答が浅い」という声を、どの指標と照らし合わせるかを決めておくことです。声の内容と指標が結びついていないと、改善の要望が届いても、どこを直せばよいのかを判断できません。

照合の対象になるのは、観点①で整理した応答の質を見る指標です。参照元への忠実さが低いのか、質問との関連性が低いのか、正しいデータソースを取得できていないのかで、直す場所が変わります。声を受け取った時点でどの指標を確認するかを決めておけば、対応の手順が固定されるでしょう。

例に挙げてきた600名規模のBtoBサービス企業では、窓口と確認の手順を決めていなかった期間、営業部から届いた声が情報システム部に残ったまま、どの指標と突き合わせるかが決まらずに月をまたいでいました。担当者はこの声を受け取る窓口を決め、受け取ったら応答の質を見る指標を確認するという手順を運用に組み込んでいます。指標を見る人と直す人が決まり、声が指標に照合される状態になったことで、役員会での説明も「会話が増えました」から「この業務は任せられる範囲に入りました」へ変わりました。

以上が、Agentforceの定着率を上げるために決めておく3つの運用条件でした。社内だけで体制を確保できない場合は、Agentforce導入定着支援サービスもご検討ください。

【一問一答】Agentforce効果測定のよくある質問

ここまで、指標の設計から運用の体制までを順に整理してきました。最後に、Agentforceの効果測定について寄せられることの多い疑問をまとめておきます。機能の名称と提供状況は2026年に入ってから変わっているため、社内の資料や手順書が古い前提のまま残っていないかを確認する材料としても使えます。とくに名称と提供状況は、社外へ説明する場面でそのまま使われるため、確認の優先度が高い項目です。そこでここでは、費用や名称、提供状況といった確認事項を一問一答の形で整理します。

質問①Agentforce Observabilityは追加費用がかかるか

追加の費用が一切かからないとは言えません。分析の利用にはライセンスの割り当てが必要ですし、記録したデータの保管や、移行の期間中に新旧のパイプラインが並行して動くことで消費が増える場合もあります。金額は契約内容によって変わるため、料金の考え方をまとめた記事とあわせて確認してください。

質問②Agentforce Observabilityは設定前の会話も測れるか

測れません。分析の対象になるのは、Session Tracing Data Modelのセットアップが完了したあとに発生した会話だけです。比較したい期間がある場合は、その期間が始まる前に有効化を済ませておく必要があります。

質問③Agentforce Analyticsという名称は今も使えるか

使えません。旧称のAgentforce Analyticsは2026年5月31日に廃止されており、現在の名称はAgent Analyticsです。旧来のオブジェクトやダッシュボードにはそれぞれ移行先が示されており、発話の分析はAgentforce Interaction Explorerが引き継ぎます。資料や社内の手順書に旧称が残っている場合は、Agent Analyticsへ表記を統一しておきましょう。

※参考記事はこちら

質問④Custom Scorersは正式リリースされているか

2026年8月時点ではベータです。Summer ’26リリースで提供が始まった機能で、利用にはAgentforce Scorer Betaの権限セットが必要になります。ベータの機能は仕様が変わる可能性があるため、本番の判断材料として使う前に提供状況を確認しておくとよいでしょう。

質問⑤Agentforce Observabilityで売上への貢献は測れるか

指標から直接は導けません。集計されるのはエージェントとの会話に関する数値であり、その会話のあとに商談が進んだかどうかは記録の対象に含まれていないためです。売上への影響を語るのであれば、業務量の変化を示したうえで、金額換算の前提を人が置く形になります。

質問⑥Agentforce Observabilityは稼働直後から入れるべきか

記録の有効化は早いほうがよく、指標の整備は段階を分けて進めるのが現実的です。有効化する前の会話は測れないため、設定だけ先に済ませておくと検討期間のデータも残ります。一方で、稼働中のエージェントが1体だけの段階であれば、率を追うより会話の中身を読むほうが改善に近づきます。

質問⑦Utterance Analysisは今後どうなるのか

現在はLegacy Agentforce Analytics配下に分類されており、現行の機能として位置づけられていません。似た発話をまとめて傾向を確認する用途は、Agentforce Interaction ExplorerやAgent Optimizationが引き継ぐ形になります。旧称のまま探しても現行のダッシュボードには見つからないため、移行先の名称で確認してください。

測る指標を決めてからAgentforce Observabilityを設定する

Agentforceの効果測定は、何をもって効果とみなすかを社内で決めてから、その確認手段としてAgentforce Observabilityを設定する作業です。本記事では、会話数だけでは成果を語れない状況から、完了と引き継ぎと対象期間の定義、定着を示す4つの指標、稼働からの経過に応じた指標の切り替え、そしてAgent AnalyticsやCustom Scorersという手段までを整理してきました。

2026年に入ってから指標の定義が複数回変わっている以上、過去の数字と並べるときは、その期間に変更が挟まっていないかの確認が欠かせません。あわせて、指標を見る担当と設定を直す担当を氏名で決めておくことが、数字を改善に結びつける前提になります。

自社の指標設計や体制づくりについて相談したい場合は、BtoBマーケティング無料相談をご利用ください。本記事の内容が、少しでもお役に立てれば幸いです。