Agentic CRMの効果はどう測る？導入前後の数字から寄与を切り分ける設計

AIを導入して数か月、受注が8%増えたという報告を役員会に出したところ「それは本当にAIの効果ですか」と問われて答えに詰まった、という場面は珍しくありません。AIの効果測定とは、動いた数字のうちどれだけがAIによるものかを、比べる相手を決めたうえで切り分ける作業のことです。 ここで扱う設計はAgentic CRMの考え方にもとづくもので、特定の製品を前提にしていません。

そこで本記事では、効果を測れないと言われる状態から、切り分けられない原因、4つの比べ方、指標の層、効果が出るまでの時間差までを解説します。

AIの効果を測れないと言われる3つの状態

業務用コーヒー機器のレンタルと保守を手がける企業では、従業員245名のうち営業が31名、営業企画が2名という体制で事業を続けてきました。この企業は説明のための架空の設定であり、実在の企業ではありません。この会社は半年前に営業向けのAIエージェントを導入し、商談前の情報整理を任せています。当初の目的は「商談前の情報整理にかかる時間を減らすこと」でした。そこでここでは、この会社を例に、AIの効果を測れないと言われる3つの状態を整理します。

測れないという言葉は、数字がないという意味にはなりません。数字はあっても比べる相手が決まっていない状態を、現場では「効果が測れない」と呼んでいます。

状態①数字は動いたが原因を説明できない

1つ目は「数字は動いたが原因を説明できない」状態です。導入から数か月で成果の指標が改善したものの、その改善がAIによるものかどうかを問われると根拠が出てきません。

説明できないのは、記録が足りないからではありません。同じ期間に動いていた要因を並べていないためです。どの工程にどれだけの期間がかかるかは、立ち上げ期間の見積もりで扱っています。

受注の数字を同時に動かす3つの要因 ①人員・・・営業の人数が増えれば件数は増えます ②価格・・・見直しの内容によって成約は動きます ③季節・・・需要の側に波があります

どれも数字を動かす力を持っています。

先ほどの業務用コーヒー機器の会社では、導入から3か月で受注件数が前年同期比で8%増えました。役員会でこの数字を報告したところ、「同じ時期に価格改定と展示会の出展があったはずだ」と指摘されています。営業企画の担当者は、8%のうちどこまでがAIによるものかを答えられませんでした。

報告する前に、同じ期間に動いた要因を書き出してみましょう。3つ以上あるなら、前後の比較だけでは説明できません。総務省の令和7年版情報通信白書でも、生成AIの利用にあたっての課題として導入・運用コストが挙がっています。費用を問われる場面が来る以上、説明できる形で測る準備が要ります。

※参考記事はこちら

状態②比べる相手がいないまま前後だけ見る

2つ目に挙げるのは、比べる相手がいないまま前後だけを見る状態です。導入前の3か月と導入後の3か月を並べて、差を効果として報告します。

この比べ方が成立しないのは、前後で変わったものがAIだけではないためです。市況も、担当者の顔ぶれも、扱う商材も動いています。前後の差は、それらすべての合計にあたります。

この会社の8%という数字も、前年同期との比較でした。前年と今年では営業の人数が29名から31名へ増えており、担当する取引先の構成も変わっています。営業企画の2名は、この前提を報告に入れていませんでした。

前後の比較を出すときは、前後で何が変わったかも同時に出しましょう。変わったものが多いほど、差の解釈は難しくなります。部署をまたいで施策が重なる構造は、RevOpsの記事でも整理しています。

状態③現場の受け止めが数字に表れない

3つ目は「現場の受け止めが数字に表れない」状態です。営業からは「準備が楽になった」という声が上がっているのに、成果の指標には変化が出ていません。

この食い違いが起きるのは、測っている層が違うためです。準備が楽になったという変化は業務の層で起きており、受注という事業の層に届くまでには時間がかかります。楽になったという声を数字にしていなければ、効果は存在しないものとして扱われます。

この業務用コーヒー機器の会社でも、営業31名のうち使っている担当者からは早い段階で「調べる時間が減った」という反応がありました。ところが営業企画が測っていたのは受注件数だけで、準備にかかった時間は記録していません。声として残っただけで、報告には使えない情報になっていました。

現場の反応が出ているなら、それを数字にできる指標を足しましょう。層を分けて測る考え方は、後の章で整理します。

なぜ測れない？AIの効果を切り分けられない原因3つ

3つの状態はどれも、「切り分けられていない」という同じ問題から生じています。では、なぜ切り分けられないのでしょうか。それは、切り分けるための条件が導入の前に用意されていないからです。条件を用意する作業は測定の担当者だけでは決められず、誰に配るか、いつ配るかという導入側の判断と重なります。そこでここでは、AIの効果を切り分けられない3つの原因を整理します。

原因は測定の技術にはありません。切り分けられないのは、比べる集団と期間を、導入の前に決めていないためです。

原因①同じ時期に別の施策が動いているから

1つ目は「同じ時期に別の施策が動いているから」です。企業はAIの導入だけを単独で行うわけではありません。価格の改定、人員の配置換え、新しい商材の投入が同じ期間に重なります。

重なった状態で全体の数字だけを見ると、どの施策がどれだけ効いたかは分かりません。すべての施策の担当者が同じ数字を成果として報告することになり、合計すると実際の改善を上回る場面すら起こります。

先ほどの会社の3か月間には、AIの導入のほかに2つの施策が動いていました。保守料金の改定と、業界の展示会への初出展です。営業企画の担当者が後から確認したところ、展示会からの引き合いが受注全体の4%を占めていました。この分は、AIの効果とは別に扱う必要があります。

同じ期間に動いた施策を一覧にしましょう。一覧がなければ、切り分けの出発点が作れません。

原因②使った人の条件がそろっていないから

2つ目に挙げるのは、使った人の条件がそろっていないからです。AIを使った担当者と使わなかった担当者を比べる場合、両者の条件が違えば差は使ったかどうかだけでは説明できません。

条件が違うのは、多くの場合で自然に発生します。新しい仕組みを進んで使うのは、もともと熱心な担当者です。担当する取引先の規模も、経験年数も、地域も異なります。使った人の成績がよくても、それは元から成績のよい人が使ったという結果かもしれません。

この業務用コーヒー機器の会社では、31名のうち17名が使い、14名が使っていませんでした。営業企画が2つの集団を比べる前に確認したところ、使った17名の平均勤続年数は6.2年、使わなかった14名は4.8年です。条件がそろっていないまま比べれば、経験の差を効果として読むことになります。

比べる前に、2つの集団の条件を並べてみましょう。差があるなら、その差を考慮に入れる必要があります。

原因③効果が出るまでの時間差を見ていないから

3つ目は「効果が出るまでの時間差を見ていないから」です。導入から1か月で成果の指標を見ても、変化は出ていません。

導入から1か月の時点で変化が出ていないことは、効果の不在を示す材料になりません。導入したものが最後の数字に届くまでには、いくつかの段階があるためです。操作が変わり、業務の手順が変わり、それから事業の数字が動きます。段階を飛ばして最後の数字だけを早い時期に見れば、効果なしという結論になります。

この会社が後から記録をたどったところ、使い始めてから操作が定着するまでに3週間、商談前の準備の手順が変わるまでに2か月かかっていました。受注の数字に差が見え始めたのは5か月目です。導入から3か月の時点で判定を打ち切っていれば、5か月目に現れた差は記録に残らないままでした。

測る時期を決めるときは、どの層をいつ見るかまで決めましょう。時期の設計がなければ、結論は早すぎるか遅すぎるかになります。

AIの効果を切り分ける4つの比べ方｜導入前後で見る

では、AIの効果を切り分けるには、何と比べればよいのでしょうか。導入の前に戻れない状況でも、いま手元にある記録から作れる比較は残っているはずです。比べる相手さえ決まれば、同じ期間に動いた別の施策の影響を、両方に等しくかかるものとして扱えるのではないでしょうか。そこでここでは、AIの効果を切り分ける4つの比べ方を整理します。

比べ方は1つではありません。自社で選べる比べ方は複数あり、条件がそろわない場合でも別の比べ方で代替できます。

比べ方①使わなかった集団を横に置いて比べる

1つ目は「使わなかった集団を横に置いて比べる」方法です。同じ期間に、AIを使った担当者と使わなかった担当者の成果を並べます。

この比べ方が強いのは、同じ期間の別の施策が両方の集団に等しく効くためです。価格の改定も展示会も、使った側にも使わなかった側にも同じように影響します。差として残るのは、使ったかどうかの部分になります。

先ほどの業務用コーヒー機器の会社は、17名と14名の2つの集団で受注件数を比べました。前年同期比で見ると、使った17名が11%増、使わなかった14名が4%増です。全体の8%という数字を、この2つに分けられた時点で説明の形が変わりました。

集団を分けるときは、人数がおおよそ同じになるようにしましょう。片方が3名では、比べた結果を個人差で説明できてしまいます。

比べ方②同じ担当者の前後を同じ条件でそろえる

2つ目に挙げるのは、同じ担当者の前後を同じ条件でそろえる方法です。集団を分けられない場合、同じ人の導入前と導入後を比べます。

そろえる条件は、季節、担当する取引先の規模、扱う商材の3つが基本です。

前後で比べるときにそろえる3つの条件 ①季節・・・前年の同じ月と比べます ②取引先・・・同じ取引先の案件だけを対象にします ③商材・・・新商材が入った案件を除外します

この作業をしないと、前後の差は条件の差になります。

たとえば、この会社では使った17名について前年の同じ3か月と比べました。展示会からの引き合いを除外し、新しく担当になった取引先も対象から外しています。残った案件で比べた結果、受注件数の増加は9%でした。除外前の11%との差が、条件の影響にあたります。

前後で比べるなら、除外する条件を先に決めましょう。結果を見てから除外すると、都合のよい数字が残ります。

比べ方③導入の順番をずらして時期で比べる

3つ目は「導入の順番をずらして時期で比べる」方法です。全員に一度に配らず、部門や地域ごとに時期をずらして導入します。

この方法の利点は、比べる集団を意図して作れることです。先に使い始めた部門と、まだ使っていない部門を同じ期間で比べられます。しばらくして後者にも配れば、同じ変化が再現するかも確認できます。

この業務用コーヒー機器の会社は、この方法を採っていませんでした。営業企画の担当者は、次の対象を広げる際に東日本の営業から先に配り、西日本を3か月遅らせる計画を立てています。同じ変化が両方で起きれば、効果の裏づけは強くなります。

これから導入するなら、順番をずらす設計を検討しましょう。あとから作れない比較が、最初なら作れます。

比べ方④使った回数の多さで階段状に並べる

4つ目は「使った回数の多さで階段状に並べる」方法です。使った担当者を、使用の回数で3つほどの段階に分けて成果を比べます。

段階を作る目的は、使うほど成果が上がるかを確かめることです。使った集団と使わなかった集団の差だけでは、たまたま差が出た可能性を排除できません。回数に応じて成果が階段状に並べば、関係があると考える根拠が増えます。

たとえば、この会社の17名を、週あたりの使用回数で3段階に分けました。

使用回数の段階ごとの受注件数の増加（前年同期比） ①多い層・・・14%の増加でした ②中位の層・・・10%の増加でした ③少ない層・・・7%の増加でした

使わなかった14名の4%と合わせると、回数に沿って並んでいます。営業企画の担当者は、この並びを役員会での説明に使いました。

回数の記録があるなら、この比べ方は追加の手間なく作れます。集団を分ける比べ方と併せて示すと、説明の説得力が上がります。

AIの効果を測る指標の3つの層

4つの比べ方は、何を数字にするかが決まっていて初めて使えます。ところが受注件数だけを見ていると、状態③で挙げた「現場の受け止めが数字に表れない」という食い違いが残ったままではないでしょうか。測る対象を成果の1つに絞ったことが、役員会で答えに詰まる原因にもなっていました。そこでここでは、AIの効果を測る指標を3つの層に分けて整理します。

指標は成果の数字だけにはなりません。操作・業務・事業という3つの層で指標を持つと、効果が届く途中の段階を数字で示せます。

層①操作が変わったかを見る指標

1つ目は「操作が変わったかを見る指標」です。導入したものが実際に使われているかを表します。利用した人数、利用の回数、1人あたりの使用頻度が該当します。

この層を測る意味は、後の層が動かなかったときに原因を切り分けるためです。使われていないなら、業務が変わらないのは当然です。使われているのに業務が変わらないなら、任せた範囲が業務に効いていません。

先ほどの業務用コーヒー機器の会社では、31名のうち17名が使っており、週あたりの平均使用回数は4.2回でした。使っていない14名に理由を聞くと、8名が「使い方が分からない」、6名が「自分でやったほうが早い」と答えています。この内訳が、次の対象を決める材料になりました。

まずは、使った人数と回数を毎月の定例で確認しましょう。使われていない状態では、効果の議論が成立しません。

層②業務が変わったかを見る指標

2つ目に挙げるのは、業務が変わったかを見る指標です。作業にかかる時間、手戻りの回数、確認のために人へ聞いた回数が該当します。

この層が最も早く動きます。操作が定着すれば、作業の量は数週間から数か月で変わります。事業の数字が動く前に効果を示せるのは、この層があるためです。

この会社は、商談前の準備にかかる時間を測っていませんでした。営業企画の担当者が導入の4か月目から記録を始めたところ、使っている17名の平均が1件あたり23分、使っていない14名が38分という差が出ています。導入前の記録がないため前後では比べられず、集団の比較だけで示すことになりました。

業務の層の指標は、導入の前に決めて記録を始めてください。あとから始めると、比べ方が1つ減ります。

層③事業の数字が変わったかを見る指標

3つ目は「事業の数字が変わったかを見る指標」です。受注件数、受注金額、更新率、解約率が該当します。経営が最も関心を持つ層にあたります。

この層は最も遅く動き、最も多くの要因の影響を受けます。だからこそ、比べる集団を分けずに見ても意味を読み取れません。前章の4つの比べ方は、主にこの層のために用意します。

この業務用コーヒー機器の会社が役員会へ出したのは受注件数でした。指標としては適切でしたが、層①と層②の数字を持たないまま出したため、質問に答えられていません。3つの層をそろえてから再度報告した際には、次の投資の判断が下りました。

どの層を測るかの選び方は、パイプライン管理のKPIの記事で整理しています。3つの層を1つずつ持つところから始めてください。

AIの効果測定で先に決める4つの前提

前章の3つの層を決めても、測り方の前提が曖昧なままだと結果の解釈が分かれます。測る期間も、比べる集団も、後から決めれば都合のよい数字を選べてしまうのではないでしょうか。先ほどの会社も、3つの層を決めたあとで、どの期間で測るかを決めきれずにいました。そこでここでは、AIの効果測定で先に決める4つの前提を整理します。

前提は測定の途中で変えられません。比べる集団の分け方は、結果を見る前に決めておかなければ、都合のよい分け方を後から選べてしまいます。

前提①測る期間の長さ

最初に決めるのは、どれだけの期間で測るかです。層ごとに期間が変わるため、3つの層それぞれについて決めます。

期間を先に決める理由は、途中で結論を出さないためです。3か月で効果が見えなかったときに期間を延ばすのは構いませんが、それは最初に決めた期間の結果を残したうえで行います。決めていなければ、都合のよい時点の数字を選べます。

先ほどの会社は、期間を決めずに3か月時点で報告しました。営業企画の担当者は再設計にあたり、層①を1か月、層②を3か月、層③を6か月と決めています。この期間は、後の章で扱う時間差の実測にもとづくものです。

測る期間は、3つの層それぞれについて月数で書き出しておきましょう。1つの期間ですべてを見ると、早すぎるか遅すぎるかになります。

前提②比べる集団の分け方

次に決めるのは、誰と誰を比べるかです。前章の4つの比べ方から、自社で成立するものを選びます。

分け方を先に決める意味は、結果が出てからの選択を防ぐことです。使った集団の成績がよくなければ別の分け方を試す、という進め方をすると、どの分け方でも効果が出ているように見せられます。

この業務用コーヒー機器の会社では、営業企画の2名が事前に「使った17名と使わなかった14名」「使用回数による3段階」の2つを使うと決めました。勤続年数に差があることも先に把握しており、報告の際にその前提を添えました。パイプラインの停滞を扱った記事でも、比べる集団の取り方に触れています。

使う分け方は、多くても2つまでにしましょう。増やすほど、都合のよい結果を選ぶ余地が広がります。

前提③除外する例外の条件

3つ目は「除外する例外の条件」です。比較から外す案件の条件を、あらかじめ言葉にしておきます。

除外が要るのは、特殊な案件が結果を大きく動かすためです。1件で年間予算の3割を占める大型案件が入れば、平均は簡単に動きます。除外の条件を先に決めていなければ、外すかどうかの判断が結果に左右されます。

この会社が決めた除外の条件は3つです。

比較から外すと決めた3つの案件 ①展示会・・・出展から発生した引き合いは対象から外します ②新規担当・・・今期から担当が変わった取引先を外します ③大型・・・金額が上位5%に入るものを外します

この3条件を導入の前に文書で共有していたため、報告のときに「なぜ外したのか」という質問に答えられました。

除外の条件は3つほどに絞りましょう。多いほど、比べられる案件の数が少なくなります。

前提④結論を出す人の決め方

4つ目は「結論を出す人の決め方」です。測った結果をもとに、継続するか広げるか止めるかを誰が決めるかを事前に決めます。

決めておく理由は、結果が出たあとに判断が保留されたままになるのを避けるためです。営業企画が数字を出しても、判断する人が決まっていなければ、報告のたびに議論が最初からやり直しになります。

先ほどの会社では、役員会での質問のあと、営業担当役員が判断者として指名されました。営業企画の2名は、6か月後の報告で判断に必要な材料をそろえる前提で測定を設計しています。判断の期日は6か月後の報告と同じ日に置き、その2週間前までに資料を回す段取りまで文書に残しました。

判断する人と期日を、測定の設計に含めてください。含めなければ、測っただけで終わります。

いつ効く？AIの効果が出るまでの3つの時間差

前章の前提①で触れた期間の設計は、効果がどの順番で現れるかを知らなければ決められません。段階を飛ばして最後の数字だけを早い時期に見ると、原因③で挙げたとおり効果なしという結論が出ます。逆に長く待ちすぎた場合は、止める判断も続ける判断も出せないまま次の予算の時期を迎えるのではないでしょうか。そこでここでは、AIの効果が出るまでの3つの時間差を整理します。

3つの層は同時には動きません。事業の数字が動くのは、操作が定着し業務の手順が変わったあとで、半年以上かかる場合もあります。

時間差①操作が変わるまでの数週間

1つ目は「操作が変わるまでの数週間」です。配った直後は、使う人と使わない人に分かれます。使い方を覚え、日常の流れに入るまでに数週間かかります。

この期間に見るのは、使った人数と回数だけです。1週間ごとに数えていけば、人数の増加が止まった時点をその場で確認できます。成果の指標を見ても、そもそも使われていないため何も分かりません。

先ほどの業務用コーヒー機器の会社では、配布から3週間で使用回数の増加が止まり、17名という人数で落ち着きました。営業企画の担当者は、この3週間を「使われるかどうかが決まる期間」として扱っています。残る14名を動かすには、別の働きかけが必要でした。

最初の1か月は、使われているかだけを見ましょう。使われていないなら、効果を測る段階に入っていません。

時間差②業務の手順が変わるまでの数か月

2つ目に挙げるのは、業務の手順が変わるまでの数か月です。使い始めても、それまでの手順は簡単には変わりません。並行して従来の方法も続ける期間があります。

手順が変わったと言えるのは、従来の方法をやめたときです。両方を続けている間は、作業時間はむしろ増えます。この期間に業務の指標を見ると、悪化しているように見える場合もあります。

この会社では、使い始めから2か月で商談前の準備の手順が変わりました。それまでは自分で調べた内容とAIが返した内容を突き合わせており、1件あたりの時間は導入前より長くなっています。突き合わせをやめた時点から、時間は短くなりました。仕組みと業務の関係は、エージェンティックAIの記事で整理しています。

2か月目までの悪化は想定に入れておきましょう。想定していないと、この時点で止める判断が出ます。

時間差③事業の数字に出るまでの半年以上

3つ目は「事業の数字に出るまでの半年以上」です。業務の手順が変わっても、それが受注や更新に届くには商談の周期を1回まわす必要があります。

周期の長さは商材によって変わります。検討に3か月かかる商材であれば、手順が変わってから成果に出るまでにさらに3か月かかります。業務の変化が2か月目なら、事業の数字は5か月目以降です。

この業務用コーヒー機器の会社が受注件数に差を確認できたのは5か月目でした。3か月時点の報告は、この意味では早すぎたことになります。営業企画の担当者は、次の測定を6か月後に置きました。

自社の商談の周期を確かめましょう。業務が変わった時点に周期を足した時期が、事業の数字を見る時期になります。

AIの効果測定でつまずく3つの落とし穴

ここまで示した前提と時間差を踏まえても、実際の測定では決まった形の失敗が起こります。しかも、集計の技術が足りないために起きる失敗はほとんどありません。この業務用コーヒー機器の会社も、最初の報告では1つ目と3つ目に当たっていました。そこでここでは、AIの効果測定でつまずく3つの落とし穴を整理します。

失敗の多くは、測定を導入の後から始めたことに行き着きます。導入前の数字を取っていない時点で、使える比べ方は半分に減ります。

落とし穴①導入前の数字を取らずに始める

1つ目は「導入前の数字を取らずに始める」という落とし穴です。導入を決めてから測定の話が出るため、記録を始めるのが導入の後になります。

後から始めると、前後の比較が使えません。残るのは集団を分ける比べ方だけで、集団を分けられない規模の組織では比べ方がなくなります。あとから記録を作ろうとしても、業務の層の数字は残っていません。

先ほどの会社も、商談前の準備時間を測り始めたのは導入の4か月目でした。導入前の数字がないため、17名と14名を比べる方法しか使えていません。営業企画の担当者は、次の対象へ広げる前に導入前の記録を1か月分取る計画に変えています。

導入の前に、いま最も時間がかかっている作業を1つ選び、その所要を記録しましょう。1か月分あれば、比べ方は1つ増えます。

落とし穴②使った人だけを集めて比べる

2つ目に挙げるのは、使った人だけを集めて比べる落とし穴です。使った担当者の成績を導入前と比べ、その差を効果として報告します。

この比べ方が偏るのは、使うことを選んだ人が最初から違うためです。原因②で挙げたとおり、新しい仕組みを進んで使うのは熱心な担当者です。その人たちの成績が上がっても、AIの効果とは限りません。

この業務用コーヒー機器の会社では、使った17名の勤続年数が平均6.2年、使わなかった14名が4.8年でした。営業企画の担当者はこの差を報告に添え、比較の結果を幅として示しています。差を隠して単一の数字を出せば、指摘を受けたときに説明できません。

条件の差は、隠さずに前提として示しましょう。示したうえでの幅のほうが、断定より信用されます。

落とし穴③一度の測定で結論を出す

3つ目は「一度の測定で結論を出す」落とし穴です。3か月後に1度測り、その結果で継続か中止かを決めます。

一度では足りないのは、時間差があるためです。3か月時点で事業の数字が動いていなくても、それは効果がない証拠になりません。逆に動いていても、別の要因かもしれません。

この会社の3か月時点の報告は、まさにこの形でした。5か月目に受注件数の差が見えたのは、営業企画の担当者が測定を続けていたからです。1度で止めていれば、効果はないものとして扱われていました。営業企画の2名はその後も月ごとの集計を続けており、6か月目の報告まで同じ様式で記録を残す予定です。

測定は、3つの層それぞれの時期に分けて複数回行いましょう。1回の結果だけでは、方向も大きさも決まりません。

経営に何を示す？AIの効果の4つの材料

ここまで挙げた落とし穴を避けて測れたとしても、経営に伝わらなければ次の投資にはつながりません。役員会で問われるのは数字の大きさより、その数字をどこまで信じてよいかです。同じ8%という数字でも、出し方によって次の予算がつくかどうかが変わるのではないでしょうか。そこでここでは、AIの効果を経営へ示す4つの材料を整理します。

示すのは単一の数字にはなりません。経営へ示すのは、切り分けた寄与を幅で表した値と、その幅を出すために置いた前提です。

材料①切り分けた寄与の幅

1つ目は「切り分けた寄与の幅」です。全体の変化のうち、AIによると考えられる範囲を上限と下限で示します。

幅で示す理由は、単一の値が断定になるためです。集団の比較と前後の比較で結果が違うのは自然で、その両方を示せば範囲になります。その範囲のほうが実態に近く、判断する側も受け取りやすくなります。

先ほどの業務用コーヒー機器の会社は、全体の8%増のうちAIの寄与を3〜5ポイントの幅で示しました。下限は集団の比較から除外条件を厳しくした場合、上限は使用回数の階段から読める値です。残りの3〜5ポイントは価格改定と展示会の影響として提示しています。幅の広さが2ポイントに収まったのは、除外の条件を先に決めていたからです。

数字は幅で出しましょう。単一の値では、質問を1つ受けただけで根拠を示せなくなります。

材料②測定の前提として除いた条件

2つ目に挙げるのは、測定の前提として除いた条件です。前提③で決めた除外の条件を、結果と一緒に示します。

示す理由は、除外が恣意的でないことを説明するためです。除外した件数と、除外しなかった場合の数字も添えれば、判断する側は自分で確かめられます。

この会社が示したのは、展示会由来の案件を除外したこと、新規担当の取引先を外したこと、上位5%の大型案件を外したことの3点です。除外しなかった場合の数字も併記しており、役員から「なぜ外したのか」という質問は出ませんでした。外した案件は9件で、除外前の11%増と除外後の9%増を並べた資料を1枚添えています。

除外は隠さず、外した理由と外さなかった場合の数字を添えましょう。

材料③時間差を踏まえた見通し

3つ目は「時間差を踏まえた見通し」です。いま見えている変化が、いつどの層に届く見込みかを示します。

見通しが要るのは、経営の判断が次の期の予算に関わるためです。事業の数字がまだ動いていない段階でも、業務の層が動いていれば、いつ届く見込みかを説明できます。

この業務用コーヒー機器の会社は、操作が3週間、業務の手順が2か月、受注の数字が5か月という実測を示しました。そのうえで、次に対象を広げた場合も同じ順序で進む見込みだと説明しており、6か月後の再測定の時期も同時に提示しました。成熟度の段階で見通しを示す考え方は、バイヤーイネーブルメントの記事でも扱っています。

見通しは、自社の実測から出しましょう。一般的な相場を持ち出すと、根拠を問われます。

材料④次に測る対象の決め方

4つ目は「次に測る対象の決め方」です。今回の測定で分かったことをもとに、次に何を測るかを示します。

示す理由は、測定を1回で終わらせないためです。次の対象が決まっていれば、今回の結果が中間の報告として位置づけられます。判断する側も、いつ次の情報が来るかが分かります。

先ほどの会社では、使っていない14名の理由が「使い方が分からない」8名と「自分でやったほうが早い」6名に分かれていました。この2つは理由が違うため、同じ働きかけでは両方の担当者を動かせません。営業企画の担当者は、次の測定で前者への働きかけの効果を見ると決めています。対象を決めたうえで、導入前の数字を1か月取る計画に変えました。

次の対象を示さない報告は、その場で終わります。続きがある形にしてください。

AIの効果測定を始める4つのステップ

ここまで示した材料をそろえるには、測定の設計を導入の前に置く必要があります。すでに導入している場合でも、次の対象を広げる前であれば設計はやり直せるのではないでしょうか。やり直すときの順番は、Agentic CRMの考え方に沿って組み立てていきましょう。そこでここでは、AIの効果測定を始める4つのステップを整理します。

最初に手をつけるのは指標の一覧ではありません。始めるときに最初に行うのは、導入前の数字を1つ決めて記録を始めることです。

ステップ①導入前の数字を1つ決めて記録する

最初の作業は、導入の前に数字を1つ決めて記録を始めることです。3つの層すべてをそろえる必要はありません。業務の層から1つ選びます。

1つに絞る理由は、記録の負担を最小にするためです。10個の指標を設計しても、記録が続かなければ意味がありません。1つなら、1か月続けられます。

先ほどの業務用コーヒー機器の会社は、次の対象へ広げる前に「商談前の準備にかかる時間」を1つだけ記録することにしました。営業31名のうち、次の対象になる14名に1件ごとの所要を入力してもらう形です。1か月分の記録さえあれば、前後の比較が使えます。

小さく始めたい場合は、この1指標からのスモールスタートが、記録の負担を抑えたまま比べ方を1つ増やす進め方になります。

ステップ②比べる集団を先に分けておく

記録を始めたら、次は比べる集団を決めます。導入する前に、誰に配って誰に配らないかを決めておきます。

先に分ける理由は、原因②で挙げた条件の偏りを避けるためです。希望した人だけに配ると、熱心な担当者が集まります。部門や地域で機械的に分けるほうが、条件はそろいます。

この会社は、次の対象となる14名を東日本の7名と西日本の7名に分け、東日本から先に配る計画にしました。分ける前に勤続年数の平均を確かめたところ、東日本が4.9年、西日本が4.7年でほぼ同じでした。3か月後に西日本にも配れば、同じ変化が再現するかを確認できます。対象を分けて設計する考え方は、ハイパーパーソナライゼーションの記事でも整理しています。

分け方は、機械的に決められる基準を使いましょう。希望を取ると、比べられなくなります。

ステップ③3か月後に同じ条件で測り直す

配ったあとは、決めた時期に同じ条件で測り直します。層①は1か月、層②は3か月、層③は6か月という配分です。

同じ条件にする理由は、比べられる形を保つためです。測るたびに除外の条件や対象の範囲を変えると、前回との比較ができません。設計した時点の条件をそのまま使います。測り直す日も月初の第1営業日に固定しておけば、担当者が迷いません。

この業務用コーヒー機器の会社では、営業企画の2名が3か月間で計34時間を測定にあてました。内訳は記録の整備が12時間、集計が14時間、報告の資料作成が8時間です。専任を置かずに、通常業務と並行して進められる量に収まっています。

測定にかける時間を、あらかじめ見積もっておきましょう。見積もらないと、途中で止まります。

ステップ④寄与の幅を出して次の対象を決める

最後に、切り分けた寄与を幅で出し、次に測る対象を決めます。前章の4つの材料を、この段階でそろえます。

次の対象まで決めるのは、測定を続ける形にするためです。1回の報告で終わらせず、次の期にも同じ設計で測れば、変化の傾向が見えます。幅の出し方も前回と同じにし、下限と上限の根拠を同じ資料に残しておきましょう。

この会社は、6か月後の報告で東日本7名と西日本7名の比較を出す予定です。除外の3条件も前回と同じものを使い、比べる集団の分け方も変えません。同時に、使っていない担当者への働きかけの効果を次の測定対象として提示する予定です。Agentic CRMの設計の全体像は、Agentic CRMの設計の記事で整理しています。

以上が、AIの効果測定を始める4つのステップでした。

AIの効果測定に外部支援を使う4つの判断軸

ここまで示した4つのステップを社内だけで進められるかは、体制によって変わります。この会社は営業企画2名で34時間を確保できましたが、専任を置けない企業のほうが多いのではないでしょうか。では、外部に頼むと決めたあとで、選び方に迷うのはなぜでしょうか。それは、支援会社によって入る工程がまったく違うからです。そこでここでは、AIの効果測定に外部支援を使うときの4つの判断軸を整理します。

支援会社の実績数だけでは、自社に合うかどうかは判断できません。測定を任せる相手は、導入する前の設計から入れるかどうかで選びます。

判断軸①測る前の設計から入れるかどうか

1つ目は「測る前の設計から入れるかどうか」という判断軸です。導入したあとに数字をまとめる支援と、導入の前に比べ方を設計する支援では、出せる結論が変わります。

見分け方は、提案の工程がどの時点から始まっているかを確認することです。導入後のデータ集計だけが書かれている見積では、落とし穴①の状態を避けられません。

先ほどの会社が3か月時点で答えられなかったのは、測定の設計が導入の前になかったためです。あとから集計を委託しても、導入前の数字は作れません。営業企画の2名が最初に相談した先も、提案の範囲が導入後の集計だけで、比べる集団の分け方には触れていませんでした。

ツール設定ではなく業務設計から入ってほしい場合は、導入前の記録の設計が提案に含まれているかが判断材料になります。

判断軸②既存の記録から数字を作れるかどうか

2つ目に挙げるのは、既存の記録から数字を作れるかどうかです。新しく記録を取り始めるだけでなく、すでにある記録から比較に使える形を取り出せるかを見ます。

この能力が効くのは、導入前の記録がない場合です。活動履歴や商談の更新履歴から、業務の層に近い数字を再構成できる場合があります。手元にある材料を使い切れるかどうかで、比べ方の選択肢が変わります。

この業務用コーヒー機器の会社でも、営業企画の担当者が過去の活動履歴から商談ごとの接触回数を取り出せることに気づいています。準備にかけた時間は取れませんが、代わりに使える数字が見つかりました。

定着まで伴走してほしい場合は、記録から数字を作り続ける工程が契約の範囲に入っているかが判断材料になります。

判断軸③現場の業務を理解しているかどうか

3つ目は「現場の業務を理解しているかどうか」という判断軸です。除外する条件を決めるには、その業界の商談の進み方を知っている必要があります。

知らなければ、外すべき案件と残すべき案件を判別できません。たとえば展示会由来の案件を外す判断も、営業の実務を知らなければ出てきません。

この会社では、除外の3条件を決めるときに営業課長2名が同席しました。営業企画の2名だけでは、どの案件が特殊かの判断がつかなかったためです。同席した営業課長2名は、保守契約の更新に合わせて出た案件も別扱いにすべきだと指摘し、条件の文言をその場で直しています。

社内の判断を必要とする工程がどこかを、着手前に洗い出しておきましょう。外部に任せられる範囲は、そこで決まります。

ソリューション営業に特化した支援がほしい場合は、商談の進み方に沿って測る対象を選べるかが判断材料になります。

判断軸④設計の確認だけを頼めるかどうか

4つ目は「設計の確認だけを頼めるかどうか」という判断軸です。比べ方の案を自社で作れるなら、外部に必要なのは案の確認だけの場合もあります。

構築や集計まで一括で請け負う形しか用意していない支援会社では、この頼み方ができません。工程を切り出して依頼できるかどうかは、着手前に確認しておく項目にあたります。

この会社も、記録の整備と集計は営業企画の2名で進められる見通しでした。判断に迷ったのは、東日本と西日本で時期をずらす設計が妥当かという1点だけです。この1点だけを外部に確認してもらう形なら、2回の打ち合わせで足りると見積もっています。

自社で構築するので設計レビュー・アドバイザリーだけ頼みたい場合は、工程を切り出した依頼を受けているかを確認しましょう。

【一問一答】Agentic CRMの効果測定に関するよくある質問

ここまで、測れないと言われる状態から、切り分けられない原因、4つの比べ方、外部支援の判断軸までを整理してきました。ただし、読んで理解した内容を自社の測定に置き換える段階では、判断に迷う箇所が出てくるのではないでしょうか。とくに迷いやすいのは、始める時期の決め方、比べる集団の分け方、そして誰が数字をまとめて誰が判断するかという役割の置き方の3点です。そこで最後に、AIの効果測定についてよく寄せられる質問を5つ取り上げます。

質問①AIの効果測定はいつから始めますか？

導入を決めた時点から始めます。この記事で例に挙げた業務用コーヒー機器の会社は、測定の設計が導入の前になかったため、3か月時点の報告で「その8%はAIの効果か」に答えられませんでした。業務の層の指標を1つだけ決め、導入の1か月前から記録するだけで足ります。すでに導入している場合は、次の対象へ広げる前に同じことを行ってください。

質問②AIの効果を比べる集団はどう分けますか？

部門や地域のように、機械的に決められる基準で分けます。希望を取って配ると、熱心な担当者が使う側に集まり、条件が偏ります。この会社では営業31名のうち17名が使い、14名が使わなかったため、その2つの集団で比べました。ただし勤続年数は使った側が平均6.2年、使わなかった側が4.8年で差があり、前提として報告に添えています。

質問③AIの効果測定にベンチマークは要りますか？

外部の平均値がなくても切り分けはできます。必要なのは比べる相手であり、それは自社のなかに用意できるものです。この会社も外部の平均値は使わず、17名と14名の比較だけで、全体の8%増のうちAIの寄与を3〜5ポイントの幅として示しました。業界平均との比較は、社内の比較を出したあとの補足にとどめてください。

質問④AIの効果が数字に出ないときはどうしますか？

どの層まで届いているかを確かめます。使われていないなら操作の層、使われているのに作業時間が変わらないなら業務の層が原因です。この会社の実測では、操作が3週間、業務の手順が2か月、受注の数字が5か月で動いており、事業の層だけが動いていない場合は時期がまだ来ていない可能性があります。層を分けずに「効果なし」と結論を出すと、原因が特定できません。

質問⑤AIの効果測定は誰が担当するのがよいですか？

数字をまとめる担当と、判断する人を分けます。まとめるのは営業企画や事業企画の担当者が向いており、判断は投資を決める立場の人の役割です。この会社では営業企画の2名が3か月間で計34時間を測定にあて、比べ方も事前に2つ決めています。同じ人が両方を担うと、報告の内容が判断の都合に寄ります。測定の設計の時点で、両方を決めてください。

Agentic CRMの効果は、比べる相手を先に決めたときにだけ切り分けて測れる

AIの効果を測るために最初に取り組むのは、指標の一覧づくりでもツールの選定でもありません。ここまで見てきたとおり、動いた数字を何と比べるかを、導入の前に決める作業です。本記事では、測れないと言われる3つの状態から、切り分けられない原因、4つの比べ方、指標の3つの層、先に決める前提、効果が出るまでの時間差、つまずく落とし穴、経営へ示す材料、始める4つのステップ、外部支援の判断軸までを、一連の流れとして整理してきました。

例に挙げた業務用コーヒー機器の会社は、受注件数が8%増えたという数字しか出せなかった状態から、AIの寄与を3〜5ポイントの幅で示せる形へ変えています。測定にかけたのは営業企画2名で34時間、期間は3か月です。数字は動いているのに説明できない状態が、まだ残っている企業も多いのではないでしょうか。

合同会社クロスコムでは、CRMのデータをAIが横断して読む前提でのAgentic CRM設計支援を行っています。導入の前に測定の設計から入る進め方にも対応していますので、Agentic CRM設計支援までお気軽にご相談ください。本記事で紹介した内容を、ぜひ自社の測定の設計に合わせて活用し、少しでもお役に立てれば幸いです。