AIの誤答は全件を確認すべきか？実害の大きさから許容水準を逆算する設計

AIが返した回答を、毎回すべて読み直していませんか。誤答の許容水準とは、AIの精度を何％まで上げるかという目標のことではありません。誤ったときの実害の大きさから、どの回答をどこまで確かめるかを業務ごとに決める設計です。 Agentforceは機能の追加が続いている製品のため、本記事の記述は2026年9月時点で確認できる範囲に限っています。

そこで本記事では、許容水準を決めていない状態から、全件の確認で代えられない理由、水準を分ける3つの段階、AIに任せる線引きまでを解説します。

Agentforceの誤答で許容水準がない3つの状態

産業用バルブのメーカーでは、従業員132名のうち営業が9名、営業企画1名という体制で事業を続けてきました。この企業は説明のための架空の設定であり、実在の企業ではありません。AIエージェントは月に520件の回答を返していますが、内容に誤りが含まれた回答が月41件あります。うち6件は顧客へ伝わって訂正になりました。対策として全件を人が確認する運用に切り替えたところ、確認だけで月26時間かかるようになっています。そこでここでは、この会社を例に、誤答の許容水準を決めていない3つの状態を整理します。

困っている原因は誤りの多さによるものにはなりません。困るのは誤りが出ることではありません。水準を決めずに全件を確認している状態です。

状態①全件を人が確認している

1つ目は「全件を人が確認している」状態です。誤りが出たことをきっかけに、すべての回答へ目を通す運用に切り替えます。

続かなくなるのは、確認の負担が削減した時間を上回るためです。月520件の回答を1件3分で確認すれば、それだけで月26時間かかり、エージェントを入れて減らしたはずの作業時間が、確認という形で戻ってきます。しかも確認する人は、業務を知っている担当者に限られます。

この産業用バルブのメーカーでは、営業企画の担当が全件の確認を担っていました。1日あたり1時間強を確認に使っており、本来の業務が後ろへずれています。3か月続けた時点で、この運用は続かないと判断されました。

確認に使っている時間を合計しましょう。削減した時間と並べて見ます。

状態②確認が省かれて誤りが外へ出る

2つ目に挙げるのは、確認が省かれて誤りが外へ出る状態です。重い運用ほど、忙しい日に飛ばされます。

省かれるのは、全件を同じ重さで扱っているためです。社内で完結する回答も、顧客へ送る文面も、同じ確認の手順に乗せると、担当者は優先順位を付けられません。結果として、時間がない日はまとめて素通りさせることになり、その中に外へ出る回答が混ざります。外へ出たときの影響についてはセキュリティ設計の記事でも扱っています。

先ほどの会社では、顧客へ伝わって訂正になった6件のうち、4件は確認を通っていませんでした。営業企画の担当が記録をたどったもので、いずれも月末の繁忙期に集中しています。

訂正になった回答が確認を通ったかを調べましょう。通っていない回答が半数を超えるようなら、原因は手順の粗さより確認の対象の広さにあります。

状態③使う場面を減らして避けている

3つ目は「使う場面を減らして避けている」状態です。誤りを恐れて、任せる範囲を狭めます。

避ける方向へ動くのは、水準がないと「安全か危険か」の二択になるためです。少しでも誤る可能性があるなら使わない、という判断が積み重なると、任せられる業務は残りません。禁止のルールを増やしても誤りの発生は減らず、使われる場面だけが減っていきます。

たとえば、この会社では当初9つの業務でエージェントを使う計画がありました。訂正の6件が出た後、対象は3つまで絞られています。営業企画の担当は、この絞り込みが問題の解決になっていないと感じていました。

対象から外した業務の数を、月ごとに数えましょう。3か月続けて増えるようなら、禁止の追加を止めて、水準の設計に入る合図にします。

全件見れば済む？Agentforceの誤答が減らない理由3つ

3つの状態はどれも、「もっと丁寧に確認しよう」という結論につながります。実際、多くの解説が人による裏取りと、使い方を制限するルールを解として示しています。ところが確認を徹底しても、状態は改善しません。そこでここでは、許容水準を全件の確認で代えられない3つの理由を整理します。

代えられないのは確認の丁寧さによるものにはなりません。全件の確認では代えられません。確認の時間が、削減した時間を食うからです。

理由①確認の時間が削減した時間を食うから

1つ目は「確認の時間が削減した時間を食うから」です。確認は、件数に比例して増える作業です。

食い尽くされるのは、確認が自動化されないためです。エージェントが月520件を処理しても、520件の確認は人が行い、1件3分でも月26時間と、対象業務で削減した時間と同じ規模になります。差し引きがゼロなら、導入した意味は数字の上で消えます。

この産業用バルブのメーカーでは、対象業務で削減できた時間が月31時間でした。確認に26時間を使っていたため、残るのは5時間です。営業企画の担当は、この差し引きを見て運用の見直しを決めています。

確認に使った時間が、削減した時間の半分を超えていないかを見ましょう。超えている状態が3か月続くようなら、精度の改善より先に、確認の対象を絞る設計へ切り替える段階です。

理由②重い確認ほど省かれるから

2つ目に挙げるのは、重い確認ほど省かれるからです。全件という運用は、続けられる形になっていません。

省かれるのは、優先順位を付ける余地がないためです。全部を同じ重さで扱えば、忙しい日には全部が後回しになります。逆に対象が2割に絞られていれば、その2割は忙しい日でも通せます。確認を確実にする方法は、丁寧にすることではありません。対象を減らすことです。社内で完結する業務から始める考え方は社内問い合わせの記事でも整理しています。

先ほどの会社では、確認の実施率を記録していました。通常の週は9割を超えますが、月末の週は6割まで落ちています。落ちた週に、訂正の4件が集中していました。

確認の実施率を週ごとに見ましょう。落ちる週があるなら、対象が多すぎます。

理由③誤りの重さが業務ごとに違うから

3つ目は「誤りの重さが業務ごとに違うから」です。同じ誤りでも、起きる場所によって結果が変わります。

同じ扱いにできないのは、取り消せるかどうかが違うためです。社内の担当者が読む回答なら、誤っていても気づいた時点で直せます。顧客へ送った文面は、訂正の連絡が要り、信頼にも響きます。この差を無視して一律の手順を作ると、軽い業務に過剰な手間がかかり、重い業務には足りない手間しかかかりません。

たとえば、この会社では月41件の誤りのうち、社内で気づかれて終わったのが35件でした。顧客へ伝わったのは6件です。同じ誤りでも、結果は大きく分かれていました。

誤りが誰の目に触れたかを分けて数えましょう。重さの違いが見えます。

許容水準を分ける3つの段階

では、回答を一律に扱えないとしたら、何を軸に分ければよいのでしょうか。分ける軸に使えるのは、誤った回答がどこまで届くかという範囲です。社内の担当者が読んで終わる回答と、顧客の手元へ渡る回答では、誤ったときに起きることが違うためです。届く範囲で切ると、段階は3つに収まり、業務の名前で分けるより判断が速く済みます。そこでここでは、許容水準を分ける3つの段階を整理します。

段階の切り方は業務の重要度では決まりません。水準は3段階です。社内で止まる、社内をまたぐ、社外へ出るの3つで分けます。

段階①社内で止まる回答

1つ目は「社内で止まる回答」です。質問した本人だけが読み、そこで使われて終わる回答が該当します。

この段階の水準を緩められるのは、誤っても本人が気づける位置にあるためです。社内の規程や過去の記録を尋ねた回答は、読んだ担当者が違和感を持てば確かめ直せます。取り消す作業も発生しません。ここに確認を入れると、手間だけがかかります。

この産業用バルブのメーカーでは、月520件のうち368件がこの段階でした。営業企画の担当が1か月分を振り分けたもので、全体の7割を占めており、この368件は確認の対象から外しました。

この段階に入る回答を、まず1か月分だけ数えて一覧にしましょう。7割に届かない場合は、社外向けの下書きまでこの段階に混ぜている可能性があり、振り分けの基準を読み直します。

段階②社内をまたいで使われる回答

2つ目に挙げるのは、社内をまたいで使われる回答です。別の部門へ渡され、そこで判断の材料になる回答が該当します。

この段階が中間にあるのは、誤りに気づく人が離れるためです。営業が受け取った内容を生産管理へ伝えれば、元の回答を見ていない人が前提として扱うことになり、取り消しは可能でも、伝わった範囲を追う手間がかかります。根拠を添えて出す形にすれば、受け取った側が確かめられます。

先ほどの会社では、この段階が月48件でした。回答に参照した記録へのリンクを添える形にしています。3か月の運用で、この段階からの訂正は発生していません。

またぐ回答には、必ず根拠を添える形を標準にしましょう。添えられない記録しか手元にない業務は、段階③へ移して人が読む範囲に入れます。

段階③社外へ出る回答

3つ目は「社外へ出る回答」です。顧客や取引先へ、そのまま伝わる可能性がある回答が該当します。

この段階の水準をゼロに近づけるのは、取り消せないためです。伝えた内容が誤っていれば、訂正の連絡が要り、その時点で相手の判断が動いていることもあります。件数としては多くありませんが、実害はここに集中するため、人が読んでから出す運用を、この段階だけに絞って残します。

この会社では、この段階が月104件でした。全体の2割にあたります。営業企画の担当が確認する対象を、この104件に絞りました。

社外へ出る回答だけを、事前の確認の対象にしましょう。全体の2割ほどに収まり、この割合を大きく上回るときは、段階②に入れるべき回答が混ざっています。

許容水準を決める4つの材料

前章の3段階は、届く範囲で切ったものです。ただし実際の業務では、どの段階に入れるか迷う回答が出てきます。迷うたびに議論をやり直すと、振り分けは進みません。Agentforceでできることの範囲を押さえたうえで、判断に使う材料をあらかじめ決めておきます。そこでここでは、許容水準を決める4つの材料を整理します。

判断の材料は誤りの起きやすさでは決まりません。水準を決める材料は4つです。誰が困るか、取り消せるか、気づけるか、繰り返すかです。

材料①誤ったときに誰が困るか

1つ目は「誤ったときに誰が困るか」です。誤りの影響を受ける相手が、社内か社外かを見ます。

これを最初に置くのは、段階の切り方とそのまま対応するためです。困るのが本人だけなら段階①、別の部門なら段階②、顧客なら段階③になります。迷ったときは、誤った内容が最終的に誰の判断に使われるかをたどれば決まります。

この産業用バルブのメーカーでは、在庫の照会を段階①に置きました。誤っていても営業本人が気づき、その場で確かめ直せるためです。一方、顧客への回答文の下書きは段階③にしています。

誤った回答が最後に誰の手元へ届くかをたどりましょう。届く先が社内と社外の両方にまたがる回答は、重いほうの段階に寄せて扱います。迷いが残る回答は段階③に置き、運用のなかで下げていきます。

材料②取り消せるかどうか

2つ目に挙げるのは、取り消せるかどうかです。誤りに気づいた後、元へ戻せるかを見ます。

取り消しの可否を見るのは、時間の経過で取り返しがつかなくなる回答があるためです。社内で読まれただけなら、後から訂正すれば済みます。相手先へ送った文面や、外部の仕組みへ書き込んだ内容は、こちらの都合では戻せません。戻せない回答は、件数が少なくても段階③に置きます。

先ほどの会社では、外部の仕組みへ書き込む処理を含む回答を、件数にかかわらず段階③へ入れる決まりにしました。月に2件ほどですが、例外なく人が確認しています。

戻せるかどうかを問いましょう。戻せない回答は、件数に関係なく段階③です。判断に迷う処理は、実行の前に取り消しの手順が用意されているかを確かめます。

材料③気づける仕組みがあるか

3つ目は「気づける仕組みがあるか」です。誤っていた場合に、誰かが気づく経路があるかを見ます。

気づける経路を見るのは、同じ段階でも扱いが変わるためです。回答に参照した記録へのリンクが添えられていれば、受け取った側が確かめられます。リンクがなければ、内容を鵜呑みにするしかありません。根拠を示せる形にすることは、水準を1段階緩めるのと同じ効果を持ちます。根拠を添えて出す仕組みはナレッジ設計の記事にまとめています。

この会社では、段階②の回答に必ず参照元のリンクを添える形にしました。添えられない回答は、段階③として扱う決まりにしています。

根拠を添えられるかを、業務ごとに確かめましょう。添えられれば水準を1段階緩められますが、添えられない業務は、緩める前に記録の整備から始めます。

材料④同じ誤りが繰り返されるか

4つ目は「同じ誤りが繰り返されるか」です。一度きりの誤りか、条件がそろえば再び起きる誤りかを見ます。

繰り返しを見るのは、直す対象が変わるためです。参照している記録が古いために起きる誤りは記録を直せば消えますが、質問の書き方によって揺れる誤りは、記録を直しても残ります。繰り返す誤りは、水準を上げるより先に原因を潰すほうが早く効きます。

この産業用バルブのメーカーでは、月41件の誤りのうち、同じ原因によるものが3種類で28件を占めていました。参照先の記録を直したことで、この28件は運用の2か月目に減っています。

同じ原因の誤りを、原因ごとに数えて並べましょう。全体の半分を超えるようなら、水準を上げる前に記録の修正から取りかかります。

どこまで任せる？許容水準で決める線引き3つ

段階と判断の材料が決まったら、次に決めるのは、段階ごとに何をどこまで任せるかという線引きです。すべてを同じ扱いにすると、軽い業務に過剰な手間がかかります。線引きで決めるのは、人の確認を入れる位置と、根拠の示し方の2つです。段階が3つある以上、任せ方も3通りに分かれます。そこでここでは、許容水準に応じてAIに任せる3つの線引きを整理します。

任せる範囲は精度の高さだけでは決まりません。社内で止まる回答は、確認せずに使います。

線引き①段階①は確認せずに使う

1つ目は「段階①は確認せずに使う」ことです。社内で止まる回答には、人の確認を入れません。

入れない理由は、確認の効果が手間に見合わないためです。誤っていても本人が気づき、その場で確かめ直せる範囲であれば、事前の確認は重複した作業になります。むしろ確認を挟むことで回答が遅れ、その場で使えるという利点が失われます。

この産業用バルブのメーカーでは、段階①の368件を確認の対象から外しました。運用の3か月で、この範囲から実害が出た事例はありません。誤りは含まれていましたが、いずれも読んだ本人が気づいています。

段階①は確認を外し、誤りが見つかった時点で直す運用にしましょう。気づける位置にある誤りは、事前に止める必要がありません。外したあとで実害が出た業務だけを、段階②へ戻して扱います。

線引き②段階②は根拠を添えて出す

2つ目に挙げるのは、段階②は根拠を添えて出すことです。人の確認は入れず、確かめられる形にします。

この形にするのは、確認する人を受け取り手に移すためです。参照した記録へのリンクが添えられていれば、受け取った担当者が必要に応じて開けます。事前に1人が全件を見る形は、ここでは必要ありません。必要な人が必要なときに開くほうが、全体の手間は小さくなります。返る内容が揺れる問題については推論の揺れの記事をご確認ください。

先ほどの会社では、段階②の48件すべてに参照元を添える形にしました。実際に開かれたのは月に9件ほどですが、開ける状態にあることが前提として機能しています。

段階②は根拠を添えたうえで、人の確認を省きましょう。添付が漏れた回答が月に数件でも出るようなら、確認を戻す前に、添える工程を自動化できないかを見直します。

線引き③段階③は人が読んでから出す

3つ目は「段階③は人が読んでから出す」ことです。社外へ出る回答だけ、事前の確認を残します。

残す理由は、取り消せないためです。件数は全体の2割ですが、実害はここに集中します。対象が絞られていれば、忙しい日でも確認を通せます。全件を対象にしていたときに省かれていた確認が、ここでは省かれません。

この会社では、確認の対象を104件に絞った後、実施率が100%で推移しています。確認にかけた時間は月26時間から月7時間へ変わり、実害の件数は月6件から0件になりました。

段階③だけを確認の対象にし、ほかは通さない決まりにしましょう。対象が全体の3割を超えるようなら、段階②へ移せる回答が混ざっていないかを見直します。周期は四半期に一度で足ります。

Agentforceで許容水準を業務ごとに決める4ステップ

段階、材料、線引きがそろったところで、どの順番で着手すればよいのでしょうか。全業務の水準を一度に決めようとすると、議論が長引いて着手が遅れますが、1か月分の回答を振り分けるところから始めれば、数週間で運用に入れます。順番を決めずに進めると、途中で全件確認へ戻る判断が出かねません。そこでここでは、許容水準を業務ごとに決める4つのステップを整理します。

着手の順番は業務の重要度では決まりません。最初にやるのは精度を上げることではありません。回答を段階に振り分けることです。

ステップ①1か月分の回答を段階に振り分ける

1つ目のステップは「1か月分の回答を段階に振り分ける」ことです。実際に返した回答を、3つの段階へ分けます。

振り分けから始めるのは、どこに集中しているかが見えないと対象を絞れないためです。多くの会社では段階①が最も多く、段階③は2割前後に収まります。この比率が見えれば、確認の対象をどこまで減らせるかが数字で分かり、1か月分あれば傾向は十分に出ます。

この産業用バルブのメーカーでは、営業企画の担当が520件を振り分けました。段階①が368件、段階②が48件、段階③が104件です。所要は2日ほどでした。

まず1か月分の回答を、手元の記録から振り分けましょう。2日で確認の対象が決まり、途中で迷った回答は、まとめて段階③へ寄せておけば先へ進めます。

ステップ②段階ごとに確認の仕方を決める

2つ目のステップは、段階ごとに確認の仕方を決めることです。誰が、何を、どのタイミングで見るかを定めます。

段階ごとに決めるのは、同じ手順を使い回すと軽い業務に過剰な手間がかかるためです。段階①は確認なし、段階②は根拠を添える、段階③は人が読む。この3つを短く決めておけば、迷う場面が減ります。手順書は長くする必要がなく、3行で足ります。

先ほどの会社では、3段階の扱いを1枚の紙にまとめました。営業9名への説明は30分の打ち合わせ1回で済んでいます。

確認の仕方は3行で決め、全員が見える場所に貼りましょう。3行に収まらないようなら、段階の切り方がまだ細かすぎる合図です。書き直しは、誤りが出た月の翌月にまとめて行えば十分です。

ステップ③誤りが出た回答の段階を記録する

3つ目のステップは「誤りが出た回答の段階を記録する」ことです。誤りが見つかったとき、その回答がどの段階だったかを残します。

記録を残すのは、振り分けが適切かを判定するためです。段階①に置いた回答から実害が出ていれば、その業務は段階②か③へ上げる必要があります。逆に段階③で誤りが一度も出ていなければ、段階②へ下げる余地があります。記録する項目は、日付と段階と誤りの内容だけで構いません。

この会社では、誤りが出るたびに段階を記録する運用にしました。3か月で、段階①から段階②へ上げた業務が2つあります。いずれも別の部門へ内容が伝わっていた業務でした。

誤りには段階を添えて残しましょう。振り分けを直す材料になり、3か月分たまれば、どの段階が実態と合っていないかが見えてきます。

ステップ④実害の件数で水準を見直す

4つ目のステップは、実害の件数で水準を見直すことです。誤りの件数では判断せず、実害の件数で判断します。

実害で見るのは、誤りの件数が減らなくても問題は解けるためです。段階の振り分けが適切であれば、誤りは同じ数だけ出ても、外へは出ません。逆に実害が続くなら、振り分けか確認の仕方のどちらかが合っていません。月ごとに件数を並べれば、どちらを直すかが見えます。

この産業用バルブのメーカーでは、着手から5週間で運用に入りました。営業企画1名で、要した工数は計25時間です。3か月後には、誤りは月41件のままで、実害は月6件から0件へ変わりました。

見直しは実害の件数で行いましょう。誤りの件数は、水準の設計では減りません。以上が、許容水準を業務ごとに決める4つのステップでした。

許容水準の設計でつまずく3つの落とし穴

前章の4つのステップは、順番どおりに進めば5週間ほどで運用に入ります。ところが途中で全件確認へ戻る会社もあり、戻り方には型があります。いずれも安全を優先した判断が原因で、水準の設計を疑うところまで進んでいません。戻ってしまうと、段階の振り分けまで作り直すことになります。そこでここでは、許容水準の設計でつまずく3つの落とし穴を整理します。

つまずく原因は慎重さの度合いでは決まりません。誤りをゼロにしようとすると、使える場面がなくなります。

落とし穴①誤りをゼロにしようとする

1つ目は「誤りをゼロにしようとする」ことです。精度を上げ続けることで問題を解こうとします。

行き詰まるのは、誤りが出ない状態を作れないためです。参照する記録が完全でも、質問の書き方によって回答は揺れます。ゼロを目標に置くと、いつまでも本番へ出せません。目標を実害の件数に置き換えれば、誤りが残ったままでも運用は始められます。

この産業用バルブのメーカーでも、当初は精度を上げる方向で検討が進んでいました。誤りは月41件のまま変わりませんが、実害は0件になっています。営業企画の担当は、この2つの数字を並べたうえで、目標の置き場所を変えたことが転機だったと述べています。

目標は、精度の数値から実害の件数へ置き換えましょう。数値目標を残したままにすると、本番へ出す判断が先送りされ続けます。

落とし穴②段階を業務の重要度で分ける

2つ目に挙げるのは、段階を業務の重要度で分けることです。大事な業務ほど水準を上げる、という分け方をします。

噛み合わないのは、重要度と実害の大きさが一致しないためです。売上に直結する業務でも、社内で完結する回答なら誤りは取り返せます。逆に日常の細かい照会でも、顧客へそのまま伝わるなら実害は大きくなります。分ける軸は重要度ではありません。誤りがどこまで届くかです。

先ほどの会社では、最初に重要度で3段階に分けた案がありました。振り分けてみると、社内で完結する重要な業務が段階③に入り、確認の対象が増えすぎています。届く範囲で分け直した結果が、いまの3段階です。

分けるときは、届く範囲だけを見ましょう。重要度の高さを持ち出したくなったら、その業務で誤ったときに誰へ伝わるかを先に確かめます。

落とし穴③水準を決めたまま見直さない

3つ目は「水準を決めたまま見直さない」ことです。一度振り分けたら、そのまま固定します。

固定すると困るのは、業務の使われ方が変わるためです。社内向けに始めた回答が、いつの間にか顧客への説明に使われていることがあり、段階①のままなら、確認を通らずに外へ出ます。誤りが出たときに段階を記録していれば、この変化に気づけます。

定着まで伴走してほしい場合は、この見直しの運用が設計に入っているかを支援先に確かめてください。振り分けて終わりの提案は、導入までしか見ていません。

段階は四半期ごとに見直しましょう。前回から使われ方が変わった業務だけを見れば、確認は30分ほどで終わります。見直した結果は、段階を記録した表に上書きします。

守れているか？Agentforceの許容水準を測る4指標

前章の3つの落とし穴を避けたうえで、次に要るのは変化を確かめる手段です。誤りの件数は水準の設計では減らないため、件数だけを追っても変化が見えません。指標は、日々の運用の中で自然に取れるものだけに絞ると続きます。一方で、集計に手作業が要る指標は、3か月ほどで記録が途切れてしまいます。そこでここでは、許容水準が守られているかを測る4つの指標を整理します。

見るべき数字は誤りの件数では決まりません。見るべきは誤りの件数より、実害が出た件数です。

指標①実害が出た件数

1つ目は「実害が出た件数」です。誤りが外へ出て、訂正や作業のやり直しにつながった件数を数えます。

この指標を最初に置くのは、設計の目的をそのまま表すためです。誤りをなくすことを目的にはせず、誤りが害にならない形にすることを目的に置きます。件数が0に近づいていれば、段階の振り分けと確認の仕方が機能している状態です。指標の定義の置き方は効果測定の記事で詳しく解説しています。

この産業用バルブのメーカーでは、月6件から0件へ変わりました。誤りの件数は月41件のままで動いていません。営業企画の担当は、この2つを並べて経営へ報告しています。

実害の件数は、誤りの件数と並べて見せましょう。片方だけを出すと、精度が上がっていないという受け取られ方をします。

指標②人が確認した回答の割合

2つ目に挙げるのは、人が確認した回答の割合です。全体のうち、事前の確認を通した割合を見ます。

割合を見るのは、対象の絞り方が適切かを示すためです。高すぎれば確認の負担が戻っており、低すぎれば段階③の振り分けが漏れています。2割前後に収まる会社が多く、そこから大きく外れたときは振り分けを見直します。

先ほどの会社では、100%から20%へ変わりました。月520件のうち104件で、段階③に該当した回答と一致しています。

割合は、月ごとに同じ集計で見ましょう。3か月続けて3割を上回るようなら、段階③に入れた回答のうち、社内で完結するものが混ざっています。下がりすぎたときは、外した回答を1件ずつたどり直します。

指標③確認にかけた時間

3つ目は「確認にかけた時間」です。事前の確認に使った時間を、月ごとに合計します。

時間を見るのは、導入の効果を差し引きで示すためです。削減した時間から確認の時間を引いた残りが、実際の効果になります。確認の時間が削減した時間に近づいているなら、設計を見直す合図です。担当者が申告する作業時間とも一致しやすい数字になります。

この会社では、月26時間から月7時間へ変わりました。削減した時間が月31時間のため、差し引きは5時間から24時間へ広がっています。

確認の時間は、月ごとの合計で記録しましょう。記録が3か月分たまると、季節による増減と、設計の効果を切り分けられます。増減が大きい月は、回答の件数が動いていないかを先に確かめます。

指標④段階の振り分けを直した回数

4つ目は「段階の振り分けを直した回数」です。運用しながら段階を上げ下げした回数を数えます。

回数を見るのは、最初の振り分けの精度を判定するためです。直しが多い時期は、業務の理解が浅かったか、使われ方が想定と違っています。落ち着いてくれば回数は減り、その時点で振り分けが実態に合ったと判断できます。ゼロを目指す数字ではありません。

この産業用バルブのメーカーでは、3か月で2回の直しがありました。いずれも段階①から段階②へ上げたもので、内容が別の部門へ伝わっていた業務です。

直した回数と理由は、同じ表に残しましょう。直しの理由が「使われ方が変わった」に偏るようなら、業務の側の変化を先に確かめます。回数だけを抑えようとすると、実態と合わない振り分けが残ります。

許容水準をゼロにすべき3つの場面

前章の指標は、段階ごとの扱いが機能しているかを示します。ただし段階の判定にかかわらず、誤りを一切許さない業務があります。判断は届く範囲では決まりません。なぜなら、誤ったときに支払う代償の種類で決まるからです。いずれも件数は多くないものの、確認を省く判断を許さない業務です。そこでここでは、許容水準をゼロにすべき3つの場面を整理します。

例外の範囲は件数の多さでは決まりません。取り消せない処理は、許容水準をゼロにします。

場面①確定した金額を顧客へ伝えるとき

1つ目は「確定した金額を顧客へ伝えるとき」です。見積として提示する数字が該当します。

水準をゼロにするのは、誤りが契約の条件に直結するためです。提示した金額を後から訂正すれば、相手の社内で進んでいた検討が止まります。金額の根拠が記録にあっても、伝える前に人が確かめる工程を必ず通し、段階③のなかでも特に確実に通す範囲になります。

この産業用バルブのメーカーでは、金額を含む回答を月18件ほど扱っています。営業が送る前に必ず読み直す運用で、3か月で誤りが外へ出た事例はありません。

金額を含む回答は、宛先へ届く前に必ず人が読みましょう。読む人は営業の担当者で足り、上長の承認まで挟むと、回答の速さが失われます。読み直す観点は、金額と数量と納期の3つに絞ります。

場面②法令や規程の解釈を示すとき

2つ目に挙げるのは、法令や規程の解釈を示すときです。基準を満たすかどうかの判断が該当します。

水準をゼロにするのは、解釈の誤りが後から責任の問題になるためです。適合すると伝えた製品が基準を満たしていなければ、納品後に問題が表面化します。条文が記録にあっても、当てはめの判断は人が行う範囲です。

自社で構築するので設計レビュー・アドバイザリーだけ頼みたい場合も、この例外の切り出し方は外部の目を入れる価値があります。どこまでを解釈とみなすかは、業界によって線が違うためです。

解釈を含む回答は、人が当てはめましょう。条文の引用までが機械の範囲です。当てはめを判断した担当者の名前を残しておけば、同じ問い合わせが再び来たときの根拠になります。

場面③取り消せない処理を起こすとき

3つ目は「取り消せない処理を起こすとき」です。外部の仕組みへの書き込みや、削除を伴う操作が該当します。

水準をゼロにするのは、戻す手段がないためです。誤って発注を確定させれば、相手先の手配が動き始めます。回答の内容が正しいかどうかにかかわらず、処理を起こす手前で人が確認する工程を挟み、件数が少ない月でも同じ手順を通します。

この会社では、この種の処理を含む回答が月に2件ほどありました。対象は、発注の確定と、外部の仕組みへの登録の2種類です。件数の少なさにかかわらず、営業企画の担当が全件を確認しています。

戻せない処理は、件数に関係なく確認しましょう。例外を作らず、担当者が不在の日は処理を翌日へ送ります。

許容水準の設計に外部支援を使う4つの判断軸

ここまでの内容は、営業企画の担当1名でも5週間で進められる範囲です。ただし段階の切り方や例外の決め方で迷う場面はあり、外部の支援を検討する会社もあります。支援先を選ぶときは、実績の数より、判断の作法を先に見るほうが確実です。そこでここでは、許容水準の設計に外部支援を使う4つの判断軸を整理します。

選ぶ基準は実績の件数では決まりません。支援を選ぶ基準は実績の数ではありません。実害から水準を決められるかです。

判断軸①実害から水準を決められるか

1つ目は「実害から水準を決められるか」という軸です。水準の切り方を、業務で起きることの側から説明できるかを見ます。

この軸を最初に置くのは、切り方が成果を左右するためです。精度の数値目標を先に置く提案では、いつまでも本番へ出せません。ツール設定ではなく業務設計から入ってほしい場合は、最初の打ち合わせで「誤ったときに誰が困るか」を聞かれるかどうかで判断できます。支援先の選び方の全体像は導入支援会社の選び方の記事で扱っています。

最初の打ち合わせで誰が困るかを聞かれるかを確かめましょう。精度の話から入る相手は、この軸を満たしません。水準の切り方を、自社の業務名で説明し直せるかどうかも判断の材料になります。

判断軸②小さく始める形を示せるか

2つ目に挙げるのは、小さく始める形を示せるかという軸です。最初の3か月で何をどこまでやるかを、具体的に示せるかを見ます。

この軸が要るのは、範囲を絞る提案ができる会社が限られるためです。全業務の水準を一度に設計する提案のほうが、支援としては大きくなります。小さく始めたい場合は、1ユースケースからのスモールスタートを前提に、契約の前に次の3つを数字で示してもらいましょう。

契約の前に確かめる数字 ①振り分ける対象・・・何か月分の回答を分けるか ②確認の対象・・・全体の何割まで絞る想定か ③見直しの周期・・・何か月ごとに段階を見直すか

示せない提案は、範囲が定まっていません。3か月で終える見積もりを最初に出してもらうと、複数の提案を同じ条件で比べられます。

判断軸③自社で構築する前提に対応できるか

3つ目は「自社で構築する前提に対応できるか」という軸です。作るのは自社で、水準の設計だけを見てもらう形に応じられるかを見ます。

この軸を置くのは、体制によって必要な支援が違うためです。社内に情報システムの担当がいる会社では、構築まで任せる必要がありません。段階の切り方と例外の決め方だけを見てもらう契約は成立します。支援の形が固定されている相手では、この頼み方ができません。

この産業用バルブのメーカーでは、社内に情報システムの担当が1名いたため、構築まで任せる必要はないと整理していました。外部に頼むとしたら、段階の切り方と例外の決め方の確認だけになります。

設計だけを見てもらう形に応じるかを確かめましょう。形が固定されている相手は合いません。

判断軸④営業の商談を理解しているか

4つ目は「営業の商談を理解しているか」という軸です。扱っている商材と商談の進み方を、支援先が把握しているかを見ます。

この軸が効くのは、実害の大きさが商材によって変わるためです。同じ金額の誤りでも、1件が数千万円の設備と、月々の消耗品とでは、影響の大きさが同じにはなりません。ソリューション営業に特化した支援がほしい場合は、商談の単価や期間を聞かれるかどうかが目安になります。当社のAgentforce導入・定着支援では無料相談も受け付けています。詳しくはAgentforce導入・定着支援をご覧ください。

初回の面談で、商談の単価と期間を聞かれるかを見ましょう。聞かない相手は、実害の大きさを見積もれません。案件の規模ごとに確認の重さを変える提案ができるかどうかも、判断の材料になります。

【一問一答】誤答の許容水準に関するよくある質問

ここまで、水準を決めていない状態から、全件の確認で代えられない理由、3つの段階と4つの材料、AIに任せる線引き、着手の手順と指標、そして支援先の選び方までを整理してきました。最後に、実際の検討でよく出る質問をまとめます。精度の目安から見直しの周期まで5つを取り上げ、いずれもこの記事で挙げた産業用バルブのメーカーの数字に沿って答えています。従業員が100名台で、AIエージェントの回答が月に数百件ある会社を想定した内容です。判断に迷う場面の目安として使ってください。

質問①許容水準はどのくらいの精度を目安にしますか？

精度の数値では決めません。誤ったときに誰が困るか、取り消せるかで段階を分け、段階ごとに確認の仕方を変えます。この記事の例では、誤りは月41件のまま変わらず、実害だけが月6件から0件になりました。

質問②許容水準を決めても誤りは減りませんか？

件数としては減りません。水準の設計は、誤りを外へ出さないための仕組みです。誤りの件数を減らしたい場合は、参照する記録を直すか、質問の形を整える別の作業になります。この記事の例では、同じ原因の28件を記録の修正で減らしています。

質問③許容水準の段階は3つで足りますか？

多くの会社では足ります。この記事の例に挙げた産業用バルブのメーカーでも、月520件が368件・48件・104件の3段階に収まりました。段階を増やすと振り分けの判断が重くなり、運用が続きにくくなります。段階を増やすと振り分けの判断が重くなり、運用が続きにくくなります。

質問④許容水準の設計は誰が担当しますか？

営業企画や営業推進の担当が向いています。誤ったときに誰が困るかを判断する作業に、業務の知識が要るためです。この記事の例では1名が5週間・計25時間で進めました。

質問⑤許容水準はどのくらいで見直しますか？

四半期に一度を目安にします。あわせて、誤りが出るたびに段階を記録しておけば、想定と違う使われ方をしている業務は随時見つかります。この記事の例では、3か月で2つの業務の段階を上げました。

Agentforceの誤答の許容水準は、実害の大きさから逆算すると決まる

ここまで、水準を決めていない状態から支援先の選び方までを整理してきました。AIの誤答に困っているとき、対策として選ばれるのは全件の確認と、使い方を制限するルールです。どちらも誤りの発生を減らしません。全件の確認は、削減した時間を確認の時間で食い尽くし、忙しい日には省かれます。制限のルールは、任せられる業務を減らしていきます。

先に決めるのは、誤ったときの実害の大きさです。社内で止まる回答、社内をまたぐ回答、社外へ出る回答。この3つに分ければ、確認の対象は全体の2割ほどに絞れます。段階①は確認せずに使い、段階②は根拠を添え、段階③だけを人が読む。金額と法令の解釈と、戻せない処理は、段階にかかわらず例外として人が確かめます。

この記事の例では、回答の件数も誤りの件数も1つも減らさず、実害だけが月6件から0件になりました。確認の対象は520件から104件へ、確認にかけた時間は月26時間から月7時間です。まず1か月分の回答を3つの段階に振り分けるところから、着手できます。