Agentforceは日本語で使えるのか｜応答の精度を確かめる評価と運用の設計

Agentforceの導入を検討する段階で、多くの担当者が最初に確かめるのが日本語で使えるかどうかです。ところが対応言語の一覧を見て問題ないと判断したあと、実際に社内の問い合わせを流してみると答えが噛み合わない、という声は少なくありません。Agentforceにおける日本語対応とは、日本語の入力と出力を扱える範囲を指す言葉であり、返ってきた答えが業務に合っているかどうかは、それとは別に確かめる必要があります。原因にあたるのは言語の精度よりも、日本語で答えの良し悪しを判定する仕組みを社内に持っていないことのほうです。Agentforceの全体像を押さえたうえで、日本語という条件をどう確かめるかが検討の分かれ目になるのではないでしょうか。

そこで本記事では、日本語で使えるかを確かめないまま進めたときに何が起きるかから、応答を評価する観点、評価に使う材料、用語の揺れをそろえる単位、そして1業務から始める手順までを解説します。特定の製品の設定手順ではなく、日本語で運用するための設計として整理していますので、自社の状況に合わせて参考にしてください。なお、対応言語や評価に使う機能の提供状況は変わりやすいため、本記事は2026年9月時点で確認できた情報にもとづいています。

この記事を書いた人

本田正憲

合同会社クロスコムの代表｜専門商社にて7年間のBtoB営業を経て、マーケティング業界に参入。現在はSalesforce公式コンサルティングパートナーとして、ソリューション営業の業務プロセスに特化したAgentforce導入・定着支援と、Agentic CRM設計支援を提供している。Salesforce認定アドミニストレーター・Sales Cloudコンサルタント・Marketing Cloud Account Engagement スペシャリスト。

Agentforceの日本語を確かめずに進めて止まる3場面

産業用ポンプの製造と販売を手がける企業では、従業員210名のうち営業が18名、情報システムの担当が2名という体制でSalesforceを使ってきました。この企業は説明のための架空の設定であり、実在の企業ではありません。代理店から届く技術的な問い合わせの一次回答をAIエージェントに任せる計画を立て、当初の目的は「代理店からの一次回答を、担当者の手を借りずに返せる状態にすること」でした。英語のデモでは問題なく動いていたにもかかわらず、日本語の問い合わせを流すと答えが噛み合わず、計画は3か月ほど止まったままになっています。そこでここでは、この会社を例に、日本語で使えるかを確かめないまま進めて止まる3つの場面を整理します。

場面①社内で試すと動くのに、顧客へ出す段になって止まる

社内の担当者が試すときは、質問の書き方が自然と整います。製品の正式名称を使い、聞きたいことを1文で書くため、エージェントは意図を取り違えません。ところが代理店から届く文面は、複数の質問が1通に混ざり、型番の一部が省略され、社内でしか通じない略語が入ります。同じ仕組みでも入力が変われば答えも変わるため、社内での確認は「動く」ことの証明にはなっても、「顧客へ出せる」ことの証明にはならないというわけです。

この産業用ポンプの会社でも、情報システムの担当2名で試した限りでは問題が出ませんでした。ところが代理店から届いた実際の文面を10通ほど流したところ、そのうち6通で見当違いの型番を案内していたのです。担当者は原因を日本語の精度だと考えましたが、実際には質問の書かれ方が社内と社外で違っていたことが効いていました。社内で試すときの質問文は、書いている本人が仕組みの前提を知っているぶん、無意識のうちに整った形になっているためです。

場面②「日本語対応」を確認したのに、現場から「答えが噛み合わない」と返る

対応言語の一覧に日本語が含まれていることを確認すると、多くの担当者はそこで判断を終えます。しかし一覧が示しているのは入力と出力の言語であって、答えの中身が業務に合っているかどうかではありません。読み取りも生成も日本語で行われているのに、返ってきた内容が業務の実態とずれているという状態は、この段階でよく起こります。

たとえば、この産業用ポンプの会社では、代理店から「口径50のスペック」という問い合わせが届いていました。社内では口径をサイズ、仕様書をスペックと呼ぶ習慣があり、エージェントが参照する文書では正式名称しか使われていません。言語としては正しく読めているのに、探しにいく先が見つからないという形で噛み合わなかったのです。同じことは、部署ごとに呼び方が違う会社であれば規模を問わず起こりうると考えます。

場面③直す担当を決めておらず、指摘が溜まったまま運用が止まる

答えが噛み合わないという指摘は、たいてい営業や代理店の窓口から上がりますが、誰がその指摘を受け取って何を直すのかを決めていないと、指摘は担当者の受信箱に溜まるだけで終わります。溜まった状態が2か月も続くと、現場は使うのをやめ、計画そのものが止まってしまいます。

この会社でも指摘を受け取る窓口を決めておらず、営業から情報システムへ個別に届いた指摘は12件ありましたが、どれも「あとで見る」まま処理されていません。止まった理由は精度ではなく、直す手順を決めていなかったことにあります。

この3つの場面に共通しているのは、日本語で答えの良し悪しを判定する基準を持たないまま、社内での試用だけで先へ進めてしまったという点です。基準がなければ、噛み合わないという指摘が上がったときに、原因が文書にあるのか用語にあるのか書き方にあるのかを切り分けられません。切り分けられないまま指摘だけが積み上がると、担当者は何から直せばよいのか分からなくなり、結果として計画そのものが止まってしまうというわけです。

対応済みで十分？日本語の一言で判断できない理由3つ

ここまで挙げた3つの場面はどれも、日本語で使えるかどうかを一覧の確認だけで済ませたことから起きています。判断の材料が足りないまま進めたことが共通しており、精度が低かったわけではありません。そこでここでは、「日本語対応」の一言で判断できない3つの理由を整理します。

理由①対応しているのは入出力の言語であって、答えの中身ではないから

対応言語の一覧が保証しているのは、その言語で入力を受け取り、その言語で出力を返せるという範囲です。答えの中身が正しいかどうかは、参照する文書と、そこから答えを組み立てる設計の側で決まります。日本語への対応と回答の妥当性は別の層にあり、対応言語を確認しても、返ってきた答えが業務に合っているかどうかは確かめられません。Salesforceが2025年9月30日に公開した多言語対応の記事でも、最初に扱えるようにした言語として日本語が挙げられていますが、そこで示されているのは扱える言語の範囲であって、回答の質ではありません。

※参考記事はこちら

この区別を飛ばすと、精度が出ない原因を言語の問題として扱ってしまいます。実際には文書の書き方や検索の設計に原因があることが多く、そちらへ手を入れない限り改善しません。回答の根拠をどう組み立てるかはAgentforce RAGの仕組みの側の話であり、言語の一覧とは別に確かめる必要があります。つまり対応言語の確認は検討の出発点であって、そこで判断を終えてよい材料ではないということになります。

理由②社内で使う言い方が、公式の用語と一致していないから

どの会社にも、社内でしか通じない呼び方があります。製品の略称、業務の言い回し、部署ごとの言い換えが混ざり、同じものを指す語が3通りも4通りも存在するのは珍しくありません。エージェントが参照する文書が正式名称で書かれている一方、届く質問が社内の言い方で書かれていれば、両者は文字として一致しないままです。

この産業用ポンプの会社でも、代理店へ配っている製品カタログは正式名称だけで作られていた一方、代理店の担当者が書く問い合わせには通称と省略形が入り混じっていました。文書を用意する側と質問を書く側で語がそろっていなければ、読み取りそのものが正しくても、参照すべき記述へはたどり着けません。

この不一致は日本語だから起こるわけではありませんが、日本語では敬語と表記の揺れが加わるぶん組み合わせが増えます。「見積」「御見積」「お見積り」のように、同じ業務を指す語が送り仮名の違いだけで分かれていく状態になりがちです。用語の側を放置したまま指示文だけを足しても、揺れの数だけ例外を書き続けることになってしまいます。

理由③評価の基準を決めていないと、良し悪しが担当者の感想になるから

日本語の答えは読んだ人によって印象が変わり、ある担当者は丁寧すぎると感じ、別の担当者は説明が足りないと感じる、という形で判断が分かれます。基準を決めずに確認を始めると、直す優先順位が決まらず、指摘だけが増えていくことになります。

だからこそ、何をもって合格とするかを先に決める必要があり、基準があれば不合格の件数を数えられ、数えられれば直す順番も決められます。感想を集める作業と、基準に照らして数える作業は別物であり、後者に切り替えられるかどうかが運用に乗るかどうかを分けます。

効果を数字で示せない状態が続くと、投資の判断そのものが止まります。Gartnerが2025年8月から9月にかけて最高営業責任者（CSO）227名を対象に実施し、2026年5月19日に公表した調査では、31%が「AI駆動ツールのROIを示すことの難しさ」を2026年の営業目標を達成するうえでの課題として挙げていました。日本語で使えるかどうかを判定する基準を持たないことは、この「示せない」状態を業務の側から作り出してしまうことにつながります。

※参考記事はこちら

Agentforceの日本語応答を評価する4つの観点

3つの理由を踏まえると、日本語の答えは何を見て良し悪しを決めればよいのでしょうか。読みやすさのような曖昧な基準ではなく、業務として使えるかどうかで切ると、観点は4つに収まります。そこでここでは、日本語の応答を評価する4つの観点を整理します。

観点①聞かれた内容を取り違えていないか

最初に見るのは、質問の意図を正しく受け取れているかどうかです。日本語の問い合わせは1通に複数の質問が入りやすく、主語が省略されることも多いため、どの質問に答えたのかが曖昧になりがちです。答えの内容が正しくても、聞かれていないことに答えていれば業務としては不合格になります。

判定は単純で、届いた質問文と返した答えを並べ、質問の数だけ答えが対応しているかを見ます。この産業用ポンプの会社では、1通に平均2.3個の質問が入っていました。1つ目にだけ答えて残りを落とす形が最も多く、代理店から再度の問い合わせが来る原因になっていたのです。再度の問い合わせが来るということは、一次回答を任せた効果がその分だけ相殺されているということでもあります。

観点②根拠にした文書が正しいか

次に見るのは、答えの根拠として引いた文書が適切かどうかです。日本語では表記の揺れが多いため、似た名前の別の文書を引いてしまうことがあります。内容が正しく読めていても、参照した文書が旧版であれば、答えは誤りになります。

この産業用ポンプの会社では、代理店へ返した回答が古い仕様書を根拠にしていたことに、代理店から指摘を受けて初めて気づいたという場面がありました。返ってきた文面だけを読んでいるかぎり、どの文書のどの版を根拠にして組み立てられた答えなのかは分かりません。

確認するのは引いた文書の名前と版と日付の3つで、エージェントの回答に根拠を示させる設計にしておけば、この確認は目視で数秒で終わります。根拠を示さない設計にしていると、間違いに気づく手段が読み手の知識だけになってしまい、確認そのものが成り立ちません。確認を担当者の知識に頼る形にしてしまうと、詳しい人がいる時間帯にしか運用できないという制約が残ることになります。

観点③相手に出せる書き方になっているか

3つ目は、返ってきた文面がそのまま相手へ出せる形かどうかです。社内向けであれば箇条書きでも構いませんが、代理店や顧客へ出す文面では敬語の使い方や語尾の丁寧さが問われます。内容が正しくても、書き方が業務の慣習と合っていなければ、担当者が毎回書き直すことになります。

書き直しが発生している限り時間は減らないため、この観点を評価に入れておくと、精度の話と書き方の話を切り分けられます。書き方の問題であれば、指示文で文体を指定するだけで解決することも多く、参照する文書に手を入れる必要はないのです。原因の切り分けができていない状態で文書へ手を入れると、直さなくてよいものまで作業の対象に入れてしまうことになります。

観点④答えられないときに、答えられないと言えているか

4つ目は、根拠が見つからないときの振る舞いです。無理に答えを組み立てて返すのか、答えられない旨を返して人へつなぐのかで、業務への影響は大きく変わります。前者は誤った案内が代理店へ届く経路になり、後者は担当者の手が入る経路になります。

評価では答えられないと返した割合を数え、この割合がゼロに近い場合は、根拠のない答えを作っている可能性を疑う必要があります。逆に高すぎる場合は、参照する文書の範囲が狭すぎるということになり、どちらの方向でも設計を見直す材料になります。

4つの観点は、どれか1つだけを見ても判断になりません。意図を取り違えていないかだけを見れば書き方の問題を見落としますし、書き方だけを見れば根拠の誤りが残ったまま体裁だけが整うことになります。4つの観点それぞれで不合格の件数を出すからこそ、日本語の応答のどこから直すべきかという順番を決められるようになります。

評価に使う3種類の材料

ここまで整理した4つの観点が決まっても、判定する材料がなければ日本語の評価は始められません。材料は新しく作るものというより、すでに業務のなかにあるものを集めて取り分ける作業になります。そこでここでは、評価に使う3種類の材料を整理します。

材料①実際に届いた日本語の問い合わせ文

1つ目の材料は、実際に届いた問い合わせの文面です。想定で作った質問文を使うと、社内の言い回しに寄ってしまい、現場で起きている噛み合わなさを再現できません。届いた日本語の文面をそのまま評価に使うことが、日本語の応答の良し悪しを業務の実態に近い形で確かめる最短の方法になります。書き換えたり要約したりした時点で、その文面は現場から届いたものとは別の質問文に変わってしまいます。

集める量は、1か月分あれば型の偏りが見えてきます。この産業用ポンプの会社では、1か月で届いた代理店からの問い合わせが148通ありました。担当者はそこから重複を除いた112通を評価用に取り分けています。ツール設定ではなく業務設計から入ってほしい場合は、この材料集めを最初の作業として依頼できるかどうかが、支援会社を見る一つの目安になります。

材料②その問い合わせに対する「正しい答え」の見本

2つ目は、集めた問い合わせに対する正解の見本です。エージェントの答えを評価するには、比べる相手が要ります。見本は完璧な文章である必要はなく、担当者がふだん返している内容をそのまま書き起こせば足ります。

見本を作る過程で、社内でも答えが分かれる質問が見つかります。この会社では112通のうち9通で、担当者によって案内する型番が違っていました。エージェントの精度を論じる前に、人の側の答えが揃っていなかったという状態です。見本づくりは評価の準備であると同時に、業務の棚卸しにもなります。答えが分かれていた9通について社内で正を決めたことは、エージェントを使うかどうかに関係なく業務の改善として残った部分でした。

材料③答えの根拠になる社内文書

3つ目は、答えの根拠になる文書です。仕様書、価格表、過去の回答例といった文書がどこにあり、どれが最新かを確かめておきます。文書の置き場所と版の管理はデータライブラリの設計に直結する部分であり、ここが曖昧なままだと観点②の判定ができません。

版が分からない文書は、評価の対象から外すという判断も必要です。古い文書を根拠に正しく答えたとしても、業務としては誤りになるためです。文書を整えてから評価に進むほうが、結果として早く運用に届きます。

3種類の材料はいずれも、新しく作り起こす必要はなく、業務のなかにすでにあるものです。集める作業に時間がかかるように見えても、実際には問い合わせの保存先と文書の置き場所を確かめるだけで済むことが多く、この会社でも材料をそろえるまでにかかったのは2週間ほどでした。材料の側を整えないまま指示文の調整から入ってしまうと、何を直したのかが記録に残らず、同じ誤りが繰り返されることになります。

用語の揺れをそろえる3つの単位

材料がそろうと次に効いてくるのが用語の揺れで、日本語では同じものを指す語が複数あるため、そろえる範囲を決めないと作業が終わりません。そこでここでは、用語の揺れをそろえる3つの単位を整理します。

単位①製品・型番の呼び方

最初にそろえるのは、製品と型番の呼び方です。社内の通称と正式名称、型番の省略形と完全な表記が混在していると、検索が空振りします。ここは検索の設計側でも扱う論点で、日本語の検索が当たらない原因については検索が日本語で空振りする原因の側で詳しく整理しています。

そろえ方は、正式名称を1つ決め、通称をその別名として登録する形が現実的です。通称を禁止しても現場の言い方は変わらないため、両方を受け付ける状態を作るほうが運用として続きます。別名として登録する語は、届いた問い合わせのなかで実際に使われていたものに限るのが確実です。想像で足していくと、管理する語だけが増えていくことになりかねません。現場の言い方を変えさせる方向で進めた会社ほど、途中で使われなくなるという結果になりやすいと考えます。

単位②業務の言い方

2つ目は、業務そのものの言い方です。見積、御見積、お見積りのように送り仮名や接頭語の違いで表記が分かれますが、どれが正しいかを議論するより、どれで書かれていても同じ業務として扱えるようにするほうが早く終わります。表記の正誤を社内で決めにいく作業は関係する部署の合意が要るぶん時間がかかり、そのあいだ日本語の評価は止まったままになってしまいます。

この産業用ポンプの会社では、代理店から届く文面のなかで「納期」を指す語が5通りありました。納期、いつ届く、出荷予定、リードタイム、納入日という並びです。担当者はこの5つを1つの業務として束ね、評価の型も1つにまとめています。束ねる単位を業務で切ったことにより、後から届く新しい言い回しも同じ型のなかで受け止められる形になりました。

単位③敬語と語尾

3つ目は、敬語と語尾です。社外へ出す文面と社内で見る文面では、求められる丁寧さが違います。同じ答えでも、代理店へ出すなら敬語をそろえ、社内向けなら簡潔にする、という切り分けが要ります。

ここをそろえておくと、観点③の判定が機械的になります。文末の型を決めておけば、そろっているかどうかを目視で確認でき、書き直しの回数も減っていきます。文体の指定は指示文で扱える範囲なので、文書に手を入れる必要はありません。

用語の揺れをそろえる3つの単位のうち、最初に手を付けるべきなのは製品と型番の呼び方です。業務の言い方や敬語の揺れは書き方の問題として後から直せますが、呼び方の不一致は、参照すべき文書へたどり着けないという原因になるためです。優先順位を付けずにすべてを同時にそろえようとすると、用語の整理だけで数か月を使ってしまいます。

どこまで任せる？Agentforceの日本語判定の線引き3つ

先に挙げた3つの単位で用語がそろうと、評価そのものをどこまで機械に任せるかという問いが出てきます。すべてを人が読むと運用が続かず、すべてを機械に任せると誤りに気づけません。そこでここでは、日本語の判定をAIに任せる3つの線引きを整理します。

線引き①型が決まっている判定は任せる

用語の一致や書式の確認のように、正解が文字列として決まっている判定は機械に任せられます。指定した型番が答えに含まれているか、根拠の文書名が示されているか、文末が指定した型になっているか、といった項目です。これらは人が読んでも判断が分かれないため、任せても品質が落ちません。

任せる範囲を型の決まった判定に限ると、確認にかかる時間が大きく変わります。この産業用ポンプの会社では、112通の評価のうち、型で判定できる項目が全体の6割を占めていました。残りの4割に人の時間を集めることで、確認の作業は現実的な量に収まっています。任せる範囲を決めるという作業は、人の時間をどこへ寄せるかを決める作業と同じ意味を持つということになります。

線引き②意味の比較は任せるが、合否は人が決める

見本の答えとエージェントの答えが同じことを言っているかどうかは、文字列の一致では判定できません。表現が違っていても内容が同じ場合があり、逆に言葉が似ていても指している対象が違う場合もあります。意味の比較そのものは機械に任せ、その結果を見て合否を決めるのは人が担う、という分け方が現実的です。

この産業用ポンプの会社でも、見本と同じ型番を案内しているのに言い回しだけが違うという回答が出てきており、機械の判定だけでは合否を決めきれませんでした。そこで営業の担当者が読み、代理店へそのまま返せる内容になっているかどうかで線を引いています。

この分け方にしておくと判定の理由が残り、機械が「近い」と判断した根拠を人が確認するため、なぜ不合格にしたのかを後から説明できます。説明できる状態は、直す順番を決めるときにそのまま材料になります。

線引き③顧客へ出す文面の最終確認は人が持つ

代理店や顧客へ直接届く文面については、最終の確認を人が持ちます。誤った案内が外へ出たときの影響は、社内で止まる誤りとは比べものになりません。一任と承認の境界をどこに置くかは人が承認する場面の設計として整理できる部分です。

この会社では、代理店へ返す前に営業が目を通す形を残しました。当初は全件を確認していましたが、型で判定できる項目が合格したものは確認を省く運用へ変えています。顧客へ出す日本語の文面については、確認を省いてよい条件を先に決めておくことが、確認の量を減らす唯一の方法になるというわけです。

3つの線引きは、任せる範囲を広げるための順番でもあります。まず型の決まった判定を任せ、次に意味の比較を任せ、最後まで人が持つのは顧客へ出す文面の確認だけにするという形です。この順番を飛ばして最初から全部を任せてしまうと、誤りに気づく手段が失われ、結局は全件を人が読み直すところへ戻ることになります。

日本語の評価を1業務から始める4つのステップ

線引きが決まれば残るのは着手の順番だけですが、すべての業務を同時に評価しようとすると材料集めが終わらず、着手そのものが遅れます。そこでここでは、日本語の評価を1業務から始める4つのステップを整理します。

ステップ①1か月分の問い合わせ文を集めて型に分ける

最初にやるのは、1か月分の問い合わせを集めて型に分ける作業です。型は業務の呼び方で切ると分かりやすく、納期の照会、仕様の確認、価格の問い合わせ、といった単位になります。1通に複数の質問が入っている文面は、最も答えるのに手間がかかる質問がどの型にあたるかで振り分けると、後の集計が崩れません。型の数は増やすほど後の作業が細かくなるため、4つから5つに収めるのが現実的です。

小さく始めたい場合は、この段階で1つの型だけを対象にすると決めてしまうのが確実です。この産業用ポンプの会社では、112通を4つの型に分け、最も件数の多い納期の照会だけを最初の対象にしました。1つの型に絞ったことで、次のステップの見本づくりが2週間で終わっています。

ステップ②型ごとに「正しい答え」の見本を作る

次に選んだ型について正解の見本を作りますが、担当者が実際に返した文面をそのまま使い、社内で答えが分かれた質問については、どちらを正とするかをその場で決めます。この決定は評価のためだけでなく、業務の基準としても残ります。見本づくりを新しい作業として切り出さず、ふだん代理店へ返している文面をそのまま書き写す形にしておけば、担当者にかかる負担も増えません。

見本の数は、型あたり20通ほどあれば傾向が見えます。この会社では納期の照会52通のうち24通を見本として起こしました。作業を担当したのは営業企画ではなく、ふだん代理店へ返している営業2名です。答えを書いている本人が見本を作るほうが、実務に近い基準になり、社内で答えが分かれていた質問もその場で拾えます。

ステップ③発話と期待値を日本語で登録して回す

見本ができたら、質問と期待する答えを登録して評価を回します。登録も判定も日本語のまま扱える仕組みがあり、その具体的な使い方はテストセンターの側で整理しています。ここで大事なのは、英語で作った項目を翻訳して使わないことです。

翻訳した期待値は日本語で実際に届く文面とずれるため、届いた文面をそのまま使うという材料の原則を、この段階でも守る必要があります。期待値の側も同じで、担当者が代理店へ返した日本語の文面を書き写し、英語の見本を訳したもので置き換えることはしません。回す頻度は、直すたびに1回で足り、毎日回す必要はありません。この産業用ポンプの会社でも、文書を直したときと月末の2回だけ回す形にして、そのあいだは不合格になった回答を読む時間に充てています。

ステップ④不合格の件数を型ごとに数えて、直す順番を決める

最後は、不合格を数えて直す順番を決める作業です。観点ごとに件数を出すと、どこに原因が寄っているかが見えます。意図の取り違えが多いのか、根拠の文書が古いのか、書き方が合っていないのかで、打ち手はまったく違います。

この会社では、最初の評価で不合格が31件出ました。内訳は根拠の文書が18件、意図の取り違えが9件、書き方が4件です。文書の整備から着手すると決めたのは、この内訳を見た後でした。数える前に直し始めていれば、指示文の調整から手を付けていたはずです。

日本語の評価は、4つのステップを1つの型だけに絞って回せば、着手から運用までが数週間で届きます。小さく始めたい場合は、この「型を1つに絞る」という決め方が、そのまま最初の対象の選び方になります。1つの型を選んで評価まで通すという単位が、日本語の運用におけるスモールスタートの範囲にあたります。件数が多く、答えが定型になっている型から選ぶと、見本づくりにかかる時間も短く済むでしょう。

日本語の運用でつまずく3つの落とし穴

前章で整理した4つのステップを順番どおりに進めれば、日本語の評価は運用として動き始めます。ところが途中で元のやり方へ戻ってしまう会社もあり、戻り方には共通した型があるものです。そこでここでは、日本語の運用でつまずく3つの落とし穴を整理します。

落とし穴①英語で作った期待値をそのまま訳して使う

1つ目は、英語で用意された評価の項目をそのまま翻訳して使ってしまう形です。訳した文面は文法として正しくても、実際に届く問い合わせの書き方とは違います。評価は通るのに現場では噛み合わない、という状態がここから生まれます。代理店が書く問い合わせには主語の省略や社内でしか通じない略語が入るのに対し、訳した項目はどれも主語のそろった整った文になってしまうためです。

避け方は単純で、材料①の原則に戻ることです。届いた文面をそのまま使う限り、この落とし穴には入りません。翻訳を使ってよいのは、社内でまだ運用が始まっていない業務について、当たりを付ける場合に限られます。その場合でも、実際の問い合わせが集まった時点で作り直すという前提を、着手のときに決めておく必要があります。

落とし穴②評価の担当を作った本人1名にする

2つ目は、評価の担当を設計した本人1名に任せてしまう形です。設計した本人が判定すると、前提の置き方までは疑われません。意図の取り違えを見落とす方向に偏りやすく、不合格の件数が実態より少なく出ます。

この会社では、評価の判定に営業から1名を加えました。情報システムの担当が設計し、営業が判定するという形にしたことで、社内向けの言い回しで合格にしてしまう判断が減っており、2名を確保できるかどうかは、日本語の評価を先に作るべきかどうかの判断にも関わってきます。判定に加わる担当者は評価の専門知識を持っている必要はなく、ふだん代理店へ返している業務を知っていれば足ります。判定を2名に分けておくと、どちらの立場から不合格にしたのかが記録として残るのではないでしょうか。

落とし穴③文書を直さずに指示文だけを足していく

3つ目は、参照する文書を直さないまま、指示文に例外を書き足していく形です。目の前の不合格は消えますが、例外の数だけ指示文が長くなり、後から読んでも何を意図した記述なのかが分からなくなります。

指示文で直してよいのは書き方や文体のように文書と関係のない項目で、根拠の誤りや用語の揺れは、参照する文書の側を直さない限り再発します。どちらの原因にあたるのかを分けるために、観点ごとに件数を数える手順が要るというわけです。

3つの落とし穴は、どれも良かれと思って選んだ手から生まれます。翻訳した項目を使うのは早く始めるためですし、担当を1名にするのは負担を増やさないためです。それでも結果として運用が止まるのは、確かめる仕組みが評価の外側に置かれてしまうからだと考えます。

日本語の評価がフェーズごとに示すもの

3つの落とし穴を踏まえて運用が始まったあと、次に必要になるのは効果の説明です。ただし見る数字は時期によって変わり、同じ指標を追い続けても判断の材料になりません。そこでここでは、日本語の評価がフェーズごとに示すものを整理します。

段階①試す時期｜型ごとの不合格の件数

最初の時期に見るのは、型ごとの不合格の件数です。この段階では合格率の高さを目指す必要はなく、どこが噛み合っていないかが分かれば足り、件数の内訳が観点ごとに分かれていれば、次に何へ着手するかを決められます。合格率という1つの数字にまとめてしまうと、意図の取り違えと根拠の誤りが同じ1件として並んでしまい、どちらを先に直すべきかが読み取れなくなります。

当初の目的は「代理店からの一次回答を、担当者の手を借りずに返せる状態にすること」でしたが、最初の評価では31件が不合格でした。この時点で目的に届いていないことは明らかで、内訳を見て文書の整備から着手すると決めています。不合格の件数は少ないほどよいというものでもなく、この時期に多く出るのは、評価が現場の文面をきちんと拾えているという合図でもあります。

段階②広げる時期｜人が手直しした回数

対象の型を広げる時期に見るのは、人が手直しした回数です。合格と判定されても、実際に返す前に担当者が書き直しているなら、業務としての時間は減っていません。人が手直しした回数は、評価の合格率よりも、担当者が実際に文面へ費やしている時間に近い数字になります。広げる時期には対象の型が増えるため、型ごとに回数を分けて数えておくと、どの型で書き方の指定が効いていないかまで見えてきます。

この会社では、納期の照会について手直しの回数が月に41回から9回へ変わりました。書き方の指定を指示文へ入れたことが効いており、参照する文書には手を入れていません。原因の切り分けができていれば、打ち手は小さく済みます。逆に手直しが減らないまま合格率だけが上がっているなら、評価の基準が現場の求める水準より緩いということになります。

段階③続ける時期｜直してから再発するまでの期間

運用が続く時期に見るのは、一度直した誤りが再び出るまでの期間です。すぐに再発するなら、直したのは症状であって原因ではありません。期間が延びていくなら、文書と用語の側が整ってきているということになります。

この産業用ポンプの会社では、文書の版を管理する担当を決めた後、同じ型の誤りが再発するまでの期間が2週間から3か月へ延びました。再発の間隔は、仕組みとして残ったかどうかを示す数字として使えます。

3つの段階は、そのまま経営や上長へ説明する順番にもなります。試す時期には何が噛み合っていないかを示し、広げる時期には手直しが減ったことを示し、続ける時期には再発の間隔が延びたことを示す、という組み立てです。同じ指標を最初から最後まで追い続けると、時期ごとに何が進んだのかを説明できなくなってしまいます。

いつ人が見る？日本語を確かめる3場面

先に示した3つの段階の指標が動き始めても、機械に任せてよい範囲は無条件には広がりません。日本語では書き方そのものが判断に含まれる場面があり、そこは人が持ち続けることになります。そこでここでは、人が日本語を確かめるべき3つの場面を整理します。

場面①顧客名や金額が入る文面

顧客名や金額が入る文面は、人が確認します。誤りが外へ出たときの影響が大きく、内容の正しさだけでなく、宛先と数字の組み合わせが正しいかまで見る必要があるためです。ここは合格率が高くても省けません。型としての合格率と、1件あたりの誤りが生む損害の大きさは別の基準にあたり、後者が大きい型については、合格率の高さを理由に確認を外すことはできません。

この会社では、価格に関する問い合わせを機械の対象から外しました。型としては最も件数が少なく、月に7件です。外したことで確認の負担は増えず、誤りが外へ出る経路だけを閉じられています。対象から外す型を決めるときは、件数の多さより、誤って外へ出たあとに取り消せるかどうかで線を引くほうが判断がぶれません。

場面②謝罪・交渉など、含みのある言い方が要る文面

謝罪や交渉が絡む文面も、人が持ちます。求められるのは正確さだけではなく、相手との関係を踏まえた言い方だからです。同じ内容でも、書き方によって受け取られ方が変わる領域は、機械の判定になじみません。見本を用意しようとしても、相手や経緯によって正解が変わるため、比べる相手そのものを決められないという事情もあります。

面談の後に見込み顧客へ送る要約メールのような文面も、この範囲に近い性質があります。要約の本文は機械でも作れますが、次の打ち合わせをどう提案するか、前回の宿題にどこまで触れるかは、相手との関係を知っている担当者が決める部分です。この産業用ポンプの会社でも、代理店との条件交渉に触れる回答は、評価の対象に入れる前の段階で機械の担当から外しています。

場面③根拠の文書が更新された直後

参照する文書が更新された直後は、版が切り替わったタイミングで古い記述と新しい記述が混在していることがあり、機械はどちらも同じ確からしさで引いてくるため、人が確かめます。更新の直後だけ確認を厚くする運用にしておくと、この期間の誤りを防げます。

確認の対象は更新した文書を根拠にした回答に限られ、全件を見直す必要はなく、対象を絞れば数日で終わります。文書の更新と評価の実行を同じ手順に組み込んでおくことが、続けるための条件になります。

人が持つ範囲を決めておくことは、任せる範囲を広げるための前提でもあります。どこまでを人が見るのかが曖昧なままだと、担当者は不安から全件を確認するようになり、機械へ任せた意味がなくなってしまいます。外す条件を明文化しておけば、確認の対象は件数として管理できるようになるでしょう。

日本語の評価を先に作るべき企業の3つの条件

ここまでの手順はどの会社でも同じ順番で進められますが、着手の優先度は会社によって変わり、先に作らないと止まる会社と、後回しでよい会社に分かれます。そこでここでは、日本語の評価を先に作るべき企業の3つの条件を整理します。

条件①顧客へ出す文面をAIに作らせる予定がある

1つ目は、顧客や取引先へ出す文面をAIに作らせる計画がある場合です。社外へ出る文面は誤りが外部へ届くため書き方まで含めた評価が要り、その仕組みを持たないまま社外向けの用途へ広げると、確認の負担が担当者へ集中してしまいます。社内向けであれば読み手が補える誤りも、社外へ出た時点では取り消しがきかず、担当者は結局すべての回答に目を通す運用へ戻ることになります。

この産業用ポンプの会社は、まさにこの条件に当てはまりました。代理店への一次回答という用途は社外向けであり、確認を省ける条件を決めない限り時間は減りません。評価の設計を先に置いたことで、確認の対象を月に7件まで絞り込めています。社外へ出す文面を扱う計画があるかどうかは、日本語の評価に着手する時期を決める最初の分かれ目にあたります。

条件②社内の呼び方と正式名称が食い違っている

2つ目は、社内の通称と正式名称が食い違っている場合です。食い違いがあるほど検索は空振りし、答えが噛み合わない原因が用語の側に寄るため、用語の整理は評価と同時に進めるのが効率的で、評価の不合格が整理すべき語を教えてくれます。先に用語集を完成させてから評価に入ろうとすると、どの語が実際に噛み合わなさを生んでいるのか分からないまま、作業量だけが増えてしまいます。

食い違いの有無は、簡単に確かめられます。届いた問い合わせを20通ほど読み、社内の呼び方が何通り出てくるかを数えるだけです。3通り以上出るようであれば、先に評価の仕組みを置いたほうが早く進みます。数える対象は届いた文面であって、社内の用語集ではないという点だけは取り違えないようにしてください。

条件③問い合わせの文面が定型でなく、書き手ごとに揺れる

3つ目は、届く文面が定型になっていない場合です。フォームで受け取っていれば項目が揃いますが、メールや電話のメモから起こしている場合は、書き手ごとに書き方が変わります。揺れが大きいほど想定で作った質問文と実際の文面の差が開き、フォームで受け取っている場合でも、自由記述の欄に本題が書かれているのであれば、揺れは項目の有無とは関係なく残ります。

揺れの大きさは、材料①を集める段階で分かります。集めた文面を並べて、同じ内容を尋ねる問い合わせがどれだけ違う書き方をされているかを見れば足ります。この会社では納期を尋ねる語が5通りあり、揺れは大きいほうでした。同じことを尋ねる書き方が何通りにも分かれているようなら、想定で作った質問文は評価の材料として役に立ちません。

3つの条件のうちどれか1つでも当てはまるなら、日本語の評価は運用を広げる前に置いたほうが早く進みます。顧客へ出す文面を扱い、社内の呼び方が正式名称と食い違い、届く文面が定型になっていない会社ほど、日本語の評価を先に作る必要が高くなります。逆に3つとも当てはまらない場合は、次の章で挙げる状態に近いと考えてよいはずです。

日本語の評価を急がなくてよい企業の3つの条件

一方で、評価の仕組みを先に作らなくても進められる会社もあります。急いで作ると、対象が決まらないまま材料だけが増えることになりかねません。そこでここでは、日本語の評価を急がなくてよい企業の3つの条件を整理します。

条件①当面は社内向けの照会だけに使う

社内向けの照会に限って使う場合、誤りが外へ出る経路がありません。読み手が社内の担当者であれば答えが不十分でも本人が補えるため、この段階では評価の仕組みより先に、参照する文書を整えるほうが効きます。文書の記述が古いまま残っていると、評価をいくら整えたところで、不合格の理由がすべて文書の側へ戻ってくるだけになってしまいます。

社内向けの用途は、社外向けへ広げる前の練習の場にもなります。この産業用ポンプの会社でも、代理店向けに広げる前の1か月は、営業からの社内照会だけでエージェントを動かしていました。どの型の質問が多いのか、どの文書がよく参照されるのかが分かってから評価を設計するほうが、型の切り方を間違えにくくなるでしょう。

条件②扱う文書が1つの部署に閉じていて、呼び方が統一されている

扱う文書が1つの部署のなかで完結し、呼び方も統一されている場合、用語の揺れはほとんど起きません。検索が空振りする原因が減るため、評価で見つかる不合格の件数も少なくなります。この状態であれば、評価は運用が始まってから足しても間に合います。同じ部署の担当者どうしであれば、正式名称と通称のどちらで書いても互いに何を指しているかが伝わるため、参照する文書の側も1つの呼び方でそろっていることがほとんどです。

ただし部署をまたいで使う計画があるなら、その時点で条件は変わり、部署が増えると呼び方も増えるため、広げる前に評価を置くという順番になります。部署を増やすタイミングは事前に分かることが多いので、広げると決めた時点で材料集めから着手しておけば、評価の設計は運用に間に合います。

条件③まだ対象の業務を1つに絞れていない

対象の業務が決まっていない段階では、評価を作っても比べる相手が定まりません。材料①で集める問い合わせの範囲が決まらず、見本も作れないためです。何を正しい答えとするかを決められないまま評価の型だけを用意しても、合否の判定そのものが成り立ちません。この場合は、業務を1つに絞る作業が先になります。

絞り方は、件数の多さと、答えが定型になっているかどうかで決めます。件数が多くても答えが毎回違う業務は、最初の対象には向きません。順番を逆にすると、材料集めだけで数か月を使ってしまいます。まずは1つの型で運用に乗せ、そこで得た型の切り方をほかの業務へ広げていくという順番のほうが、結果として全体に届くまでの期間は短くなるでしょう。

3つの条件に当てはまる場合でも、日本語の評価を作らなくてよいという意味にはなりません。社内向けの照会から始め、対象の業務が1つに絞れた時点で材料を集めておけば、社外へ広げるときには判断の材料がそろっている状態になります。急がなくてよいという判断と、作らなくてよいという判断は別のものです。

Agentforceの日本語評価の費用3内訳

ここまでに挙げた条件が当てはまるとなると、次に出てくるのは費用の話です。評価の仕組みは、機能の利用料だけでは見積もれません。そこでここでは、日本語の評価にかかる費用の3つの内訳を整理します。

内訳①ライセンス

1つ目はライセンスです。評価に使う機能が契約に含まれているかどうかで追加の費用が要るかが決まり、含まれる範囲は提供時期によって変わるため、契約の前に確認しておく必要があります。評価の機能が標準で使える契約と、追加の申し込みが要る契約とでは、着手できるまでにかかる時間も変わってきます。

料金の考え方そのものはライセンス費用の内訳の側で整理しています。日本語だから追加でかかるという性質のものではなく、評価の機能を使うかどうかで変わる部分だと捉えるほうが正確です。契約の範囲を確かめるときは、評価に使う機能が含まれるかどうかと、実行のたびに発生する消費の扱いを分けて聞くと話が早く進みます。この2つを1つの質問にまとめて聞いてしまうと、機能は使えるという答えだけが返り、消費の扱いが決まらないまま契約に進むことになりかねません。

内訳②評価の実行で消費するクレジット

2つ目は、評価を実行するたびに消費される分です。エージェントを動かして答えを作らせる以上、評価の実行にも通常の利用と同じ消費が発生します。回数を増やすほど消費も増えるため、毎日回す設計にすると見積もりが崩れます。

現実的なのは、直したときに1回、月次で1回という頻度です。この産業用ポンプの会社では、月に2回の実行で運用しています。回数を決めておけば、消費の見込みも先に置けるというわけです。

Agentforceではクレジットの消費が評価の実行1回ごとに発生し、本番の組織だけでなくサンドボックスで回した分も対象になるため、試した回数まで見込みに入れておく必要があります。消費の考え方そのものは通常の利用と変わらず、日本語だから多く消費するという性質のものではありません。

※参考記事はこちら

内訳③期待値づくりと見直しにかかる社内の工数

3つ目は、社内の工数です。見本を作る作業と、不合格を読んで直す作業には人の時間がかかりますが、ここは見積書の金額には現れず、実際にはいちばん大きい内訳になります。見本を作れるのは、ふだんその業務で代理店へ回答している担当者に限られるため、社内の工数はほかの人へ振り替えにくいという性質もあります。

この会社では、見本24通を作るのに営業2名で2週間、その後の見直しに月あたり4時間ほどを充てています。工数を先に見込んでおかないと、着手した後に「時間が取れない」という理由で止まることになりかねません。見積もりの段階で社内の工数を欄として立てておけば、稟議の場でも「誰の時間が何時間使われるか」を説明できるようになります。

3つの内訳のうち、見積書に金額として載るのはライセンスとクレジットの2つだけです。着手した後に止まる理由として多いのは見積書に現れない社内の工数のほうであり、ここを先に欄として立てられるかどうかが、日本語の評価を実行に移せるかどうかを分けます。稟議へ出す前に、誰の時間が何時間使われるのかまで書き出しておく必要があります。

日本語の評価設計に外部支援を使う4つの判断軸

ここまでの内容は、情報システムの担当が1名いれば自社でも進められる範囲です。とはいえ型の切り方や見本の作り方で迷う場面はあり、外部の支援を検討する会社もあります。そこでここでは、日本語の評価設計に外部支援を使う4つの判断軸を整理します。

判断軸①評価の型を業務から起こせるか

1つ目は、評価の型を業務から起こせる相手かどうかです。汎用の評価項目を持ち込むだけでは、届く文面との差が埋まりません。どの業種でも使える質問集は、社内でしか通じない略語や、1通に複数の質問が入るという日本語の書き方を想定していないためです。最初の打ち合わせで、実際の問い合わせを見せてほしいと言われるかどうかで、この差はだいたい分かります。

ツール設定ではなく業務設計から入ってほしい場合は、この点が判断の中心になります。設定の話から始まる提案は、評価の型を業務から起こす工程を飛ばしていることが多いためです。逆に、最初の打ち合わせで問い合わせの原文と、ふだん代理店へ返している回答の両方を求めてくる相手であれば、その工程を手順として持っていると判断できます。

判断軸②日本語の期待値づくりまで一緒にやるか

2つ目は、期待値づくりまで踏み込むかどうかです。仕組みを用意するところまでで終わる支援もありますが、見本の作成は業務の判断そのものであり、社内だけでは決めきれない場面が出てくることになります。担当者によって案内する内容が分かれていた質問について、どちらを正とするかを一緒に決められる相手かどうかが、ここでの分かれ目にあたります。

ソリューション営業に特化した支援がほしい場合は、顧客へ出す文面の言い回しまで一緒に見てもらえるかどうかが効いてきます。提案の場で使う言葉づかいや、条件を保留するときの書き方は業種によって違うため、営業の現場を知らない相手には見本の良し悪しまで判定できません。期待値づくりを社内の宿題として渡してくるだけの支援では、結局その段階で作業が止まってしまいます。

判断軸③運用に乗せた後の見直しまで見るか

3つ目は、運用が始まった後の見直しを含むかどうかです。日本語の評価は1回作れば終わるものではありません。参照する文書が更新されるたびに、期待値と実際の回答がずれていないかを確かめ直す必要があります。定着まで伴走してほしい場合は、この見直しの回し方まで契約の範囲に入っているかを確かめておくとよいでしょう。

見直しの範囲を契約に入れていないと、支援が終わった時点で評価は最後に回した状態のまま止まります。文書が数回更新されたあとには、評価に通ったという結果が、業務での正しさを示さなくなってしまいます。見直しを誰が回すのか、どの頻度で回すのか、文書の更新をどこから知らせてもらうのかまでを、契約の前に決めておく形が現実的です。

判断軸④自社の担当が引き取れる形で残すか

4つ目は、支援が終わった後に自社で回せる形になるかどうかです。評価の型と見本が自社の言葉で残っていれば、担当が代わっても続けられます。逆に支援会社の独自の様式でしか読めない形だと、契約が終わった時点で運用も止まります。支援会社の選び方の全体像は導入支援会社の選び方で整理していますので、あわせて確認してください。

4つの判断軸は、提案を受け取ってから確かめるというより、最初の打ち合わせの時点で見えるものです。実際の問い合わせを見せてほしいと言われるか、見本づくりを誰が担うのかを整理してくるか、見直しの回し方まで話に出るか、そして支援が終わった後の形をどう残すかを説明するか。この4つが揃っている相手であれば、評価の設計を任せても自社に残る形になると考えます。

なお当社では、ソリューション営業の業務プロセスに特化したAgentforce導入・定着支援を提供しており、日本語での評価の設計についても無料相談を受け付けています。1ユースケース×3ヶ月のスモールスタートから対応していますので、自社だけで型を切れるかどうかで迷っている段階でもご相談ください。

【一問一答】Agentforceの日本語運用に関するよくある質問

ここまで、日本語で使えるかを確かめる観点から、材料、用語、線引き、手順、費用までを整理してきました。実際に検討を進める段階では、対応言語の扱いや評価の担当といった細かい点で迷う場面が出てきます。そこでここでは、検討の場でよく出る質問に順に答えていきます。

Agentforceが日本語で使えるかは、対応言語より評価の仕組みで決まる

Agentforceを日本語で使えるかどうかは、対応言語の一覧では判断できません。判断できるのは、日本語で答えの良し悪しを判定する仕組みを持てるかどうかです。当初の目的は「代理店からの一次回答を、担当者の手を借りずに返せる状態にすること」でしたが、この産業用ポンプの会社が目的に近づいたのは、精度を上げようとした時期よりも、評価の観点と材料を決めたあとのことでした。

本記事で整理した4つの観点、3種類の材料、3つの単位、3つの線引き、4つのステップは、いずれも特別な仕組みを必要としません。届いた文面を集め、正しい答えの見本を作り、不合格を数えてから直す順番を決めていきます。この順番を守れるかどうかが、日本語で運用に乗せられるかどうかを分けます。本記事の内容が、自社の検討の材料として少しでもお役に立てれば幸いです。