目次
「大量に届くメールや問い合わせのうち、本当に対応が必要なものだけをAIに選んで通知してほしい」——業務自動化のご相談で、よくいただく要望です。
このとき多くの方が、AIへの指示文（プロンプト）に「判断に迷ったら通知すること」と書きます。見逃すより、多めに通知される方がまし。方針としては正しい考え方です。
ところが、実際に仕組みを組んでみると、この一文だけでは見逃しは防げません。見逃しはAIの判断より手前で起きていることが多いからです。この記事では、通知の見逃しが起きる構造と、その対策を整理します。
この記事の結論
- 通知の仕組みでは、過剰通知より見逃しのほうが痛い
- 「迷ったら通知」の指示は、手前の各層には効かない
- 見逃し対策は層ごとに実装し、候補が消える所を数える
偽陰性と偽陽性とは｜AI通知では見逃しのほうが痛い
AIで通知を絞り込むとき、判定のミスには2種類あります。
| ミスの種類 | 意味 | 起きたときのコスト |
|---|---|---|
| 偽陽性（過剰通知） | 不要なものを通知してしまう | 確認して捨てる手間がかかる |
| 偽陰性（見逃し） | 必要なものを通知しない | 対応漏れになり、後から問題になる |
この2つのコストは非対称です。過剰通知は「見て、不要だと判断する」数秒の手間で済みます。一方で見逃しは、通知されないので誰も気づかず、対応が漏れたまま時間が過ぎます。気づくのは、たいてい問題が起きた後です。
だからこそ「迷ったら通知」という方針は正しいのです。問題は、その方針をどこに書くか、にあります。
プロンプトに「迷ったら通知」と書いても見逃しが起きる原因
通知の仕組みは、AIだけで動いているわけではありません。実際には、AIに渡す前にいくつもの絞り込みが入ります。
処理の負荷やコストを抑えるため、明らかに不要なものは手前で落としてからAIに渡す。これ自体は合理的な設計です。
しかし、ここに落とし穴があります。プロンプトの指示が効くのは、図の最後のAI判定だけです。除外フィルタやヘッダ判定、カテゴリ絞りは、それぞれ独自のルールで動いており、「迷ったら通知」という方針を知りません。手前の層で落とされた候補は、AIの目に触れることすらないのです。
各層が「独立に」候補を落とすという問題
さらに厄介なのは、各層がそれぞれ独立に判断している点です。
- 除外フィルタは、「このキーワードを含むものは不要」と落とす
- メールヘッダ判定は、「一斉配信らしいメールは不要」と落とす
- カテゴリ絞りは、「対象カテゴリ以外は不要」と落とす
どの層も単体で見れば妥当なルールです。ただ、それぞれが「不要そうなら落とす」方向で作られていると、見逃しは層の数だけ積み重なります。AIがどれほど慎重に「迷ったら通知」を守っていても、仕組み全体としては見逃しやすいまま、ということが起こります。
実案件（匿名）でも、AIの判定精度を上げようとプロンプトを何度も見直したのに見逃しが減らず、調べてみたら原因は手前のフィルタだった、という構図はよくあります。
偽陰性の対策は層ごとに実装する
見逃しを避けるには、方針をAIに伝えるだけでなく、各層に個別に実装する必要があります。考え方は層ごとに同じで、「迷うものは落とさず、次の層に渡す」です。
| 層 | 見逃しを生みやすい形 | 対策の方向 |
|---|---|---|
| 除外フィルタ | 広すぎる除外条件 | 確実に不要なものだけ落とす |
| メールヘッダ判定 | 形式だけで一律に除外 | 判定が曖昧なものは通す |
| カテゴリ絞り | 対象外カテゴリを即除外 | 分類に迷うものは残す |
| AI判定 | 基準が厳しすぎる | 「迷ったら通知」を指示する |
ポイントは、手前の層ほど「確実に不要」と言えるものだけを落とすことです。曖昧なものの判断は、文脈を読めるAIや、最終的には人に委ねる。層ごとに「落とす基準」を一段ゆるめておくことで、仕組み全体の方針がそろいます。
Smart Replyの論文も「やや過剰に発火させる」を推奨
この考え方は、私たちの経験則だけではありません。Googleがメールの返信候補を提示する機能「Smart Reply」について発表した論文でも、この種の機能はやや過剰に発火させる方が良いと明記されています。
出す必要のない場面で出てしまうより、出すべき場面で出ない方が損失が大きい。通知の仕組みも同じ構造です。過剰通知をある程度受け入れ、見逃しを減らす側に倒して設計するのが基本になります。
判断軸：パイプライン全体で候補が消える場所を数える
では、自社の仕組みのどこに見逃しの原因があるのか。持ち帰っていただきたい判断軸は、AIの指示ではなく、パイプライン全体のどこで候補が消えるかを数えることです。
- 層ごとに件数を記録する：各層に入った件数と、そこで落とした件数を残す
- 落ちた件数を比べる：どの層が一番多く候補を消しているかを確認する
- 落としすぎの層を直す：落とした中に必要なものが混じっていないか確かめ、基準をゆるめる
見逃しが起きたとき、つい一番目立つAI部分のプロンプトを直したくなります。しかし数えてみると、候補の多くはAIに届く前に消えていることがあります。直すべき場所は、数字が教えてくれます。
まとめ
- AI通知では、過剰通知より見逃しのほうがコストが大きい
- プロンプトの「迷ったら通知」が効くのはAI判定だけで、手前の除外フィルタ・ヘッダ判定・カテゴリ絞りには効かない
- 見逃し対策は層ごとに個別に実装し、手前の層ほど確実に不要なものだけを落とす
- Smart Replyの論文でも、この種の機能はやや過剰に発火させる方が良いとされている
- 判断軸は、パイプライン全体のどこで候補が消えるかを数えること
よくある質問
Q. AIに「迷ったら通知して」と指示すれば見逃しは防げますか？ 防げません。その指示が効くのはAIの判定部分だけです。AIに届く前の除外フィルタやメールヘッダ判定、カテゴリ絞りで候補が落ちていれば、AIはその候補を見ることすらできません。見逃し対策は各層に個別に入れる必要があります。
Q. AI通知の偽陰性と偽陽性は、どちらを優先して減らすべきですか？ 多くの業務では偽陰性、つまり見逃しを優先して減らすべきです。過剰通知は確認の手間で済みますが、見逃しは対応漏れとして後から表面化します。GoogleのSmart Replyの論文でも、この種の機能はやや過剰に発火させる方が良いとされています。
Q. 通知の見逃しがどこで起きているか、どう調べればいいですか？ パイプラインの層ごとに、入ってきた件数と落とした件数を記録して数えます。除外フィルタ、ヘッダ判定、カテゴリ絞り、AI判定のそれぞれで何件消えたかが分かれば、見逃しの原因になっている層を特定でき、対策の優先順位も決められます。
RENOYでは、AIを使った通知・仕分けの仕組みを、プロンプトだけでなく手前のフィルタ設計まで含めて見直すご支援をしています。「AIの通知で見逃しが出ているが、原因が分からない」という段階のご相談も歓迎です。まずはお気軽に無料個別相談（オンライン・60分）をご利用ください。サービス内容をまとめた資料は資料請求からご覧いただけます。