目次
「あの件、返信したつもりで止まっていた」——中小企業ほど、担当者一人が窓口を兼ねているため、この取りこぼしが売上に直結します。そこでRENOYでは、自社のメール運用で「返信を忘れている案件」を検出して通知する仕組みを作りました。
結果から書くと、初版は通知が130件出ました。数が多すぎて、誰も最後まで読みません。通知は出ているのに返信漏れは減らない、という一番よくない状態です。
そこから4回作り直して、通知は5件まで絞れました。この記事では、その過程で固まった設計の考え方を、他社でも使える形で整理します。
この記事の結論
- 全メールをAIに読ませる設計は、精度も費用も悪化する
- 先に条件で絞り、残りだけAIに判定させる2層構成にする
- 除外リストはコードではなく、現場が触れる場所に置く
返信漏れ検出が「通知だらけ」になる原因
最初に作った版は単純でした。受信メールを一通り取ってきて、AIに「これは返信が必要なのに未返信か？」と判定させる。考え方としては素直ですが、実際に回すと通知が130件になりました。
原因は精度ではなく、母集団です。受信箱には、返信を検討する必要すらないメールが大量に混ざっています。自動送信の通知、配信物、社内システムからの機械的なメール——これらは人間なら一瞬で「対象外」と分かるものです。
そこにAIを当てると、二重に損をします。
- 判定がぶれる：本来は候補にすら入らないメールが判定対象になるため、通知の中にノイズが混ざり続ける
- 費用がかかる：処理した分だけ料金が発生するため、ジャンクの仕分けに高い費用を払うことになる
つまり「AIの答えが悪い」のではなく、AIに渡す前の設計が抜けていたという話です。なお、生成AIの料金体系は変わるため、最新の条件は公式サイトで確認してください。
対策1：条件で絞ってからAIに渡す2層構成
作り直しの一つ目は、判定を2層に分けたことです。
第1層は決定論的な条件、つまり誰が実行しても同じ結果になるルールで候補を絞ります。返信の有無、経過日数、送信元の種別といった、機械的に判断できるものだけを使います。ここにAIは使いません。
第2層で、残った候補だけをAIに渡し、「これは本当に返信すべきものか」を判定させます。
この形にすると、AIに渡る件数が大きく減ります。効くのは3点です。
| 観点 | 全件をAIに通す | 2層構成 |
|---|---|---|
| 通知の質 | ノイズが混ざり続ける | 候補が絞られ精度が上がる |
| 費用 | 対象外の仕分けにも課金 | 絞った分だけ課金 |
| 原因の切り分け | どこで間違えたか不明 | 条件かAIかを分けて追える |
とくに3つ目が実務では重要です。通知がおかしいとき、第1層の条件が悪いのか、AIの判定が悪いのかを分けて確認できると、直す場所がすぐ決まります。全部をAIに任せた設計では、プロンプトをいじって様子を見る以外に手がなくなります。
対策2：除外を3層に分ける
もう一つが除外の設計です。運用を始めると必ず「これは通知しなくていい」というメールが出てきます。このとき、除外の単位を1種類しか用意していないと詰まります。
そこで除外を3層に分けました。
| 層 | 単位 | 使う場面 |
|---|---|---|
| この1件 | 個別のメール | 返信不要と判断済みの、その1通だけを消したい |
| この送信元ごと | 送信元アドレス・ドメイン | その相手からのメールは今後も対象外にしたい |
| このパターン | 件名や本文の型 | 同じ形式で繰り返し届くものをまとめて外したい |
粒度が違うだけに見えますが、運用の負荷はまったく変わります。1件単位しかなければ、同じ送信元のメールが届くたびに手で消し続けることになります。逆にパターン単位しかなければ、消したくないものまで巻き添えで消えます。「今回だけ」と「今後ずっと」を選べることが、続く仕組みの条件でした。
除外リストの置き場所が、精度を決める
そして最も効いたのが、除外リストをコードの中ではなくスプレッドシートに置いたことです。
除外条件をプログラム内に書くと、追加のたびに開発側の作業が発生します。「この送信元も外したい」と気づくのは現場ですが、直せるのは開発側だけ——この間に発生する待ち時間が、そのまま通知の質の低下になります。除外されないまま通知が出続け、やがて読まれなくなります。
除外リストを表計算のシートに出しておけば、気づいた人がその場で1行足せます。運用が回り始めたのは、この変更以降でした。
ここから導かれる判断軸は、シンプルです。
AIを使った仕組みの精度は、プロンプトだけでは決まらない。除外を、誰が、どこで運用するかで決まる。
プロンプトの改善はもちろん効きますが、上限があります。一方、現場が自分で例外を追加できる状態は、使うほど精度が上がっていきます。改善の主体を現場側に移せるかが、運用に乗るかどうかの分かれ目でした。
通知設計で先に決めておくこと
同じ仕組みを他社で作る場合、着手前に決めておくと手戻りが減る項目です。
- 通知の上限件数を決める：「毎朝これなら必ず見る」という数を先に決めます。ここが決まっていないと、通知が多いことを問題として認識できません。
- 絞り込み条件を機械的に定義する：AIに渡す前に何を落とすかを、言葉ではなく条件として書き出します。
- 除外の運用者を決める：誰が除外を追加するのか、その人がどこを触れば追加できるのかを決めます。ここが決まっていない仕組みは、必ず放置されます。
順番が大事です。1が決まらないまま2と3を作っても、「十分に絞れたか」を判断できません。
よくある質問
Q. メールの返信漏れをAIで検出できますか？ できます。ただし全メールをそのままAIに読ませると通知が大量に出て読まれません。先に決まった条件で候補を絞り、残ったものだけAIに判定させる二段構えが現実的です。
Q. AIの通知が多すぎて読まれません。どうすればいいですか？ プロンプトの改善より先に、除外の仕組みを作ってください。1件単位・送信元単位・パターン単位の3層で除外でき、その一覧を現場が自分で編集できる状態にすると通知は現実的な数まで落ちます。
Q. 全部のメールをAIに読ませるとコストはどうなりますか？ 処理した量に応じて費用が発生するため、通知に至らないメールの仕分けにも料金を払うことになります。事前の絞り込みで対象を減らすほど費用は下がります。料金体系は変わるため最新は公式で確認してください。
まとめ
- 通知が多すぎる原因は精度ではなく、AIに渡す前の母集団にある
- 条件で絞ってからAIに判定させる2層構成にすると、質・費用・原因追跡がすべて改善する
- 除外は1件・送信元・パターンの3層に分け、リストは現場が触れる場所に置く
- 運用に乗るかどうかは、プロンプトではなく除外を誰がどこで運用するかで決まる
RENOYでは、こうした仕組みを自社の業務でも動かしながら、中小企業向けに設計・開発・運用の伴走を行っています。「返信漏れや対応漏れを何とかしたい」「AIを入れたが通知が読まれていない」といった段階のご相談も歓迎です。まずはお気軽に無料個別相談（オンライン・60分）をご利用ください。サービス内容をまとめた資料は資料請求からご覧いただけます。