自主制作デモ / Python・機械学習・FAQ検索
問い合わせ分類・RAG検証ラボ
架空の問い合わせをPythonで分類し、FAQの根拠と回答を照合する検証デモ。分類・検索・人の確認を分け、学習用とは別のデータで評価する流れを紹介します。
架空データの自主制作デモです。クライアントへの導入実績ではありません。実際のお客様の情報は入力しないでください。通常はFAQ原文を抜粋し、LLMの回答案生成には接続設定とアクセスコードが必要です。
課題・制作の目的
問い合わせの自動化を検討するとき、担当領域の分類、回答の根拠探し、回答を使ってよいかの判断を分けて確かめる必要があります。根拠が足りない場合の保留と、評価結果を確認する手順を、小さな架空データで検証するための制作です。
担当範囲
自主制作（問い合わせ分類・FAQ検索・評価APIと確認画面）
技術スタック
- Python
- FastAPI
- scikit-learn
- TF-IDF
- Complement Naive Bayes
- JavaScript
実装内容
Python / FastAPIで問い合わせの分類とFAQ検索を行う構成です。分類は文字2〜4-gramのTF-IDFとComplement Naive Bayes、検索は別のTF-IDF索引とコサイン類似度を使用。通常の回答はFAQ原文の抜粋で、LLMを呼び出しません。LLMによる回答案生成は、接続設定とデモ用アクセスコードがある場合の別モードです。
- 問い合わせ入力、分類候補の相対値、確認基準の調整と人への引き継ぎ
- FAQ検索、資料ID・更新日・原文と回答の照合、根拠不足時の保留
- 学習用48件と別の評価用12件による分類・検索の評価画面
- LLMモードのプロンプト版比較・参照ID確認・エラー表示の画面
- 処理結果のJSON出力と、運用・引き継ぎで追加確認する事項の説明
確認できる成果
公開画面とPython APIの接続情報を確認できる自主制作デモです。分類・検索・回答確認・評価を分けた構成と、実運用へ進む前の確認事項を紹介しています。
2026年11月3日に公開画面・公開JavaScript・Python APIの接続情報を確認。LLM接続は未設定でした。紹介はこれらの公開情報に基づき、今回、LLM生成・精度・負荷・実業務での効果は検証していません。
開発の設計ノート
公開デモの説明と画面で紹介している構成です。分類・検索・回答の確認を分け、それぞれの結果を検証するための設計例として掲載しています。
分類と根拠の検索を分ける
分類候補の相対値と、FAQの検索類似度を別々に扱います。担当領域が推定できても、回答に十分な資料があるとは限らないため、根拠不足の保留と人による確認を設けています。
検索とLLM生成の条件を区別する
通常は検索したFAQ原文を抜粋します。設定済みの場合だけLLMモードへ切り替え、プロンプト版や参照IDを確認する構成です。接続されていない処理を、成功した生成結果として表示しません。
学習と評価のデータを分ける
学習用とは別の架空データで、分類の取り違えや人へ回す割合、根拠を取得できたかを評価する構成です。小さな固定データの評価を、実業務での精度保証へ読み替えません。
現在の検証範囲・制約
- 小さな架空データによる検証です。表示される分類の相対値を正解確率や本番精度として扱いません。
- FAQ検索はTF-IDFで行います。埋め込みAPI・ベクトルDBや、LLMによる回答生成が常時動作するデモではありません。
- 実データでの再評価、アクセス権に応じた検索、外部送信条件、費用上限、永続的なレート制限は実運用前に検討する事項です。
- EC2・cronの本番運用実績を示すものではありません。
関連サービス
同様の開発を相談する
必要な機能や現在の課題をお知らせください。
開発を相談する