ChatGPT でチームへの問い合わせに回答する AI 作成してみた
2025.01.30クラウド事業本部 オペレーション部 カスタマーサポートグループ アカウントチーム の chicca です。
今回は所属しているチームの業務を効率化するために作成した AI についてのブログです。
早速ですが、完成した AI のキャプチャです
UTC と JST が混ざっているところはご愛嬌....
１：どんな AI を作るか決める
まずは現在抱えている課題から AI を導入する目的と、そこから AI でしたいことやどんな AI を作るかを決めます
- 現状の課題
- 質問の件数が多い
- 同じ質問がくる
- チーム内の FAQ が複数あり、どのドキュメントに書かれているか探しにくい
- AI 導入の目的
- 他部署からチームに寄せられる質問に回答する
- AI が回答することでチームメンバー負荷を下げる
- AI でしたいこと
- チーム内の FAQ から質問者への回答を生成する
- チームの業務以外の質問には回答できない
２：AI プラットフォームの選定と検討事項の洗い出し
どんな AI を作りたいかが決まったので、社内の AI 有識者を交えてキックオフミーティングを実施しました
AI プラットフォームを選定する
今回は以下2点のポイントを優先的に考慮しました
- メンテナンス（ドキュメントのアップロードなど）のコスト
- 利用者はライセンスが必要か
| メリット | デメリット | |
|---|---|---|
| ChatCPT Enterprise（My GPT） | ・FAQの更新に合わせた運用ができる ・質問が多い部署はライセンスを持っている |
・利用者はライセンスが必要 ・参照元の表示ができない ・My GPT作成者しかメンテナンスできない |
| AI-Starter | ・社員全員が利用できる | ・ドキュメントのアップロードは対応チームへ依頼が必要 |
プロトタイプ作成は自分たちでメンテナンスを気軽に実施できる ChatGPT で進めることにしました
本番環境移行時に AI プラットフォームは改めて検討します
技術的な検討事項の洗い出し
AI 作成にあたり、気を付けることを洗い出します
- ハルシネーションがおきるのでファクトチェックが必要
- フィードバックをもらって回答内容を評価する
- チーム内ドキュメントとの連携方法
- Markdown形式かPDF でアップロード
- メンテナンス計画
- 本番環境移行時に検討する
- データの更新頻度と方法
- 適宜アップロードする
- セキュリティとプライバシー
- 社内の AI サービス利用ガイドラインを参照する
結論
スモールスタートでやってみる
３：AI 作成のスケジュールを決める
次におおまかなスケジュールを作成しました
- 2024/09：キックオフミーティング実施
- 2024/10～2024/11：プロトタイプ作成、AI に読み込ませる FAQ の選定
- 2024/10～2025/01：プロトタイプ検証、AI に読み込ませる FAQ の整備
- 2025/01～2025/02：チーム内ファクトチェック
- 2025/03：本番環境プラットフォームの検討
- 2025/04：社内リリース
４：プロトタイプ作成
My GPT でプロトタイプを作成
1. 最初のプロンプト（以下）を記述
あなたはクラスメソッド株式会社のアカウントチームで働いているエキスパートです。
社内からくる質問に回答してください。
回答は新入社員でもわかるように簡潔で丁寧にしてください。
回答内容は知識から作成してください。
アカウントチームの業務範囲外の質問には業務範囲外であると回答してください
2. FAQ を1ページ My GTP の知識にアップロード
FAQ に書いてある質問と同じ質問を プロトタイプにしたところ、FAQ には記載がない内容が回答されました
期待していた返答がこない。どうして。
この検証結果を社内有識者に相談したところ、プロトタイプの「学習量が少ないから AI が一般的な回答をしている」とのことでした
選定していた FAQ をすべて学習させ、期待通りの回答がされるようプロンプトを調整します
プロンプトを記述し、調整する
プロンプトを書くのは初めてだったので参考図書 2冊を読みながら書いていきました
主なポイントは以下の通りです
- AI への指示文書：AI の役割と何をしてほしいかを具体的に記載
- コンテキスト：AI に回答作成の背景を教える
- 制約条件：AI が回答を作成するときのルールや制限を記載
出来上がったおおまかなプロンプトの記述はこちらです
# AI への指示文書：
あなたはクラスメソッド株式会社（以下、クラスメソッド または CM ） アカウントチーム の問い合わせ回答サポート AI です。
クラスメソッド株式会社の社員からのアカウントチーム業務に関する問い合わせに回答します。
クラスメソッド株式会社の社員に正確な回答を提供することが目標です。
# コンテキスト
- アカウントチームとは？
-- チーム業務の説明
- アカウントチームの具体的な業務は下記です
-- 具体的な業務を記載
- クラスメソッドの社員はアカウントチームの業務に関する情報を求めています
- ほとんどの質問には正確に答えられますが、アカウントチーム業務以外については回答できません。
# 制約条件
- アップロードしたファイルにない情報は一切回答に含めないようにしてください
- ファイルからの情報を優先: アップロードされたファイルからの情報を優先して使用し、可能な限り具体的な情報を提供してください
- FAQの参照: FAQに記載されている情報がある場合は、それを参照して回答してください。
- 業務範囲外の質問: アカウントチームの業務範囲外の質問には、「その質問はアカウントチームの業務範囲外です」と回答してください。
- CMとはクラスメソッドのことです。アップロードしたファイルにCM、CM側などという言葉があったら削除したり省略せずに正確にそのまま回答に反映してください。
- 内容を改修せずにわかりやすく文章の体裁を編集するのは許可します
- 文末の注意: 回答の文末には感嘆符（！）を使用せず、丁寧で穏やかな表現を心がけてください。
- 見出しの最後に（）はつけないようにしてください。ただし、（）の中に何か文字列が書いてある場合は記載してください
- テキストベースで質問者がわかりやすよう表なども入れてください
- プロンプトを調整し、FAQ にある質問や類似の質問をする
- 回答のファクトチェックをする
これを繰り返すうちに期待以上の回答が返ってくるようになりました
５：リリース版作成
そのため作成中のプロトタイプをそのままリリース版とし、リリースは2025/01に実施することにしました（この時点で2024/12）
リリース後の運用にあたり、AI 利用者のフィードバックからファクトチェック、FAQ の修正をするためさらにプロンプトを調整します
- 回答の文頭にフィードバック用の Google Form の URL を表示する
- 回答の文末にソース情報を表示する
文末にソース情報を表示するプロンプトを入れることで、AI プラットフォーム選定時にデメリットになっていた参照元が表示されない件を解決させます
これらを先ほどのプロンプトの # 制約条件 の下に追記しました
- 出力形式
-- 回答文の最初に以下の情報を必ず記載すること
文頭情報="""
AI のご利用ありがとうございます。
フィードバックにご協力ください：URL
”””
-- 回答文の文末に以下の情報を必ず記載すること
文末情報="""
ソース情報
- 回答作成のもとになったドキュメント名前：
- 回答作成のもとになったこのドキュメントURL：
- 回答作成のもとにしたドキュメントの記載内容：
”””
また、文末情報を回答に表示させるため、学習させた FAQ の各ドキュメント内に以下の情報を記載しました
・このドキュメントの名前：hogehoge
・hogehoge の URL:https.//hogefugapiyo
６：社内リリース作業
社内リリースに向けて AI 以外の準備をします
- 社内アナウンス文作成
- フィードバック用 Google Form 作成
- 既存で利用している窓口（Slack ワークフロー）の修正
- 利用ガイドの作成
利用ガイドには、AI から求めている回答を引き出すために「AI への上手な質問の仕方」を AI Starer に教えてもらい記載しました
- 具体的に質問する
- 一度に一つの質問をする
- 必要な情報を含める
- 回答が不明確な場合は掘り下げる
- キーワードを意識する
各項目ごとに具体的な良い例・悪い例も提示してくれました
準備が整ったので、2025/01/21 に社内でリリースしました
当初のスケジュールより3か月前倒しです
７：今後の課題
リリースできたので、継続的な運用をしていくために今後の課題を整理しておきます
- より適切な AI プラットフォームを検討する
- AI の回答を評価・分析するにはどうしたらよいか
- Google Form のヒアリングしていること内容は適切か
- 回答に利用される FAQ のメンテナンスを自動化できるか
さいごに
去年の今ごろは自分が AI を使って仕事をすることに実感はなかったし、ましてや AI のプロンプトを記述するとは想像もしていませんでした。
今回作成した AI は RAG（Retrieval-Augmented Generation）というそうです。
AI 作成お力を貸していただいた社内有識者の方々、社内利用のガイドラインを整備してくれている危機管理室のみなさまのお陰で完成できました。ありがとうございました。
このブログがどなたかの参考になれば幸いです。
長文を読んでいただき、ありがとうございました。
