こんにちは、miiveでプロダクトマネージャーをしている hayashi です。
以前の記事では、社内のプロダクト仕様に関する問い合わせを AI アシスタントで自動化し、問い合わせ対応の負荷を大きく下げた取り組みをご紹介しました。
今回はその第二弾として、プロダクトの仕様以外にもサービスの事業ドメイン（税務・労務・フィンテック）に関連する回答や、ユーザーの実利用データを踏まえた問い合わせへの一次対応についてAIアシスタントで自動化した取り組みについてご紹介します。
背景：問い合わせは「仕様」だけでは解決しない
miiveのプロダクトでは、次のような問い合わせが日常的に発生します。
・「決済のこの挙動は仕様通りですか？」
・「税務・労務的にこの使い方は問題ありませんか？」
・「このユーザーのケースでは、実際どうなっていますか？」
このような利用状況に紐づく問い合わせは、
・プロダクト仕様
・実際の利用データ
の 3 つを同時に理解しないと正確な回答が出せないケースが多く、結果として問い合わせが特定メンバーに集中してしまっていました。
特に決済関連問い合わせは回答遅延がユーザー不信につながることもあり、迅速な回答が求められています。
解決アプローチ：仕様 × 実データ をAIで突き合わせる
今回の解決アプローチとして、ユーザーからの利用に関する問い合わせに対して、
プロダクト仕様ベースの知識と税務労務などの事業ドメイン知識、実際の利用データ（BigQuery） を突き合わせて、AI が一次回答を行う
という仕組みを構築しました。
これにより、人がBigQueryを開いてクエリを書いて調査する前に、
・プロダクト仕様上どうあるべきか
・実データ上どうなっているか
を整理した回答が即時に返るようになっています。
Devin × BigQuery を安全に使うための Playbook 設計
この仕組みの中核となるのは、Devin（Data Analytics Agent） と BigQuery を安全に連携させる Playbook です。
単に「AI にデータを見せる」のではなく、以下の要素を同時に満たす構成にしています
・再現性 — いつでも同じ結果が出る
・コスト効率 — BigQuery スキャン量を抑制
・品質管理 — 分析誤差の抑止
・プライバシー保護 — PII を扱わない明確な制約
上記の要素を満たすために、Playbook は以下のパートに分かれています
-
高速・再現性のある基本フロー
-
分析の深さを制御する段階的ルール
-
BigQuery コスト制御
-
品質ガードレール
-
プライバシー制御
このように明確な構造を設けることで、AI を安全かつ信頼性高く実データと接続しています。
各Playbookの中身
1. data-analytics-agent-main
再現性のある分析を高速に回すための基本フロー
Data Analytics AgentがBigQueryを使って分析を行う際の基本フローを下記の通り定義し、Devinがいつでも同じ振る舞いを行うことを担保しています。
-
調査目的の明確化
-
使用テーブルの前提確認
-
実行・結果整理・ログ化
2. data-analytics-agent-path
分析の「深さ」を3段階に分けて制御
問い合わせ内容に応じて、分析の深さを下記の3段階的に切り替えます。
-
既存のmart（集計済み・整備済みデータ）だけで回答するパス
-
新たなJOIN や重い整形を極力避けるパス
-
本当に必要な場合のみ深掘りするパス
これにより、「速度」「BigQueryのスキャン量」「コスト」をコントロールしながら、必要十分な精度で回答できるようにしています。
3. data-analytics-agent-cost
BigQueryコストを意識した実行ガイド
BigQueryは便利な反面、無制限に使うとコストが膨らみがちです。
そのためこのPlaybookでは、下記のルールを設け、「気づいたら高コスト」になることを防いでいます。
-
本実行前に推定スキャン量（bytes）を必ず取得
-
ドライラン結果を分析ログとして保存
-
推定TB
-
主要テーブル
-
注意点
-
4. data-analytics-agent-quality
「正しいつもりの数字」を防ぐ品質ゲート
分析結果は、間違っていてもそれっぽく見えてしまうのが一番怖いポイントです。
そこで、下記のルールをPlaybook に組み込み、誤った一次回答を出さないためのガードレールを設けています。
-
分析の各段階で必ず通す品質チェック
-
やってはいけない分析パターンの明文化
5. data-analytics-privacy
個人情報を扱わないための明確な制限
利用データを扱う以上個人情報（PII）を取得できない設計は必須です。
このPlaybookでは、下記のようなルールを明確に定義し誤った情報を取得しないようにしています。
- Devin（Data Analytics Agent）が取得して「良い情報」と「いけない情報」
- プライバシー制限と取り扱いルール
を明確に定義しています。
その結果、「業務に必要な分析は可能だが、個人情報は閲覧できない」という安全な境界線を保ったまま、実際のデータを活かすようにしたAI活用を進められています。
動作イメージ
Slackで @miive-ai をメンションして、質問事項を入力するだけで実際のデータや事業ドメイン知識をベースとした回答がものの数分で得られるようになりました。
例えば、「特定の決済でポイントが利用されなかった理由は？」という問い合わせに対して、仕様・税務・実データの情報を組み合わせて下記のような正確な回答が返るようになっています。
導入効果
この仕組みによって、複雑な事業ドメイン知識が関わる問い合わせや、実データを確認する必要がある問い合わせのほとんどをAIが一次回答できるようになりました。
その結果として、一部の社内の有識者に集中していた問い合わせが削減され、組織全体の生産性が向上しています。
まとめ
AIにただデータに接続するだけではなく、プロダクト設計の理解・事業前提・データの安全性を担保することで、はじめて信頼できる AI アシスタントが実現します。
今後はこの仕組みをさらに発展させ、プロダクトだけでなくセールスやバックオフィス領域へもAI 活用を広げていきます💪
We're Hiring!!!
miiveは、事業と組織の両面で本格的な成長フェーズに入りました。
まだ少数精鋭だからこそ、一人ひとりの意思決定がプロダクトの未来を左右します。
ユーザー目線のプロダクトづくりに挑み、難しい課題に粘り強く向き合い、社会にポジティブなインパクトを残したい。
そんな思いを持つ方と、一緒に働けることを楽しみにしています。
少しでも興味のある方は、ぜひお話ししましょう！
また、miiveメンバーと気軽に仕事や働き方を語れる「miive bar🍷」も定期的に開催中です。「いきなりカジュアル面談はちょっとハードルが高い…」という方も大歓迎です。
