LLM認知確認ツール「ディギディギ」にRAG発火測定とRAGシミュレーターを搭載
公開日:
株式会社トドオナダは、LLM認知確認ツール「ディギディギ」に新機能「RAG発火測定」と「RAGシミュレーター」を搭載しました。LLMが質問に対して記憶で答えるか、Web検索に頼るかを測定できます。検索する場合にどんなキーワードを使い、何を参照してどう答えるかまで再現できる点が特徴です。自社ブランドがLLMの回答に含まれるかを検証したい企業にとって、実用的なツールとなります。
ポイント
- 1LLMが記憶で答えるかWeb検索に頼るかを「RAG発火測定」で可視化
- 2検索クエリや参照記事まで追跡する「RAGシミュレーター」を搭載
- 3月額10,000円で提供、Qlipper利用者はプラン制限付きで無料
LLMの検索行動を実測する新機能
ディギディギは、LLMが特定のカテゴリで何を思い浮かべるか、自社ブランドがその集合に入っているかを測定するツールです。今回追加されたRAG発火測定では、LLMに検索ツールを与えた試行を並行して実行し、検索を呼び出そうとした回数を結果カードに表示します。想起集合の強さと検索への依存度を、1回の質問で同時に確認できます。
RAGシミュレーターで検索の詳細を追跡
RAGシミュレーターは、結果カードのRAG発火回数のチップを押すと起動します。LLMが検索ツールを使った状態で複数回試行し、検索クエリを発行順に表示します。クエリは検索意図で4分類され、現行確認や比較評価などの傾向を把握できます。検索後に参照した記事のタイトルやURL、ドメインまで確認でき、robots.txtによるAIクローラーの許否もチップで表示されます。
調査で判明したLLMの検索傾向
株式会社トドオナダの調査によると、LLMは多くのカテゴリで検索せず、想起記憶で答える傾向があります。検索が実行された場合も、検索クエリの85.8%は「人気 ランキング」のような現行確認型でした。クエリにはLLMが検索前から想起しているメーカー名や商品名が埋め込まれるため、想起集合に入っていないブランドはクエリに現れません。RAGシミュレーターはこの実態を確認するための機能です。
提供条件と関連サービス
RAGシミュレーターはディギディギの機能として提供されます。ディギディギは月額10,000円で、Qlipper利用者はプラン制限付きで無料です。RAGシミュレーターの実行回数には上限があります。また、LLMの想起集合とRAG発火率をモデル更新のたびに記録する公開サイト「ディギコのチャピりログ」も運用しています。
Q&A
Q. RAG発火測定とは何ですか？
A. LLMが質問に対して、記憶だけで答えるか、Web検索を呼び出すかを測定する機能です。検索ツールを与えた試行を並行実行し、検索の回数を表示します。
Q. RAGシミュレーターでは何ができますか？
A. LLMが検索する場合に、どんなキーワードを組み立て、どの記事を参照し、どう回答するかまでを再現して確認できます。
Q. ディギディギの料金はいくらですか？
A. 月額10,000円です。Qlipper利用者はプラン制限付きで無料で使えますが、RAGシミュレーターの実行回数には上限があります。
関連リンク
O!Productニュース編集部からのコメント
LLMが検索に使うキーワードまで確認できるのは、マーケティング担当者にとって助かりますね。自社の想起状況と合わせて、検索対策を見直す材料になりそうです。
引用元：PR TIMES
この記事の著者
O!Productニュース編集部
