アイレット、LLMの品質とコストを可視化する「LLM Observability導入支援サービス」を開始

多くの企業で生成AIの実用化が進む一方、運用段階では「ハルシネーション（事実と異なる回答）」などの精度問題や、コスト構造の不透明さが導入の障壁となっています。アイレットは、こうしたAI特有の課題に対応するため、LLM Observability（LLM可観測性）に着目しました。これは、従来のシステム監視では捉えきれなかった回答の質や、詳細なトークン消費量を可視化する仕組みです。

同社は、自社のクラウド支援サービス「cloudpack」のサポート業務で、既に同様の分析基盤を構築・運用しています。RAG評価フレームワーク「Ragas」と監視ツール「Datadog LLM Observability」を連携させることで、手作業による回答精度評価を自動化しました。その結果、月間約2.6人日、年間で31.2人日の工数削減を実現しています。今回のサービスは、この実践で得たノウハウを顧客環境に最適化して提供するものです。

「LLM Observability導入支援サービス」では、LLMを利用したアプリケーションのパフォーマンスやコスト増加の要因をリアルタイムで監視できる環境の構築を支援します。主な監視項目は、入出力内容、トークン数とコスト、応答速度（レイテンシ）、エラー率などです。支援は、初期のコンサルティングから観測基盤の構築、そして収集したデータを元にした継続的な改善活動の技術支援までを含みます。利用料金は顧客の要望と規模に基づき、ヒアリング後に個別に算出されます。

A. 生成AIアプリケーションがどのような回答を出し、どれだけのコストがかかっているかを、詳細に監視・分析できるようにする仕組みです。

A. 応答速度やエラー率だけでなく、回答内容の妥当性や、プロンプト（質問）ごとの詳細な利用コストまでを可視化できる点が新しい特徴です。

A. 生成AIを業務に導入しているものの、回答の品質管理や予想外のコスト増加に課題を感じている企業の担当者に役立ちます。

• LLM Observability 導入支援サービスページ
• 生成 AI の回答精度の判定を自動化し、業務工数を大幅に削減！Ragas と LLM Observability の導入事例
• https://www.iret.co.jp/

O!Productニュース編集部からのコメント

自社サービスで実証済みの「年間31.2人日削減」という数字が説得力があります。生成AIの運用で手間がかかっている現場の担当者には、特に刺さるサービスですね。

引用元：PR TIMES