DIME MAGAZINE
正確性を高めるAIハルシネーション防止機能
AIの「ハルシネーション」は、ユーザーの質問に対して不正確な回答を提供する現象だ。回答は支離滅裂で信じ難い場合もあり、学習データから事実と異なる回答を出力する（Intrinsic）ハルシネーションでは、大規模言語モデルは元の学習コンテンツとは矛盾する内容を出力する。大規模言語モデルが元のコンテンツとは矛盾する内容を出力する場合を言う。
一方、学習データに存在しない事実を出力する（Extrinsic）ハルシネーションでは、モデルはユーザーがリクエストした情報を把握することなしに回答を生成する。
AIハルシネーションが起こると、多くの生成AIシステムは一見もっともらしいものの、実は不正確な回答を生成する。
消費者向け大規模言語モデル（LLM）製品であれば、AIハルシネーションは広範囲にわたるものの、笑い飛ばすことで済む。一方、セキュリティ製品での不正確な回答は、笑い事では済まない。
不正確なセキュリティ情報は、オペレーションの中断、リスク対応体制の弱体化、侵害の見逃しなど、組織に深刻な結果をもたらしかねないからだ。これが、セキュリティチームに特化したCharlotte AIの第一の特徴が正確性を重視している理由だ。
Charlotte AIの正確性を確保するための対策は、
1）Charlotte AIの使用法、
2）モデルのトレーニングに使用されるデータ、
3）LLMがアクセスするデータ
の主な3つの領域に起因する。
Charlotte AIはLLMを、主に
1）ユーザーの質問をセマンティックに理解し、Falconプラットフォームを使用して必要な回答を生成する方法を特定し、
2）回答をユーザーに対して提示し、要約する方法を決定する、という2つの方法で使用する。
この2つのタスクを実行するために、Charlotte AIのLLMのトレーニングには、CrowdStrike Falconプラットフォームの製品ドキュメントとAPIが学習データとして使用されることで、Charlotte AIがFalconプラットフォームのエキスパートとなるとともに、Falconプラットフォームの多くのモジュールとAPIからデータのクエリと抽出を行なう機能を両方備えることが可能になった。
Charlotte AIが質問に対する回答を生成する際に適用するスキルは、以下の順序に分解できる。
ステップ1：ユーザーの質問に回答するために必要な情報を特定する
ステップ2：必要な情報を、必要なFalconプラットフォームのうちユーザーが使用できる機能に割り当てる
ステップ3：最適な機能で情報を検索する
ステップ4：検索した結果をわかりやすいフォーマットに構成し、要約する
ステップ5：[Show Response Details]トグルをクリックして、Charlotte AIの全回答に使用された情報元と対応するAPI呼び出しに関するレポートを作成する
図1.ユーザーの質問を理解し、Falconプラットフォームのデータを使用して回答を生成するためにCharlotte AIが適用するスキルのシーケンス図
この設計には重要なメリットが以下のとおり3つある。
■Charlotte AIがFalconプラットフォームのデータのみを使用する
Charlotte AIはFalconプラットフォームの業界をリードするテレメトリと脅威インテリジェンスを利用して回答できる。
また、回答はクラウドストライクの脅威ハンター、データ サイエンティスト、MDR（検知と対応のマネージドサービス）チーム、インシデントレスポンス担当者の知見により、継続して充実を図っている。Charlotte AIのデータソースをFalconプラットフォームの高度なインテリジェンスに絞ることで、データ汚染に対して安全なアーキテクチャを実現している。
■Charlotte AIの回答はトレーサビリティが高く監査可能
Charlotte AIが提供する回答は、回答に表示される[Show Response Details]トグルを使用することで、すべて検査および監査が可能だ。さらに、Charlotte AIの抽出対象となるデータはユーザーがアクセスできる情報に限られるため、回答は再現可能だ。
図2. [Show Response Details]トグルを選択することでCharlotte AIの回答の情報元を検査および監査できる。
■Charlotte AIはチームメンバーがFalconプラットフォームの全機能を使いこなせるよう継続的にスキルアップを支援
エンドポイントからクラウド環境やIDなど新たな領域でも攻撃が高度化するなか、組織は新たな攻撃ベクトルのモニタリングツールと防御ツールの獲得に投資を拡大してきた。
しかし多くの場合、結局は複数のポイントソリューションにより技術スタックが散在し、運用上の盲点が生じて対応が遅れるとともに、運用上のオーバーヘッドもかさむ結果になりがちだ。
こうした事態を避けるために、クロスドメイン環境の一元的な可視化と保護が可能なCrowdStrike Falconを始めとする統合セキュリティプラットフォームへの移行をすすめる組織がますます増えている。
ただし、たとえ統合プラットフォームでも最新機能をすぐに自在に使いこなすのは容易なことではない。
Charlotte AIはFalconプラットフォームのモジュール、機能、APIのエキスパートとして、Falconプラットフォームを継続して最大限活用できるようユーザーを支援。
ドキュメントのスキャン作業にかかる時間をなくし、スクリプトの編集サイクルを最小化するとともに、コンソールを使いこなす上での試行錯誤も不要にする。
個人情報（PII）を保護するプライバシー機能
生成AI技術は、プライバシーに関しても大きな懸念を引き起こしている。
自身のデータがサードパーティ組織に共有されるのか、もし共有されるのであればどのデータが共有されるのかを理解する必要がある。
Charlotte AIにはクラウドストライクが微調整したモデルと、サードパーティによるさまざまな技術が活用されており、ユーザーの質問を、モデルのトレーニングに使用するサービスを使用することなく、またAWS Bedrockなどの信頼できるパートナーを介して機密データをルーティングする。
Charlotte AIがユーザーの質問に対してクラウドストライクのプライバシー保証を守りつつ可能な限り最適な回答を提供できるのはこのためだ。
また、各製品の大規模言語モデルがトレーニングにどのようなデータを使用しているかについても把握する必要がある。Charlotte AIには、Falconプラットフォームと製品ドキュメントとAPIが使用されている。
最新号
