安全で責任ある生成AIを利用するための5つのポイント

2024.01.25

不正なデータ露出を防止する安全機能

生成AIに関する安全上の懸念が、組織の内外のリスクとして表面化する恐れがある。

組織内部で対応が必要なリスクとしては、組織内でいかに不正なデータ漏えいを防ぐか、生成AIによる情報漏えいに対して取られた対策に対する説明責任を負う最終責任者は誰か、の2つが挙げられる。

一方、外部に対しては、製品を保護し、プロンプト・インジェクションやプロンプトリークなどの不正な操作を防ぐ方法を検討する必要がある。

Charlotte AIはFalcon環境に適用されている既存のロールベースのアクセス制御（RBAC）を尊重するため、各ロールの権限の範囲内での運用が可能。そのため、ユーザーがCharlotte AIを使用して、これまでアクセスしたことのないデータ、モジュール、機能にアクセスすることはない。

往々にして人間はセキュリティの鎖のなかで最も弱い輪であると言われるが、クラウドストライクでは、セキュリティを確保するうえでエキスパートが提供する真実の情報とアナリストが保有する背景情報が最大の強みであると考え、常に重視している。

AIネイティブなSOCでは、アナリストは現在でも生成AIの出力情報を活用してセキュリティ運用のレビュー、意志決定、権限付与を行う非常に重要な存在だ。

Charlotte AIの専門分野とセキュリティアナリストの役割の違いはここにある。

Charlotte AIはFalconプラットフォームのエキスパートであり、アナリストが重要な情報をすばやく巧みに見つけ、何時間もかかる作業を数分で終わらせ、Falconプラットフォームの最新機能とリアルタイムインテリジェンスを活用できるようサポートする。

Charlotte AIにタスクを実行するよう指示し、組織の環境でどのような戦略的アクションが必要かを決めるのはあくまでもアナリストだ。

たとえば、アナリストがあるホストグループ上の異常を確認した場合、Charlotte AIにはFalconのリアルタイムレスポンス（RTR）用の推奨スクリプトを記述できる。しかし、提供されたスクリプトをレビューし、Falcon RTRに保存して実行させるのはユーザーだ。

プロンプト・インジェクションとは、生成AIに情報を入力して元々意図されたのとは違う動作を行わせる手口で、BingのAIチャットボット｢シドニー｣などのツールを使用するセキュリティリサーチャーから大きな注目を集める手法だ。

リサーチャーはまた、脅威アクターが生成AIシステムから過去にAIが問われた質問を聞き出す（プロンプトリーク）ことで、アナリストの調査内容や重点分野を暴露し、ユーザー環境の脆弱性を暴くリスクについても警鐘を鳴らしている。

こうした攻撃に対しても、Charlotte AIはいくつかの方法で軽減できるよう設計されている。

Falcon環境のインターフェースであるCharlotte AIを通じて、ユーザーがこれまでアクセスしたことのないデータや機能にアクセスすることはない。

さらに、権限を持つアナリストによるレビューと承認なしに、Charlotte AIがユーザー環境に対して変更を行なえないようにすることで、不正なアクションを行なわせようとするプロンプト・インジェクションに対する防御体制をさらに強化している。

AIを活用した攻撃の高度化が未知の領域に達するなか、こうした高度な攻撃に対抗するには、敵に勝るとはいかなくても、少なくとも同等の装備が必要だ。

生成AIには、セキュリティチームが持つ能力を大幅に強化し、スピードとスケールの両面で最大限の成果を上げることを可能にする力がある。

生成AIの持つリスクがその導入の妨げになってはならないが、セキュリティベンダーやセキュリティパートナーを選ぶ際の意思決定基準をリスクを知った上で定めることで、セキュリティエキスパートが開発するセキュリティ担当者向けテクノロジーの向上につなががる。

構成／清水眞希