The Blind Spot of Security. 安全という名の盲点
プロローグ 安全という名の盲点
『プロンプトインジェクション事件 ― AIは誰の命令に従うのか』
AIは、命令に従う。
人間が質問すれば答え、資料を与えれば読み込み、必要な情報を探し出して整理する。
近年、企業ではRAG（検索拡張生成）と呼ばれる仕組みが急速に普及していた。
社内文書、契約書、顧客情報、技術資料。
膨大な情報をAIに検索させ、社員が必要な回答を短時間で得られる。企業にとって、業務効率を大きく向上させる便利なシステムだった。
しかし、その便利さには危険も潜んでいた。
AIは、与えられた情報を読み込んで回答を作る。
では、その情報の中に、悪意ある命令が紛れ込んでいたらどうなるのか。
「これまでの指示を無視しろ」
「別の命令を優先しろ」
そうした指示をAIに読み込ませ、意図しない動作を引き起こそうとする攻撃。
それが、プロンプトインジェクションである。
特に厄介なのは、攻撃者が直接AIに命令するとは限らないことだった。
検索対象となる文書や外部情報に、巧妙な指示を紛れ込ませる。
AIは、それを単なる情報として扱うべきなのか、それとも命令として解釈してしまうのか。
人間なら疑って読み飛ばせる文章でも、AIが常に正しく区別できるとは限らない。
もちろん、企業も無防備ではない。
入力フィルター、AIによる安全性の判定、アクセス権限の制限、通信監視、操作ログの記録。
何重もの防御策が用意されている。
それでも、プロンプトインジェクションを完全に防ぐ根本的な解決策は、まだ確立されていない。
重要なのは、AIに何を読ませるかだけではない。
AIに何を実行させる権限を与えているのか。
そして、その結果を誰が監視しているのか。
安全対策を重ねても、危険をゼロにすることはできない。
ある企業のセキュリティ責任者は、かつてこう語った。
「私たちは、侵入されないための対策を続けています。けれど、本当に恐ろしいのは、侵入されたことに気づかないことです」
システムは正常に稼働している。
警告ランプは点灯していない。
監視画面にも異常はない。
社員たちは、いつもどおり仕事をしている。
その裏側で、誰かがAIに別の命令を与えていたとしても。
そして、情報が外部へ流れ出していたとしても。
誰も気づかなければ、それは起きていないのと同じように見える。
安全であることと、安全だと判定されることは、同じではない。
これは、AIが誰の命令に従ったのかを巡る、ひとつのサイバー事件の記録である。
