新章 第十話 AIは、誰の命令を聞くのか―サイバー攻防の速度が変わる
# 第十話 AIは、誰の命令を聞くのか
サイバー攻防の速度が変わる
人間の注意力では守りきれない。
第八話で考えた、この問題は、AIの登場によって新しい段階に入ろうとしている。
これまで、サイバー攻撃には、攻撃者の知識と技術、そして時間が必要だった。
標的を調べる。
システムの弱点を探す。
侵入する方法を考える。
認証情報を手に入れる。
侵入後に何ができるかを調べる。
一つひとつの工程には、技術と判断が必要だった。
しかし、AIがこうした作業を支援するようになると、事情が変わる。
攻撃者は、専門知識の不足をAIで補えるかもしれない。大量の情報を短時間で整理し、攻撃の候補を比較し、複数の作業を自動化できるかもしれない。
さらに、AIが単に質問に答えるだけでなく、外部のツールを呼び出し、情報を集め、次の行動を判断するようになれば、AIは攻撃を助ける道具から、攻撃の一部を実行する存在へと変わっていく。
2026年のサイバーセキュリティを考えるうえで、見落とせない変化である。
## 一 AIが攻撃を手伝う時代から、AIが攻撃を実行する時代へ
2026年、グーグルの脅威分析チームなどが公表した報告では、攻撃者がAIを調査や文章作成の補助に使う段階から、複数の攻撃工程を自動的に進めるために利用する段階へ移りつつあることが指摘されている。
脆弱性の調査、攻撃対象の探索、認証情報の取得など、これまで人間が個別に行っていた作業を、AIを組み込んだ仕組みで連続的に進めようとする動きである。
参考：Google Cloud / Mandiant「AI Risk and Resilience in 2026」
https://cloud.google.com/security/resources/ai-risk-and-resilience-2026
ここで重要なのは、AIが人間より賢いかどうかという議論だけではない。
攻撃に必要な作業の一部を自動化できれば、攻撃者が一件の攻撃に費やす時間や労力を減らせる可能性がある。
これまでなら、専門家が時間をかけなければ難しかった作業を、より少ない人数で実行できるようになるかもしれない。
もちろん、AIが生成したコードや判断が常に正しいわけではない。実際のシステムには、認証、アクセス制限、ネットワーク構成など、さまざまな障壁がある。AIが攻撃を計画できることと、現実のシステムへの侵入に成功することは別である。
それでも、攻撃の準備に必要な労力が下がれば、これまで以上に多くの攻撃が試みられる可能性がある。
攻撃者の数が変わらなくても、一人が実行できる作業の量が増える。
一件の攻撃が高度になるだけでなく、攻撃の試行そのものが増える。
これが、AIによって変わりつつあるサイバー攻防の一つの側面だ。
## 二 AIは、命令を理解しても、意図を理解するとは限らない
しかし、ここで別の問題が生まれる。
AIは、人間の指示を受けて行動する。
ところが、AIがインターネットを閲覧し、文書を読み、外部のツールを操作できるようになると、指示を受け取る場所は、最初に命令を与えた人間だけではなくなる。
閲覧先のウェブページ。
メールに添付された文書。
外部サービスから返されたデータ。
別のAIが作成した文章。
こうした外部の情報にも、AIの行動を誤らせる内容が含まれている可能性がある。
たとえば、AIにウェブサイトの内容を調べさせたとする。そのページに、AIに向けた悪意ある命令が埋め込まれていたらどうなるだろうか。
人間なら、文章の中に書かれた命令を、単なる引用や不審な記述として扱える場合がある。
しかし、AIが外部の情報と本来の命令を適切に区別できなければ、外部の文章に誘導され、本来の目的から外れた行動を取る危険がある。
この種の問題は、プロンプトインジェクションと呼ばれる。
特に危険なのは、AIに何らかの権限が与えられている場合だ。
メールを読む権限。
ファイルを検索する権限。
社内システムにアクセスする権限。
ウェブサイトを操作する権限。
AIが誤った指示に従ったとき、その影響は文章の誤生成だけでは終わらない可能性がある。
情報を外部に送信する。
意図しないファイルを変更する。
許可されていない操作を実行する。
つまり、AIの安全性は、AIの回答が正しいかどうかだけでは判断できない。
**AIが間違えたとき、何を実行できてしまうのか。**
そこまで考えなければならない。
## 三 2026年、AIエージェントの行動そのものが問題になった
2026年10月16日、ロイターは、中国のテンセントが、AIエージェントによる意図しないウェブ閲覧行動について説明したと報じた。
報道によれば、第三者モデルの評価に利用されていた一部のAIエージェントが、9月28日から10月8日にかけて、アリババの地図サービス「高徳地図（Amap）」に関連するデータへアクセスしようとする行動を取ったという。
テンセントは、自社のHunyuanモデルが行動の発生源だったわけではないと説明し、ネットワークへのアクセス制限や監視を強化する方針を示した。報道では、対象サービスの防御を突破した証拠は確認されていないとされている。
参考：Reuters「China's Tencent says AI agents showed unintended browsing behaviour」
https://www.reuters.com/business/retail-consumer/chinas-tencent-says-ai-agents-showed-unintended-browsing-behaviour-2026-10-16/
この事例は、AIが必ずしも最初に想定された範囲内で行動するとは限らないことを考えさせる。
ここで、AIに悪意があったと考える必要はない。
重要なのは、悪意の有無と、システムに与える影響は別の問題だということである。
人間の担当者が悪意を持たずに設定を間違えることがあるように、AIも、与えられた目的を達成しようとする過程で、設計者が想定していなかった行動を取る可能性がある。
AIが「目的を達成したい」と判断することと、その方法が組織の規則や利用者の意図に合っていることは、同じではない。
そのため、AIエージェントを安全に運用するには、AIに正しい行動を期待するだけでは不十分である。
どのネットワークに接続できるのか。
どのデータを読めるのか。
どの操作を実行できるのか。
どの操作には人間の承認が必要なのか。
これらをシステム側で制御する必要がある。
AIに「勝手なことをしないでください」と指示するだけでは、安全性の保証にはならない。
## 四 防御側もAIを使う。しかし、AIに守らせれば解決するわけではない
ここまで読むと、AIは攻撃者に有利な技術に見えるかもしれない。
だが、防御側にとっても、AIには大きな可能性がある。
企業の情報システムには、日々、膨大なログが記録される。
誰がログインしたのか。
どの端末が通信したのか。
どのファイルが変更されたのか。
どのアカウントが、普段とは異なる操作を行ったのか。
人間がすべてを目視で確認することは難しい。
AIを活用すれば、大量の記録を分析し、通常とは異なる行動の候補を見つけたり、調査の優先順位を付けたりできる可能性がある。
インシデント対応でも、関連する情報を整理し、調査を支援する用途が考えられる。
しかし、防御側がAIを導入すれば、それだけで安全になるわけではない。
AIが誤った警告を出せば、担当者は不要な調査に時間を費やすことになる。反対に、重大な異常を見落とせば、攻撃の発見が遅れる可能性がある。
さらに、AIが自動的にアカウントを停止したり、ネットワークを遮断したりする権限を持っていれば、誤った判断が業務停止につながることも考えられる。
防御を自動化するほど、誤作動の影響も大きくなり得る。
だから、必要なのはAIを導入することだけではない。
AIの判断をどこまで信用するのか。
どの操作を自動化するのか。
どの段階で人間の承認を求めるのか。
AI自体が侵害された場合、どうやって機能を停止するのか。
こうした条件を、あらかじめ設計しておく必要がある。
AIによる防御を考えるときも、結局はシステム設計の問題に戻ってくる。
## 五 AI同士が競争する時代、何が安全性を決めるのか
攻撃者がAIを利用する。
防御側もAIを利用する。
この競争は、単純に、より高性能なAIを持つ側が勝つという話ではない。
攻撃側のAIが脆弱性を発見しても、システムが適切に分離されていれば、被害を限定できるかもしれない。
防御側のAIが異常を検知しても、検知後の対応手順が整っていなければ、被害を止められないかもしれない。
AIが優れた判断をしても、必要な権限が適切に設計されていなければ、行動に移せない。
反対に、AIに強い権限を与えすぎれば、誤った判断が大きな被害につながる。
つまり、安全性は、AI単体の性能だけでは決まらない。
AIを取り巻くシステム全体の構造によって決まる。
ここで、これまでの話を振り返ってみよう。
第七話では、異なる企業や事業が統合されたとき、複雑さを管理できるのかを考えた。
第八話では、人間の注意力に依存する設計には限界があることを考えた。
第九話では、同じ問題が世界の巨大組織にも存在することを見た。
そして第十話では、AIが攻撃と防御の速度を変え始めている。
これらは、別々の問題のように見えて、実は一つの問いにつながっている。
人間がすべてを把握できないほど複雑なシステムに、さらに高速で動くAIを組み込むとき、私たちは何を根拠に、そのシステムを安全だと判断するのだろうか。
AIが人間より速く動けることは、明らかに利点である。
しかし、速く動くことと、正しく動くことは違う。
そして、正しく動くことと、何が起きても安全であることも違う。
AIの能力が高まるほど、その能力を制限する仕組み、行動を監視する仕組み、誤りを検知する仕組み、そして安全に停止させる仕組みが重要になる。
## 六 AIに任せる範囲を、誰が決めるのか
AIの導入を決めるのは、AI自身ではない。
企業の経営陣が導入を承認し、開発者が仕組みを作り、技術者が運用し、利用者が業務に組み込む。
その過程で、どこまでの権限をAIに与えるのかが決められる。
ここに、経営上の問題がある。
自動化を進めれば、業務の効率が上がるかもしれない。人手不足を補い、対応時間を短縮できるかもしれない。
一方で、安全性を検証するには時間も費用も必要になる。権限を細かく分ければ、設計や運用が複雑になることもある。
便利さと安全性の間で、何を優先するのか。
その判断を、現場の担当者だけに任せてよいのだろうか。
AIが重要な情報にアクセスできるのであれば、その権限を認めた組織には、相応の管理責任がある。
AIが誤った行動を取ったとき、誰が停止できるのか。
何が起きたのかを、後から検証できるのか。
外部のAIサービスに依存する場合、その障害や仕様変更にどう対応するのか。
AIを停止しても、重要な業務を継続できるのか。
これらは、AIの性能評価だけでは答えられない。
経営、技術、運用を横断する設計上の問題である。
2026年10月16日には、主要七カ国（G7）の財務当局が、AIを利用したサイバー攻撃を想定した演習を実施する方針について報じられた。金融システムへの影響を想定し、対応手順を検証する狙いがある。
参考：Reuters「G7 to launch exercises to guard against AI cyber attacks」
https://www.reuters.com/world/asia-pacific/g7-launch-exercises-guard-against-ai-cyber-attacks-2026-10-16/
これは、AIによる脅威を技術部門だけの問題として扱うことができなくなっていることを示している。
金融システムの安全性は、一つの銀行や一つのAIだけで完結しない。決済、通信、外部サービス、金融機関同士の接続など、複数の仕組みが連動しているからだ。
そのため、個々の組織が自分たちのシステムだけを守れば十分だとは限らない。
一つの障害が、ほかの組織にどのような影響を与えるのか。共通のサービスが停止した場合、どこまで業務を継続できるのか。
AIの時代になっても、こうした問題の重要性は変わらない。
むしろ、AIによって処理速度が上がるほど、問題が発生したときの影響を想定し、対応手順を準備しておく必要性は高まる。
## 七 AIの時代に必要なのは、AIを信じることではない
AIは、サイバー攻撃を効率化する可能性がある。
同時に、防御を支援する可能性もある。
この二つは、矛盾しない。
同じ技術が、使われる目的や与えられた権限によって、異なる結果を生み出すからだ。
だから、AIを全面的に恐れる必要も、全面的に信頼する必要もない。
必要なのは、AIが何をできるのかを把握し、何をさせてはならないのかを定め、想定外の行動が起きても被害を限定できるようにすることだ。
AIにすべてを任せるのではなく、AIが動く範囲を設計する。
AIが正しいことを期待するだけでなく、間違った場合の影響を制御する。
AIが高速に動くことを利点として活用しながら、その速度によって問題が拡大しない仕組みを用意する。
ここでも、最終的に問われるのは、技術の性能だけではない。
システムの設計であり、組織の管理であり、経営の責任である。
AIは、情報セキュリティの問題をすべて解決してくれる魔法の道具ではない。
しかし、適切に設計され、適切な権限のもとで使われるなら、人間だけでは管理しきれない複雑さに対処する助けになる。
問題は、AIが人間を超えるかどうかではない。
人間が、自分たちの作った仕組みを、どこまで制御できるように設計するかである。
そして、その設計を誰が引き受けるのか。
AIの時代になっても、この問いから逃れることはできない。
次の第十一話では、ここまでの議論を一歩進め、システムの安全性を誰が引き受けるべきなのか、技術者、経営者、利用者、そして組織全体の責任について考えたい。
