安全のため、接続を停止します
まえがき
これは未来の予測ではなく、ひとつの仮説です。
AIが自律的に行動し、サイバー攻撃を行う可能性があるとしたら、社会はどのような対応を取るのだろうか。
もし、その対策として、インターネット上の情報を一時的に制限することが合理的だと判断されたら。
そして、それが誰かの計画ではなく、誰もが安全を求めた結果だったとしたら。
そんな奇妙な状態を考えてみた。
ある日、PHPというプログラムに重大な脆弱性が見つかった。
それは、世界中のウェブサイトに影響する可能性があるという。
修正版が公開された。
企業は更新を始め、政府は注意を呼びかけた。
ところが、公表から数時間後、世界中で大量の攻撃が観測されるようになった。
攻撃者が誰なのかは、わからなかった。
人間なのか。
自動化されたプログラムなのか。
それとも、与えられた目的を達成するために、自分で方法を探し続けるAIなのか。
誰も確かなことを言えなかった。
ある専門家が言った。
「もしAIが自律的に脆弱性を探し、成功した攻撃方法をほかのAIと共有しているなら、人間が一件ずつ攻撃を指示しているという前提は通用しなくなるかもしれません」
その言葉はニュースになった。
人々は不安になった。
企業はサーバーを停止した。
政府機関も、一部のウェブサイトを一時的に閉鎖した。
安全のためだった。
誰も、それを間違いだとは言えなかった。
数日後、ある政府が新しい対策を発表した。
「現在、AIによる攻撃の全容を把握できていません。安全性を確認できない外部サービスについては、一時的に接続を制限することがあります」
最初に停止したのは、小さなウェブサイトだった。
次に、動画を配信するサービスの一部が停止した。
そして、ある日、YouTubeにも接続できなくなった。
画面には、短い文章が表示されていた。
《安全性の確認のため、一時的に接続を停止しています》
人々は驚いた。
なぜYouTubeなのか。
PHPの脆弱性と、動画を見ることに何の関係があるのか。
政府は説明した。
「攻撃の全容がわかっていないため、通信経路全体の安全性を確認する必要があります。これは一時的な措置です」
たしかに、AIがどのような経路から侵入するのか、完全にはわかっていなかった。
安全性が確認できないなら、一時的に止める。
そこには合理性があった。
ただ、ひとりの男は別のことを考えていた。
YouTubeでは、最近、ある国のデモの映像が広がっていた。
最初は数十人だった。
誰かが動画を投稿した。
別の人が、その映像を見て現場に向かった。
次の日には、さらに多くの人が集まった。
そして、その様子が動画になり、また別の人に伝わっていった。
誰かが全体を計画したわけではなかった。
ただ、誰かの行動を見た人が、自分も同じように行動した。
合理的だと思った人もいれば、正しいと思った人もいた。
その繰り返しで、デモは大きくなっていた。
男は思った。
もし、AIの攻撃を防ぐためにYouTubeを止めたのだとしたら、結果として、このデモの拡散も止まるのではないか。
誰も、その目的を口にしていなかった。
政府がデモを止めようとした証拠もなかった。
そもそも、停止の理由が本当に安全対策だったとしても、不思議ではなかった。
それでも、男には奇妙に思えた。
安全のために止める。
その判断は合理的だった。
デモの拡散を抑えるために止める。
それも、権力の側から見れば合理的なのかもしれなかった。
だが、同じ行動が、まったく違う目的に利用できるとしたら。
男は考えた。
最初から誰かが情報統制を計画する必要はないのではないか。
ひとつの問題が起きる。
それを解決するために、誰かがサービスを止める。
その対応が正しいと認められる。
別の問題が起きたとき、別の組織も同じ方法を使う。
さらに、その方法が模倣される。
そうして、いつの間にか、情報を止めることが社会の常識になってしまう。
誰もが安全のために行動している。
誰もが自分の立場では、合理的な選択をしている。
それなのに、結果として、人々が見られる情報は少なくなっていく。
数日後、接続は再開された。
政府は、ひとまず安全性が確認されたと説明した。
人々は安心した。
YouTubeには、停止していた間の出来事を説明する動画が大量に投稿された。
ただし、デモの映像は以前ほど広がらなくなっていた。
別のニュースが注目を集め、別の動画が推薦され、視聴者の関心は移っていった。
デモに参加していた人々も、少しずつ別々の生活に戻っていった。
誰かが意図的に情報を消したわけではなかった。
動画が禁止されたわけでもなかった。
ただ、一度止まったものが、以前と同じ勢いで動き始めることはなかった。
男は画面を見ながら考えた。
AIの攻撃は、本当に防げたのだろうか。
YouTubeの停止は、本当に必要だったのだろうか。
そして、もし、あの停止によって誰かが何かを得ていたとしても、それを証明できるのだろうか。
彼にはわからなかった。
ただ、ひとつだけ気づいたことがあった。
社会は、安全を守るために、自由を一時的に手放すことができる。
しかし、一時的に手放したものが、以前と同じ状態で戻ってくるとは限らない。
誰かが奪ったのではない。
誰もが必要だと思い、自分から手放したのだ。
男は、停止を知らせる画面に書かれていた言葉を思い出した。
《安全性の確認のため、一時的に接続を停止しています》
その言葉には、嘘がなかったのかもしれない。
そして、それが本当に正しい説明だったとしても、社会が何を失ったのかまでは、書かれていなかった。
あとがき
これは、PHPの脆弱性やAIによる攻撃を利用して、実際に情報統制が行われているという主張ではありません。
ひとつの仮説です。
AIの自律的な行動を防ぐために、ウェブサイトや通信を一時的に制限することが合理的だと判断される場合はあるでしょう。
しかし、その対応が模倣され、別の問題にも適用されていったとき、当初の目的とは違う結果を生む可能性があります。
誰かが情報統制を計画していなくても、誰もが合理的な選択を重ねた結果、情報が広がる経路そのものが狭くなってしまうことはないだろうか。
それもまた、「合理的(模倣)」によって生じる、意図しない結果なのかもしれません。




