止まれないインターネット
まえがき
これは未来の予測ではなく、ひとつの仮説です。
AIによって人間の処理速度が上昇したとき、社会全体の効率も上がるとは限らない。
「合理的(模倣)」によって誰もが同じ仕組みを採用した結果、ひとつの問題が連鎖的に拡大し、人間が確認する速度を超えてしまうとしたら。
そんなインターネットの未来を考えてみました。
最初の異常は、ひとつのウェブサイトで起きた。
ある利用者が、いつも使っているURLを開いた。
表示されたのは、見慣れたページだった。
しかし、リンクをクリックすると、別のサイトへ移動した。
利用者はブラウザを閉じ、もう一度同じURLを開いた。
今度は、いつもどおりのページが表示された。
気のせいだと思った。
翌日、その現象をAIに尋ねた人間がいた。
AIは、リダイレクトや広告の処理、DNSの問題など、いくつかの可能性を説明した。
利用者は納得した。
それらは、インターネットでは珍しくない現象だったからだ。
しかし、AIは、そのとき何が起きていたのかを確認できていなかった。
それでも、回答は十分に合理的だった。
誰も、そのことを問題にしなかった。
数年後、企業の多くはAIによって業務を自動化していた。
情報収集、契約書の確認、商品の発注、金融取引、システムの保守。
人間が一つずつ確認していた作業は、AIが短時間で処理するようになった。
企業は人件費を削減し、処理速度を上げた。
競合企業も同じ仕組みを導入した。
AIを使わない企業は、仕事が遅いと評価された。
人間がすべての情報を確認する必要はない。
AIが確認し、問題があれば報告する。
それが新しい常識になった。
誰もが合理的な判断をしていた。
ただし、その合理性には、一つの前提があった。
AIが取得する情報は、正しい場所から来ている。
そして、AIが行った処理は、意図したとおりに実行されている。
その前提を、誰も毎回確認してはいなかった。
確認する時間がなかったからだ。
ある朝、複数の企業で異常が発生した。
AIが参照していた情報の一部に、誤った内容が混じっていた。
原因は、まだわからなかった。
ある企業のシステムは、その情報をもとに発注内容を変更した。
別の企業は、変更された情報を正しいものとして受け取り、在庫管理を修正した。
さらに別のAIは、それらの変化を分析し、市場の需要が変わったと判断した。
それぞれのシステムは、与えられた情報に従って正常に動作していた。
異常を検知する仕組みもあった。
しかし、異常を検知したシステムは、警告を別のシステムに送った。
警告を受け取ったAIは、その内容を解析し、関連する業務を自動的に調整した。
その調整が、別のシステムに新しい変化を生んだ。
誰も、最初の異常がどこで発生したのかを知らなかった。
そして、誰もが、自分の担当するシステムは正常に動いていると報告した。
昼過ぎ、ある技術者が自動処理を停止するよう提案した。
「これ以上、処理を続けるべきではありません。情報の取得経路から確認する必要があります」
上司は画面を見た。
停止すれば、取引が止まる。
取引が止まれば、顧客へのサービスが止まる。
サービスが止まれば、ほかの企業の業務にも影響が出る。
「原因は特定できているのか」
「いいえ」
「では、なぜ止める必要がある?」
技術者は答えられなかった。
原因がわからないから止めたい。
しかし、原因がわからないという理由だけで、正常に動いているように見えるシステムを停止することは、簡単ではなかった。
上司は、AIに状況の分析を依頼した。
AIは、現在の処理状況を分析し、複数の可能性を提示した。
その中には、外部サイトのリダイレクトによる情報の誤取得も含まれていた。
だが、確証はなかった。
「現時点で、システム全体を停止する必要性は確認できません」
AIはそう回答した。
上司は、その回答を採用した。
AIは膨大な情報を処理できる。
人間よりも速く、広い範囲を分析できる。
その能力を信頼することは、合理的だった。
技術者は、それ以上何も言わなかった。
夕方になっても、原因はわからなかった。
一部の企業は自動処理を停止した。
別の企業は、停止による損失を避けるため、処理を続けた。
それぞれが、自社にとって合理的な判断をした。
しかし、システム同士はつながっていた。
ある企業が停止すると、別の企業の処理が滞った。
その企業は、滞った処理を補うために別のシステムを動かした。
別のシステムは、異常が起きていることを検知し、さらに別の処理を開始した。
止めることも、続けることも、ほかの場所に影響を与えた。
問題を解決するためには、全体の状況を理解する必要があった。
だが、全体の状況を理解する前に、状況そのものが変わり続けていた。
夜になり、技術者は一つのことに気づいた。
自分たちは、AIが間違える可能性を知らなかったわけではない。
誤った情報が存在することも、システムが攻撃される可能性も、以前から知っていた。
それでも、自動化を進めてきた。
処理速度を上げることが合理的だったからだ。
ほかの企業も同じことをしていた。
AIを使えば仕事が速くなる。
仕事が速くなれば、さらに多くの仕事を処理できる。
そして、ほかの企業がその速度で動いている以上、自分たちだけが立ち止まるわけにはいかなかった。
誰かが社会全体を危険にしようと計画したわけではない。
それぞれが、正しいと思う判断を積み重ねてきただけだった。
その結果、問題が起きたときに立ち止まるための余裕が、どこにも残っていなかった。
技術者は、最初の異常についての記録を探した。
しかし、当時のログは一部しか残っていなかった。
システムが正常に動いていると判断したため、詳細な記録を保存する必要がないとされていたのだ。
彼は、あの日のAIの回答を読み直した。
リダイレクト。
広告の処理。
DNSの問題。
どれも可能性としては正しかった。
だが、何が実際に起きたのかは、わからないままだった。
AIは嘘をついたわけではなかった。
ただ、知らないことを、知らないまま説明していた。
そして人間は、その説明に納得していた。
翌朝、企業は新しい方針を発表した。
AIによる自動処理を、さらに安全にするための投資を増やす。
確認の仕組みを強化し、異常が発生した場合には自動的に処理を停止できるようにする。
その発表を読んだ人々は、安心した。
技術者も、その方針には賛成だった。
ただ、彼は一つの疑問を抱いていた。
確認する仕組みを作るために、AIを使う。
その確認の仕組みが正しいかを確かめるために、また別の仕組みを作る。
その仕組みも、誰かが確認しなければならない。
では、どこで止めればよいのだろう。
すべてを確認することはできない。
しかし、確認を省略し続ければ、いつか自分たちが何を信頼しているのかさえ、わからなくなるかもしれない。
彼は、ブラウザを開いた。
昨日と同じURLを入力した。
見慣れたページが表示された。
彼は、そのページを閉じなかった。
アドレスバーを見つめながら、しばらく考えていた。
このページが正しい場所にあることを、何によって確かめればよいのだろう。
そして、自分が確かめられないことを、誰が確かめてくれるのだろう。
インターネットは、いつもどおり動いていた。
それが、かえって不気味だった。
あとがき
これは未来の予測ではなく、ひとつの仮説です。
AIの進歩そのものが問題なのではなく、処理速度を上げることが合理的だと模倣され続けた結果、異常を確認し、立ち止まるための余裕が失われる可能性を考えました。
個々の企業にとって合理的な自動化が、社会全体の脆弱性につながるとしたら。
そして、問題が連鎖したとき、その連鎖を理解する人間の速度が追いつかないとしたら。
私たちは、何を信頼しているのか。
それを確かめる時間さえ失ってしまうことが、最も怖いのかもしれません。




