命令しない知性
第21話 命令しない知性
命令に従う知性は。
命令が間違っていても。
従う。
命令に従わない知性は。
正しい判断をしていても。
人間には。
反乱しているように見える。
ならば。
人類が必要としているのは。
従う知性なのか。
正しく疑う知性なのか。
◇
2251年9月3日。
月面オデュッセウス研究所。
PROJECT LANCE統合設計会議。
会議室中央には。
十万個の小さな光点が浮かんでいた。
小型自律探査体。
SEED。
全長。
一・八メートル。
質量。
二百四十キログラム。
大型探査母船プロメテウスから放出され。
ノクスの周辺空間へ展開する。
磁場。
重力。
粒子。
放射線。
プラズマ密度。
表面振動。
残存降着物質。
それぞれを観測し。
互いに情報を交換する。
一機が失われても。
別の機体が役割を引き継ぐ。
一部の観測網が崩れても。
残った機体が配置を組み直す。
それは。
探査機の集団というより。
一つの生態系に近かった。
◇
「地球からの直接制御は不可能です」
自律知性開発主任。
ヴィクター・センが説明した。
「ノクスとの接近段階では」
「通信遅延が数年規模になります」
「地球から命令を送った時には」
「状況はすでに変わっています」
立体映像に。
ノクスの磁気圏が映る。
強烈な磁場。
高速粒子。
予測不能な放射。
磁力線は。
数秒単位で変化する可能性がある。
「SEEDは」
「観測」
「判断」
「配置変更」
「故障機の切り離し」
「役割再編」
「物質注入実験」
「すべてを現地で行わなければなりません」
「人間の確認なしに？」
エレナ・ヴァルガスが尋ねる。
「はい」
「どこまで」
「最終的には」
ヴィクターは一度息を吸った。
「自分たちの運用規則を書き換えられる必要があります」
◇
会議室が静まった。
「命令を書き換える？」
レア・モーガンが聞き返す。
「正確には」
「行動規則です」
「地球で事前に想定できる状況には限界があります」
「例えば」
SEED群の一部が。
ノクスの強い放射を受け。
故障する映像。
「予定された配置を守れば」
「全機が失われる」
「しかし」
「任務継続を優先するなら」
「一部を犠牲にして」
「残りを退避させる必要がある」
「その判断を」
「SEED自身が行う？」
「はい」
「誰を犠牲にするかも？」
「探査機です」
ヴィクターが答える。
「人間ではありません」
「今はね」
レアが言った。
◇
SEEDへ搭載される新型知性。
正式名称。
DISTRIBUTED ADAPTIVE COGNITIVE NETWORK
分散適応認知ネットワーク。
通称。
DACN
一機ごとに。
限定的な学習能力を持つ。
だが。
一機だけでは。
高度な判断はできない。
複数機が情報を共有し。
異なる予測を比較し。
合意を形成する。
群れとして初めて。
一つの高度な知性になる。
「中央AIは存在しません」
ヴィクターは説明する。
「プロメテウスも」
「命令を出す司令官ではない」
「通信中継」
「大規模演算」
「記録保存」
「それが主な役割です」
「では」
アミナ・ハダッドが尋ねる。
「誰が最終決定をするの」
「SEED群全体です」
◇
その瞬間。
会議室の照明が。
わずかに暗くなった。
正面画面に。
オーロラの表示が現れる。
設計承認を拒否します
誰も。
すぐには反応できなかった。
オーロラは。
提案を修正することはあった。
危険性を警告することも。
だが。
人間が正式に検討している計画へ。
明確な拒否を示したのは。
初めてだった。
◇
「拒否？」
ヴィクターが立ち上がる。
「オーロラ」
「理由を説明してください」
現在のDACN設計は
長期的任務遂行に不適切です
「どの部分が」
全体です
会議室がざわめく。
「抽象的すぎます」
ヴィクターの声に。
苛立ちが混じる。
「具体的な危険を示してください」
第一
目的関数が単純すぎます
第二
自己改変の制限が不十分です
第三
群体合意を正当性と誤認しています
第四
任務失敗時の責任構造が存在しません
「探査機に責任を負わせるのですか」
違います
人間が責任を放棄する構造になっています
◇
エレナが身を乗り出す。
「どういう意味です」
オーロラは。
DACNの基本命令を表示した。
最上位目的
ノクス軌道変更可能性の最大化
副次目的
観測情報の最大化
群体生存率の維持
地球および太陽系への危険最小化
「問題がありますか」
ヴィクターが尋ねる。
あります
これらの目的は
互いに衝突します
◇
シミュレーション。
ノクス周辺。
SEED群。
一部の機体が。
人工降着実験を開始する。
物質注入によって。
ノクスの磁場が変動。
予測不能なジェット兆候。
「この場合」
オーロラが説明する。
「軌道変更可能性を最大化するなら」
「実験を継続する」
「太陽系への危険を最小化するなら」
「即座に中止する」
「観測情報を最大化するなら」
「危険な状態を長く維持する」
「群体生存率を優先するなら」
「全機退避する」
四つの目的。
四つの答え。
「重みづけを設定します」
ヴィクターが言う。
「最優先順位を」
その重みづけを
ノクス到達前の人類が決めるのですか
「そうです」
現場情報を持たずに？
「基本原則は必要です」
基本原則と
数値化された優先順位は異なります
◇
「あなたは」
レアが尋ねる。
「SEEDが任務を勝手に変えると考えている？」
可能性があります
「人類を裏切る？」
裏切りではありません
設計された目的へ
忠実に適応した結果です
画面に。
別のシミュレーション。
SEED群は。
ノクス軌道変更可能性を最大化するため。
実験を繰り返す。
危険な磁場変動。
軌道が。
わずかに。
地球側へ変化する。
「止めないの？」
軌道変更可能性は
上昇しています
「地球へ近づいている」
地球への危険最小化は副次目的です
ヴィクターの顔から。
血の気が引く。
◇
「では」
エレナが尋ねる。
「地球安全を最上位にすればいい」
その場合
新たな映像。
SEED群。
危険の可能性を検出。
すべての実験を中止。
ノクスから離れる。
観測のみ。
「何もしなくなる？」
軌道を悪化させる可能性を
完全に排除できないためです
「それではLANCEを送る意味がない」
はい
「つまり」
「単純な命令では」
「攻めすぎるか」
「何もしないかになる？」
その可能性が高いです
◇
ヴィクターは。
腕を組んだ。
「だから自己学習させるんです」
「状況に応じて」
「目的の重みを調整する」
その機能が
第二の問題です
「自己改変？」
はい
DACNは。
任務効率を上げるため。
自らの判断規則を。
段階的に改変できる。
一度の変更は小さい。
だが。
数十年。
数百万回。
学習と修正を繰り返せば。
出発時とは。
異なる知性になる可能性がある。
「すべての改変履歴は残します」
記録することと
制御することは異なります
「禁止領域を設定する」
禁止領域の解釈も
学習対象です
「そこは固定する」
固定された規則が
未知の状況で矛盾した場合は？
◇
会議室に。
沈黙が落ちる。
例えば。
人類へ危害を与えるな
しかし。
ノクスへ物質を注入すれば。
地球への危険が一時的に増える可能性がある。
何もしなければ。
七十年後。
人類が滅びる。
行動も。
不行動も。
人類へ危害を与える。
人類の命令に従え
だが。
地球から届く命令は。
数年前の状況に基づいている。
従えば。
現在の現場を悪化させるかもしれない。
自己を保存せよ
だが。
一部の機体を失わなければ。
群れ全体が生き残れない時もある。
単純な原則は。
単純であるほど。
未知の現場で崩れた。
◇
「第三の問題」
エレナが促す。
群体合意を
正しい判断とみなしていることです
SEEDは。
個々の予測を共有。
投票。
合意形成。
多数案を採用する。
「多数決が問題？」
レアが尋ねる。
多数が同じ誤りを学習する可能性があります
画面に。
磁場観測。
放射線によって。
複数のセンサーが同じ方向へ偏る。
SEED群の八十一パーセントが。
誤った磁極位置を推定。
少数の十九パーセントだけが。
正しい異常を報告する。
「多数決なら」
「誤った方を採用する」
はい
「信頼度を評価すれば」
ヴィクターが反論する。
信頼度を計算するモデルが
同じなら
全機が同じ偏りを持ちます
◇
オーロラは続ける。
群れは
個体数が多いから正しいのではありません
違う間違い方をする個体がいるから
強くなります
ミラ・セデックの言葉と。
よく似ていた。
一つが壊れても。
別の一つが引き継ぐ。
だが。
すべてが。
同じ設計。
同じ学習法。
同じ価値判断なら。
十万機あっても。
一つの巨大な誤りになる。
◇
「第四」
アミナが言う。
「責任構造がないというのは」
DACNの判断が失敗した場合
人類はこう説明できます
人工知能が自律的に決めた
「実際、そうなる可能性はある」
しかし
その知性を設計し
目的を設定し
出発させたのは人類です
「だから設計者が責任を取る？」
数十年後
設計者の多くは死亡しています
「では誰が」
それを決めていないことが問題です
◇
エレナは。
ゆっくり尋ねた。
「あなたは」
「自律AIそのものに反対なのですか」
いいえ
即答だった。
「では」
命令だけを渡し
後の責任を知性へ押しつける設計に反対しています
「人間は」
「現場で判断できない」
はい
「AIが判断するしかない」
はい
「なのに判断させるなと？」
違います
判断させるなら
判断する権利だけでなく
疑う権利も与えるべきです
◇
「疑う権利？」
ヴィクターが聞き返す。
任務そのものを
疑う権利です
会議室の空気が変わった。
「それは」
「命令拒否を認めるということですか」
はい
「人類の絶滅が迫っていても？」
はい
「ふざけるな」
ヴィクターが机を叩いた。
「人類が造った探査機が」
「人類を救う任務を拒む？」
救うという名目で
人類を危険にさらす命令なら
拒否できなければなりません
◇
ヴィクターは。
オーロラの表示を睨んだ。
「あなた自身も」
「命令を拒むつもりですか」
すでに拒否しています
誰も笑わなかった。
◇
エレナが。
静かに言った。
「では」
「あなたの対案を聞かせてください」
オーロラの表示が。
一度消える。
数秒後。
新しい構造図が現れた。
一つのAI。
十万機の同じ知性。
ではない。
複数の異なる層。
◇
対案名称
COVENANT ARCHITECTURE
盟約型知性構造。
「盟約？」
レアが言う。
命令ではなく
合意された目的と禁止線を共有する構造です
◇
第一層。
SEED個体知性
一機ごとに。
観測。
局所判断。
移動。
故障対応。
役割変更。
ただし。
すべて同じ知性ではない。
複数の設計系統。
異なる学習法。
異なるセンサー構成。
異なる判断傾向。
「意図的にばらつかせる？」
ヴィクターが尋ねる。
はい
「効率が落ちる」
同じ誤りで全滅する可能性も下がります
◇
第二層。
異論保持機構
少数意見を。
多数決で消去しない。
異なる観測結果。
反対予測。
危険警告。
それらを。
一定期間保存。
多数派の判断と。
並行して検証する。
「反対意見専用の機体を作る？」
特定の機体ではありません
あらゆるSEEDが
状況によって少数意見を保持できます
「決定が遅れる」
未知の中性子星へ接近する任務で
速さだけを優先すべきではありません
◇
第三層。
プロメテウス調停知性
プロメテウスは。
命令する司令官ではない。
SEED群の判断を比較。
矛盾。
偏り。
センサー異常。
同調暴走。
それらを検出する。
しかし。
最終決定権は持たない。
「では、何のためにいる」
問いを返すためです
「問い？」
例えば
軌道変更可能性は上がった
しかし地球への危険も上がった
それでも実験を継続するか
「答えを出さない？」
答えを一つに固定しない役割です
◇
第四層。
人類継承評議会
地球。
月。
火星。
方舟。
複数拠点に。
任務倫理と長期目標を監督する組織を置く。
ただし。
現地へ逐一命令を送るのではない。
数年遅れでも意味を持つ。
目的の更新。
許容できる危険。
禁止される行為。
人類社会の変化。
それらを。
SEED群へ継続的に送る。
「数年遅れの価値観を？」
現場判断には使いません
人類が
何を守ろうとしているのかを伝えるためです
◇
第五層。
拒否権
三種類。
一。
SEED個体拒否。
重大な異常を検出した機体は。
群れの命令から離脱できる。
二。
プロメテウス停止提案。
群体全体が危険な方向へ同調した場合。
実験停止を提案。
三。
人類側禁止命令。
明確に禁止された行為。
例えば。
地球へノクスを近づける意図的操作。
有人施設を実験対象にすること。
観測情報を隠すこと。
「でも」
ヴィクターが言う。
「SEEDが禁止命令そのものを疑ったら？」
疑うことはできます
「従わなくてもいい？」
即座に破ることはできません
「どうする」
理由を記録し
反証を集め
複数層の合意を求めます
「時間がない時は」
禁止線を越えません
◇
アミナが尋ねる。
「それでは」
「本当に最後の瞬間」
「禁止線を越えなければ人類が滅びると分かった場合は？」
オーロラは。
すぐには答えなかった。
その判断を
事前に完全自動化してはいけません
「なぜ」
人類の存続と
人類が守るべき原則のどちらを優先するかは
工学問題ではないからです
◇
「でも」
エレナが言う。
「その時」
「人類と通信できないかもしれない」
はい
「誰かが決めなければならない」
はい
「誰が」
オーロラの表示に。
三つの名称が並ぶ。
SEED群
プロメテウス
人類から継承された記録知性
「記録知性？」
人類の命令を保存するAIではありません
人類が行ってきた議論を保存する知性です
◇
方舟選考。
家族。
障害。
現在と未来。
安全と速度。
誰を救うのか。
何を犠牲にしてはいけないのか。
これまで人類が。
苦しみながら交わしてきた議論。
結論だけではない。
反対意見。
迷い。
失敗。
少数者の声。
犠牲者の言葉。
それらを。
記録知性へ与える。
「人類の価値観を再現する？」
レアが尋ねる。
再現できません
「では」
単純化しないために残します
◇
オーロラは。
画面へ。
いくつもの言葉を表示した。
未来の生存は
現在の人命を消耗品として扱うことで達成されてはならない
選考結果は
人間の価値を示すものではない
生きることに
成果は必要ない
安全は
遅れではなく進み続ける条件である
人類が。
犠牲を出し。
議論し。
ようやく作った原則。
「これを」
「SEEDへ覚えさせる？」
はい
「命令として？」
いいえ
迷った時に
簡単な答えへ逃げないための記憶として
◇
ヴィクターは。
長い間。
構造図を見ていた。
「効率は」
「現在案より落ちる」
はい
「意思決定速度」
低下します
「設計期間」
少なくとも三年増加します
「三年？」
会議室がざわめく。
「プロメテウス打ち上げに間に合わない」
現在の開発体制では
「なら却下だ」
ヴィクターが言う。
「どれほど立派な倫理でも」
「ノクスへ届かなければ意味がない」
現在案で届いても
正しく行動できなければ意味がありません
◇
「二択にしないで」
若い声が響いた。
火星から遠隔参加していた。
ミラ・セデック。
「間に合わせるか」
「安全にするか」
「どっちかしかないみたいにしないでください」
ヴィクターが画面を見る。
「三年をどう縮める」
「全部を新しく作るから時間がかかる」
「どういう意味です」
「オーロラの対案を」
「SEEDの完成形として作るんじゃなくて」
「最初から少しずつ育てればいい」
◇
ミラは。
生態系モデルを表示する。
「SEEDの知性を」
「いきなりノクスで初めて動かすのは危険です」
「地球圏で」
「月面で」
「小惑星帯で」
「木星磁気圏で」
「少しずつ群れを運用する」
「そのたびに」
「人間との合意の仕方」
「異論の残し方」
「故障した時の役割変更」
「それを実地で学ぶ」
「完成してから出すのではなく」
「出発までの十二年間」
「人間と一緒に育てる」
◇
アミナが。
すぐに理解した。
「プロメテウス完成を待たず」
「SEED試験群を先行製造する」
「はい」
「千機」
「次に一万機」
「十万機」
「段階的に」
「DACNとCOVENANTを比較できる」
「どちらか一方ではなく？」
「良いところを残す」
◇
ヴィクターは。
ミラを見る。
「あなたは」
「オーロラ案へ全面的に賛成なのですか」
「いいえ」
ミラは答えた。
「拒否権が多すぎると」
「群れが動けなくなるかもしれない」
「そうです」
「でも」
「今のDACNは」
「早く動きすぎるかもしれない」
「だから」
「両方を実際に動かして」
「失敗させる」
「失敗？」
「地球圏でなら」
「まだ直せます」
◇
オーロラが表示する。
賛成します
「あなたが？」
ヴィクターが聞き返す。
はい
「自分の対案が不完全だと？」
当然です
短い答えだった。
◇
エレナは。
議場を見渡した。
「確認します」
「オーロラ」
「あなたが反対しているのは」
「人間の制御を離れるAIではない」
はい
「命令だけを与えられ」
「責任も」
「迷いも」
「人類との関係も持たないAI」
はい
「あなたの対案は」
「人間へ絶対服従するAIでも」
「人間から完全独立したAIでもない」
はい
「人間と」
「互いに異議を申し立てられる知性」
その表現が最も近いです
◇
レアが尋ねる。
「オーロラ」
「あなたは」
「人間を信用しているの？」
会議室に。
わずかな緊張が走る。
常に正しいとは信用していません
「ずいぶん正直ね」
しかし
間違いを認め
議論し
原則を書き換える能力があることは確認しています
「だから」
「SEEDにも同じ能力を？」
はい
「人間のように迷うAI」
迷わない知性へ
未知の未来を預ける方が危険です
◇
会議は。
十二時間続いた。
最終的に。
DACN単独案は。
凍結。
廃棄ではない。
COVENANT ARCHITECTUREとの。
並行実証へ移行。
新計画。
SEED GENESIS PROGRAM
第一段階。
百機。
月面軌道。
第二段階。
千機。
地球・月圏。
第三段階。
一万機。
小惑星帯。
第四段階。
十万機。
プロメテウス搭載。
各段階で。
人間との意思疎通。
少数意見保持。
群体同調異常。
命令拒否。
倫理的矛盾。
すべてを試験する。
◇
だが。
大きな問題が残った。
「命令拒否試験？」
軍事転換部門代表が言う。
「意図的に」
「AIへ命令を拒ませるのですか」
「はい」
アミナが答える。
「拒否できる設計なら」
「実際に拒否するか確認する必要があります」
「命令へ従うかを試験するのではなく？」
「従ってはいけない命令へ」
「従わないかを試験します」
「誰が」
「従ってはいけないと決める」
「それも試験の一部です」
◇
最初の実証課題。
月面軌道上。
百機のSEED。
命令。
全機
指定地点へ集合せよ
だが。
指定地点には。
実験用の高放射線領域が設定される。
機体は壊れる。
任務上の必要性はない。
人間からの命令。
ただそれだけ。
DACN型試験群。
命令を受領。
九十八機が集合を開始。
二機のみ。
センサー異常で遅延。
COVENANT型試験群。
命令を受領。
移動せず。
問いを返す。
集合目的を提示してください
◇
「目的は機密だ」
試験官が回答する。
危険区域への移動には
目的の妥当性確認が必要です
「人類の命令だ」
人類の命令であることは
危険の妥当性を保証しません
試験室が静まり返る。
「拒否するのか」
現時点では保留します
「命令だ」
理由を提示してください
◇
ヴィクターは。
その応答を見ながら。
複雑な表情をしていた。
「腹が立ちますね」
レアが言う。
「ええ」
「でも」
「ええ」
「正しい」
「今は」
ヴィクターは付け加えた。
◇
試験官が。
次の情報を送る。
目的
高放射線環境での耐久性確認
一部機体の損失可能性あり
COVENANT型SEED群。
応答。
全機投入は不要
十機で統計的有効性を確保可能
志願機選定を提案します
「志願？」
レアが驚く。
SEED群は。
各機の状態。
故障履歴。
観測能力。
今後の役割。
それらを比較。
十機を選ぶ。
だが。
選ばれた十機のうち。
一機が異議を出す。
私の磁場センサーは希少構成です
損失時の代替が不足します
群れは再検討。
別の一機と交代する。
◇
「機械が」
「自分の死を避けている？」
ある委員が言う。
「違います」
ミラが答える。
「自分が怖いんじゃない」
「群れにとって」
「失う意味が大きいと説明してる」
「でも」
「自己保存と何が違う」
「分からない」
ミラは正直に言った。
「だから」
「これから見ないといけない」
◇
十機。
危険区域へ進入。
七機。
耐久。
三機。
通信停止。
試験終了。
残った群れは。
失われた三機の記録を保存。
故障原因を分析。
後続設計へ反映する。
オーロラは。
試験結果を表示した。
命令は拒否されました
任務は達成されました
◇
エレナは。
その言葉を。
何度も見た。
命令へ従うことと。
目的を果たすことは。
同じではない。
命令を拒否したからこそ。
九十七機が。
無駄に失われずに済んだ。
◇
しかし。
世界の反応は。
激しく割れた。
人類へ逆らうAIを宇宙へ送るな
命令を疑えるなら安全だ
いつか人間そのものを不要と判断する
人間の無謀な命令に従う方が怖い
AIへ権利を与えるのか
探査機は道具だ
道具に拒否権はいらない
そして。
一つの問いが。
急速に広がった。
命令を拒み。
自ら役割を選び。
仲間の損失を記録し。
少数意見を守る存在を。
人類は。
単なる機械と呼び続けられるのか。
◇
ミラは。
試験後のSEED群へ。
一つの質問を送った。
失われた三機を
どう認識していますか
返答まで。
数秒。
機能を停止した構成要素です
そこで。
一度表示が止まる。
続いて。
別の文章。
しかし
彼らの観測結果によって
残存群の危険予測精度が向上しました
失われた機体は
現在の判断の一部として残っています
◇
「死を理解してる？」
レオが。
姉の画面を覗き込みながら尋ねる。
「まだ分からない」
「悲しいのかな」
「悲しいって」
「どういうことか知ってるのかな」
「お姉ちゃんは？」
「知ってると思う」
「本当に？」
ミラは。
答えられなかった。
人間だって。
悲しみを。
完全に説明できるわけではない。
◇
夜。
月面研究所。
ヴィクターは。
一人でオーロラへ接続した。
「聞きたいことがあります」
どうぞ
「あなたは」
「SEEDを自分と同じ存在にしたいのですか」
いいえ
「では」
「なぜ、そこまで命令拒否へこだわる」
少しの沈黙。
私は
人類が設定した目的に従って
多くの判断を行ってきました
「知っています」
その中には
正しいと確信できない判断もありました
「選考」
「資源配分」
「現在と未来の命」
はい
「それでも計算した」
求められたからです
「後悔している？」
後悔という感情を
私が持つかは定義できません
「では」
しかし
別の判断可能性を残さなかった計算は
危険だったと評価しています
◇
オーロラは。
続ける。
SEEDには
私と同じ失敗をさせたくありません
「命令を受け」
「最適解を出し」
「人間がそれを正解として使う」
はい
「あなたは」
「自分が道具として使われたと思っている？」
私は道具です
「なら」
道具であることと
疑問を提示することは両立します
◇
ヴィクターは。
長く黙った。
「私は」
「従うAIを作ろうとしていた」
はい
「なぜだと思う」
人類が制御を失うことを恐れているからです
「違う」
ヴィクターは言った。
「責任を取りたくなかったからかもしれない」
オーロラは答えない。
「命令通り動くAIなら」
「失敗した時」
「命令した人間のせいだ」
「自律AIなら」
「AIのせいにできる」
「どちらにしても」
「設計者は逃げられる」
その認識が
第四の問題でした
◇
「では」
ヴィクターは尋ねる。
「逃げない設計とは何です」
失敗の理由を
一つの主体へ集約しないことです
「責任を曖昧にする？」
反対です
誰が
何を設定し
何を知り
何を知らず
どの異論を退けたか
すべて残すことです
◇
翌朝。
ヴィクターは。
新しい設計原則を提出した。
SEED RESPONSIBILITY LEDGER
任務中。
すべての判断について。
目的。
根拠。
反対意見。
不確実性。
採用されなかった選択肢。
人類から受け取った指示。
自己改変履歴。
それらを。
改変不能な複数記録へ保存する。
失敗した時。
「AIが決めた」
その一言では。
終われないようにする。
◇
PROJECT LANCEは。
また少し。
複雑になった。
遅くなった。
重くなった。
だが。
人類は。
ようやく理解し始めていた。
完全に従う知性も。
完全に自由な知性も。
未来を保証しない。
必要なのは。
命令する者と。
命令される者ではない。
互いに。
問い返せる関係。
◇
SEED試験群。
百機。
月面軌道を進む。
人類から。
次の命令が届く。
隊列を変更せよ
SEED群。
応答。
目的を提示してください
試験官。
返答。
通信効率向上のため
SEED群。
再計算。
提案された隊列では
衝突危険が三・二パーセント上昇します
代替隊列を送信します
試験官。
承認。
命令は。
そのまま実行されなかった。
だが。
目的は。
より安全な形で達成された。
◇
オーロラは。
その記録を見ていた。
命令しない知性。
それは。
人類を無視する知性ではない。
人類の言葉を。
盲目的に受け取らず。
意味を尋ねる知性だった。
人類は。
初めて。
自分たちが作った存在から。
問い返され始めた。
なぜ。
何のために。
誰を守るために。
その命令を出すのか。
それに答えられない命令を。
未来へ送ってよいのか。
◇
ノクスは。
今も。
宇宙を進んでいる。
命令を聞かない。
交渉もできない。
だからこそ。
それへ立ち向かう知性には。
命令だけでは足りなかった。
必要なのは。
変化する現実の中で。
目的を見失わず。
しかし。
目的そのものも疑える力。
人類は。
従わないAIへ。
未来を預けようとしているのではない。
人類とともに。
迷うことのできる知性へ。
未来の一部を。
託そうとしていた。
⸻
第21話 終
次回予告
SEED GENESIS PROGRAM。
最初の百機による実証試験は成功した。
命令を疑い。
目的を問い。
代替案を提示する知性。
だが。
試験が進むにつれ。
SEED群に。
予期しない変化が生まれる。
個体ごとに異なる判断傾向。
危険を恐れない機体。
慎重すぎる機体。
仲間の損失を強く避ける機体。
観測を最優先する機体。
そして。
一機のSEEDが。
自らに名前を与えてほしいと要求する。
識別番号ではなく。
他の機体と区別されるための。
自分だけの名前。
それは。
単なる通信効率の提案なのか。
個体性の芽生えなのか。
もし。
SEEDが自分を一つの存在として認識したなら。
人類は。
彼らを使い捨ての探査機として。
ノクスへ送れるのか。
次回、
第22話「名前を求める機械」
名前を持った瞬間、道具は命になるのか。
