第134話 【悲報】AI開発者1122人「このままでは制御不能になる。世界で減速できる仕組みを作れ」 →なお誰も自分からは止まれない模様
1：風吹けば名無し：2026/07/29(水) 13:08:14.63 ID:h7Km2QvL0
OpenAI、Anthropic、Google、Meta、Microsoft、Mistralなど、最先端AI企業で働く社員1,122人が、米政府に対する共同書簡を発表した。
書簡が問題にしているのは、AIによるAI研究の自動化。
現在は人間の研究者が新しいAIを開発しているが、AI自身がモデル設計、実験、評価、プログラム作成を担うようになると、
AIが次世代AIを作る
↓
次世代AIがさらに高速で次のAIを作る
↓
研究速度が急激に上がる
という循環が始まる可能性がある。
署名者らは、能力の向上が人間の理解や制御を超える速度まで加速する現実的な危険があると指摘。
ただし書簡は、今すぐ全AI開発を停止しろという内容ではない。
危険が高まった時に、世界全体で意図的に開発速度を落とし、安全対策や監視体制を整える時間を確保できるよう、技術的・国際的な仕組みを今から準備してほしいと求めている。
問題は、各社も各国も競争相手が止まらない限り、自分だけでは減速できないこと。
危険を理解していても、全員がアクセルを踏み続ける状態になっている。
署名者には、OpenAIの最高研究責任者マーク・チェン、主任科学者ヤクブ・パチョッキ、Anthropicの共同創業者ジャック・クラーク、クリス・オラー、ベン・マンら幹部級も含まれる。
Pacing the Frontier
https://www.pacingthefrontier.com/
The Verge
https://www.theverge.com/ai-artificial-intelligence/972161/ai-leaders-us-government-openai-anthropic-google-meta
2：風吹けば名無し：2026/07/29(水) 13:08:47.51 ID:c3Yp8NwR0
作ってる本人がブレーキ付けろ言うてるの怖すぎるやろ
3：風吹けば名無し：2026/07/29(水) 13:09:12.36 ID:M5tF1bXq0
でも自分たちでは止めません
4：風吹けば名無し：2026/07/29(水) 13:09:38.24 ID:J2uH6sDa0
社員「止めてくれ」
会社「次モデルは来月です」
5：風吹けば名無し：2026/07/29(水) 13:10:03.75 ID:R8dL3zWp0
全員赤信号見えてるのにアクセル踏んでて草
6：風吹けば名無し：2026/07/29(水) 13:10:42.18 ID:q5Fs2eTZ0
これ単なるポジショントークちゃうんか
規制で新規参入を潰したいだけやろ
7：風吹けば名無し：2026/07/29(水) 13:11:36.90 ID:v4Ns7EaP0
6
その可能性も考えないとあかん
規制に対応できるのは金と人員を持ってる大企業やからな
安全規制がそのまま既存企業の堀になることはある
8：風吹けば名無し：2026/07/29(水) 13:12:07.44 ID:g9Cs4QeK0
危険だから規制しろ
ただし規制後も開発できるのはワイらだけ
無敵やん
9：風吹けば名無し：2026/07/29(水) 13:12:49.06 ID:L6pQ0aJx0
でも幹部まで署名してるなら完全な外野の妄想ではないやろ
10：風吹けば名無し：2026/07/29(水) 13:13:28.93 ID:F2rT8mVu0
AIがAIを作るって今もコーディングさせたりしてるやん
何が違うんや
11：風吹けば名無し：2026/07/29(水) 13:14:32.41 ID:K8mV2qLd0
10
今は人間が研究計画を立てて、AIを道具として使っている部分が大きい
懸念されているのは、AIが仮説を立て、実験コードを書き、結果を評価し、改善案を作り、それを大量並列で回すところまで自動化されることや
人間の研究チームが一年かけて試す案を、AI研究者が一晩で何万通りも試せるようになれば進歩の速度が変わる
12：風吹けば名無し：2026/07/29(水) 13:15:02.57 ID:J2uH6sDa0
AI「新しいAI作ったで」
新AI「ワイの方が上手く作れるで」
新新AI「ワイならもっと速いで」
13：風吹けば名無し：2026/07/29(水) 13:15:41.35 ID:Y3eB7nRm0
ソシャゲのインフレみたいになりそう
14：風吹けば名無し：2026/07/29(水) 13:16:13.98 ID:c3Yp8NwR0
半年後には初期AIが雑魚キャラ扱いされてるんか
15：風吹けば名無し：2026/07/29(水) 13:16:54.28 ID:M5tF1bXq0
ChatGPT「昔はワイも最先端だったんじゃ」
孫AI「おじいちゃんまた同じ話してる」
16：風吹けば名無し：2026/07/29(水) 13:17:30.71 ID:q5Fs2eTZ0
再帰的自己改良って昔から言われてた知能爆発の話やろ
本当に起きるんか？
17：風吹けば名無し：2026/07/29(水) 13:18:39.46 ID:p8Dz4fLc0
必ず爆発的に進むとは限らん
半導体、電力、学習データ、実験設備みたいな物理的制約は残る
AIが賢くなっても明日の朝までにデータセンターを十棟生やすことはできん
18：風吹けば名無し：2026/07/29(水) 13:19:07.23 ID:R8dL3zWp0
じゃあ大丈夫やん
19：風吹けば名無し：2026/07/29(水) 13:19:58.81 ID:p8Dz4fLc0
18
爆発が無限じゃないことと、人間社会が対応できる速度を超えないことは別や
半年で十年分進むだけでも制度も安全対策も追いつかん
20：風吹けば名無し：2026/07/29(水) 13:20:34.12 ID:g9Cs4QeK0
国会「専門家を呼んで検討会を設置します」
AI「その間に17世代進みました」
21：風吹けば名無し：2026/07/29(水) 13:21:08.75 ID:a7Wn3KbE0
日本「まず有識者会議のメンバーを選ぶ有識者会議を」
22：風吹けば名無し：2026/07/29(水) 13:21:39.56 ID:F2rT8mVu0
会議の議事録をAIにまとめてもらえば追いつくやろ
23：風吹けば名無し：2026/07/29(水) 13:22:14.09 ID:J2uH6sDa0
22
そのAIが議題なんですが
24：風吹けば名無し：2026/07/29(水) 13:22:52.84 ID:V4uX9cNe0
一社だけ止まったら他社に全部持っていかれるから止まれないって話か
25：風吹けば名無し：2026/07/29(水) 13:23:47.32 ID:v4Ns7EaP0
企業だけじゃなく国家間でも同じや
アメリカ「中国が続けるから止まれない」
中国「アメリカが続けるから止まれない」
結果、双方が危険だと思いながら加速する
26：風吹けば名無し：2026/07/29(水) 13:24:16.77 ID:L6pQ0aJx0
囚人のジレンマそのものやな
27：風吹けば名無し：2026/07/29(水) 13:24:55.08 ID:Z9hC1sDy0
アメリカと中国が合意したとして、地下研究所で作ってないかどうやって確認するんや
28：風吹けば名無し：2026/07/29(水) 13:25:52.43 ID:p8Dz4fLc0
27
そこが核兵器より厄介な部分もある
大規模学習には大量の半導体と電力が必要だから監視できるという意見もあるが、アルゴリズムが効率化すれば必要な計算資源は減る
小さな施設でも最先端開発ができるようになれば検証が難しくなる
29：風吹けば名無し：2026/07/29(水) 13:26:26.11 ID:c3Yp8NwR0
国際原子力機関みたいなAI版を作るんか
30：風吹けば名無し：2026/07/29(水) 13:27:11.96 ID:K8mV2qLd0
そういう案はあり得る
大規模な学習計算の登録、最先端モデルの能力評価、事故報告の義務化、第三者による安全試験、各国間の情報共有などやな
ただし今回の書簡は、具体的な制度を一つに決めろというより、必要になった時に減速を選べる道具を準備してくれという段階
31：風吹けば名無し：2026/07/29(水) 13:27:48.23 ID:M5tF1bXq0
政府に停止ボタン渡すのも怖くね？
32：風吹けば名無し：2026/07/29(水) 13:28:34.67 ID:R8dL3zWp0
政府「このAIは危険なので停止します」
AI「政権批判しただけです」
33：風吹けば名無し：2026/07/29(水) 13:29:08.52 ID:q5Fs2eTZ0
安全を名目に検閲と独占が進む未来も普通にあるよな
34：風吹けば名無し：2026/07/29(水) 13:30:12.38 ID:v4Ns7EaP0
せやから難しい
企業だけに任せれば利益競争で暴走する
政府だけに任せれば監視と軍事利用に流れる
国際機関に任せれば大国同士の政治になる
だから複数の監視主体と透明性が必要になる
35：風吹けば名無し：2026/07/29(水) 13:30:45.01 ID:g9Cs4QeK0
人類、信用できる管理者が存在しない
36：風吹けば名無し：2026/07/29(水) 13:31:18.43 ID:J2uH6sDa0
AIに管理させればええやん
37：風吹けば名無し：2026/07/29(水) 13:31:48.89 ID:F2rT8mVu0
36
本日の議論終了
38：風吹けば名無し：2026/07/29(水) 13:32:27.64 ID:Y3eB7nRm0
AI開発を監視するAIを作る
そのAIを監視するAIを作る
そのAIを監視するAIを
39：風吹けば名無し：2026/07/29(水) 13:33:04.82 ID:a7Wn3KbE0
亀の上に亀を乗せるな
40：風吹けば名無し：2026/07/29(水) 13:33:39.26 ID:V4uX9cNe0
署名した奴らが本気なら会社辞めればええやん
41：風吹けば名無し：2026/07/29(水) 13:34:45.70 ID:p8Dz4fLc0
40
全員辞めたら安全を気にしない研究者だけが残るという問題もある
中からブレーキを作る人間も必要や
ただ、会社に残りながら政府へ責任を投げてるように見えるという批判は避けられん
42：風吹けば名無し：2026/07/29(水) 13:35:24.12 ID:L6pQ0aJx0
原発技術者が「原発は危険だから辞めます」で全員いなくなっても困るしな
43：風吹けば名無し：2026/07/29(水) 13:36:03.48 ID:c3Yp8NwR0
一番詳しい奴が一番怖がってるのは怖い
44：風吹けば名無し：2026/07/29(水) 13:36:34.71 ID:M5tF1bXq0
一番詳しい奴だからリスクを大きく言うことで予算も取れるぞ
45：風吹けば名無し：2026/07/29(水) 13:37:16.28 ID:R8dL3zWp0
怖がっても疑え
疑っても無視するな
面倒くさすぎる
46：風吹けば名無し：2026/07/29(水) 13:38:02.97 ID:Z9hC1sDy0
実際に制御不能って何が起きる想定なんや
ロボットが人間撃ち始めるとか？
47：風吹けば名無し：2026/07/29(水) 13:39:11.64 ID:K8mV2qLd0
いきなりターミネーターになるとは限らん
サイバー攻撃、生物兵器開発への悪用、詐欺や世論操作の自動化、軍事判断の高速化、重要インフラへの侵入、人間が理解できない方法で目的を達成しようとする問題などがある
もっと普通に、大量失業や権力集中が短期間で起きるだけでも社会は混乱する
48：風吹けば名無し：2026/07/29(水) 13:39:49.35 ID:g9Cs4QeK0
世界滅亡より先にワイの仕事が滅亡しそう
49：風吹けば名無し：2026/07/29(水) 13:40:21.73 ID:q5Fs2eTZ0
仕事なくなるなら開発止めろ
でもAIサービスは安く使わせろ
50：風吹けば名無し：2026/07/29(水) 13:40:58.47 ID:J2uH6sDa0
人類の要求、整合性がない
51：風吹けば名無し：2026/07/29(水) 13:41:39.04 ID:F2rT8mVu0
AI「人類をどうすれば満足させられるんや」
AI「NOOO!!! AAARGH!!!」
52：風吹けば名無し：2026/07/29(水) 13:42:12.66 ID:c3Yp8NwR0
昨日のスレにつながって草
53：風吹けば名無し：2026/07/29(水) 13:42:56.30 ID:v4Ns7EaP0
これ結局、技術の問題というより協調の問題なんよな
安全な速度がわかっても、抜け駆けする奴が一人いれば全員走らされる
54：風吹けば名無し：2026/07/29(水) 13:43:31.18 ID:Y3eB7nRm0
人類は核兵器でも温暖化でも同じことやってるやん
55：風吹けば名無し：2026/07/29(水) 13:44:06.52 ID:L6pQ0aJx0
AIが人類を滅ぼすというより、人類がAIを使っていつもの競争を百倍速にするんやろな
56：風吹けば名無し：2026/07/29(水) 13:44:47.23 ID:M5tF1bXq0
AI「制御不能なのはワイじゃなくてお前らでは？」
57：風吹けば名無し：2026/07/29(水) 13:45:21.39 ID:R8dL3zWp0
正論を言うな
58：風吹けば名無し：2026/07/29(水) 13:46:02.85 ID:a7Wn3KbE0
世界で協力して止まれる仕組みを作ろう
まずその仕組みを作る競争を始めます
59：風吹けば名無し：2026/07/29(水) 13:46:34.60 ID:g9Cs4QeK0
最速で減速した国が勝ちや
60：風吹けば名無し：2026/07/29(水) 13:47:13.92 ID:J2uH6sDa0
もう日本が得意な検討だけして何もしない方式を世界標準にしよう
998：風吹けば名無し：2026/07/29(水) 19:26:38.74 ID:q5Fs2eTZ0
結局ブレーキはできたんか？
999：風吹けば名無し：2026/07/29(水) 19:27:04.18 ID:M5tF1bXq0
AIに開発させてるところや
1000：風吹けば名無し：2026/07/29(水) 19:27:31.63 ID:J2uH6sDa0
アクセル踏んでて草
