第135話 【悲報】AIさん、文章を理解するために「巨大な九九」を何兆回も回していた →なお人間の脳は約20ワット
1：風吹けば名無し：2026/07/30(木) 09:12:08.43 ID:K8mV2qLd0
ChatGPTなどの生成AIは、人間のように文章を読み、意味を考えて答えているように見える。
しかし、その土台で行われている処理の大部分は、膨大な数の掛け算と足し算。
単語や文章を大量の数値へ変換し、何十億から何千億個もの「重み」と掛け合わせ、次に来る言葉の確率を計算している。
簡単に言えば、超巨大な行列を使った九九を、何層にもわたって繰り返している。
コンピューターは数学が苦手なのではない。
整数や記号計算では、人間より圧倒的に速く正確。
ただし、円周率や3分の1のように有限の桁では表せない数を、そのまま無限の精度で保存することはできない。
そこで浮動小数点という方式を使い、限られたビット数の中で近似値として扱う。
面白いのは、AIが一つ一つの計算に必ずしも高い精度を必要としないこと。
32ビットで計算していた数値を16ビット、8ビット、場合によっては4ビットまで粗くしても、性能が大きく落ちないことがある。
これが「量子化」。
数字を粗くすると、一度に多くの計算ができ、モデルを保存するメモリとデータ転送量も減らせる。
ところがAIモデル自体が巨大化し続けているため、効率化で浮いた分を、さらに大きなモデルと長い推論に使ってしまう。
結果、GPUと電力の爆食いはなかなか止まらない。
しかもLLMの生成時には、計算器そのものより、何十億もの重みをメモリから読み込む速度がボトルネックになることも多い。
一方、人間の脳は約20ワット。
視覚、言語、運動、記憶、感情などを同時に処理している。
脳はすべての神経細胞を毎回一斉に動かすのではなく、必要な部分だけが疎に活動する。
記憶と演算も、GPUと外部メモリほど離れていない。
次世代AIの鍵は、GPUを増やすだけではなく、
低ビット化
必要な部分だけ動かす疎な計算
Mixture of Experts
記憶と演算を近づけるインメモリ計算
脳の神経発火を模倣するニューロモーフィック・チップ
など、計算機そのものの作り方を変えることかもしれない。
なお、量子コンピューターは特定の問題には強いが、現在の生成AIをそのまま超省電力化する魔法のGPUではない。
NVIDIA 混合精度学習
https://developer.nvidia.com/blog/video-mixed-precision-techniques-tensor-cores-deep-learning/
LLM推論のGPUボトルネック分析
https://arxiv.org/html/2503.08311v2
脳型コンピューティング
https://www.nature.com/articles/s41467-019-12521-x
2：風吹けば名無し：2026/07/30(木) 09:12:39.71 ID:c3Yp8NwR0
知性の正体が巨大な九九で草
3：風吹けば名無し：2026/07/30(木) 09:13:02.64 ID:M5tF1bXq0
ワイも九九を何兆回かやれば賢くなれる？
4：風吹けば名無し：2026/07/30(木) 09:13:24.18 ID:J2uH6sDa0
3
お前は七の段で止まるやろ
5：風吹けば名無し：2026/07/30(木) 09:13:53.82 ID:R8dL3zWp0
脳20ワットってマジ？
ワイのゲーミングPC800ワットなんやが
6：風吹けば名無し：2026/07/30(木) 09:14:16.33 ID:q5Fs2eTZ0
なお脳の出力はなんJ
7：風吹けば名無し：2026/07/30(木) 09:14:39.05 ID:g9Cs4QeK0
コスパ悪すぎて草
8：風吹けば名無し：2026/07/30(木) 09:15:21.29 ID:L6pQ0aJx0
文章を理解してるんじゃなくて、次の単語を予測してるだけってこと？
9：風吹けば名無し：2026/07/30(木) 09:16:17.48 ID:K8mV2qLd0
8
基本的な学習目標は次に来るトークンの予測や
ただ、予測を高い精度で続けるには、文法、意味、人間関係、物理法則、ある程度の推論パターンまで内部に持つ必要がある
「次の言葉を予測しているだけ」は間違いではないが、その「だけ」の中身が異常に大きい
10：風吹けば名無し：2026/07/30(木) 09:16:49.90 ID:F2rT8mVu0
人間も会話中に次の言葉考えてるだけでは？
11：風吹けば名無し：2026/07/30(木) 09:17:31.61 ID:Y3eB7nRm0
ワイ「おはよう」
上司「おはよう」
ワイの脳「会話終了」
12：風吹けば名無し：2026/07/30(木) 09:18:05.19 ID:V4uX9cNe0
行列の掛け算って何がそんなに大変なんや
13：風吹けば名無し：2026/07/30(木) 09:19:12.73 ID:p8Dz4fLc0
一回の掛け算が難しいわけではない
数が多すぎるんや
数千から数万個の値が並んだ表同士を、何十層、何百層と掛け合わせる
しかも文章を一語生成するたびにモデル全体を通す
14：風吹けば名無し：2026/07/30(木) 09:19:44.53 ID:c3Yp8NwR0
AI「こんにちは」を言うために裏で工場動かしてるんか
15：風吹けば名無し：2026/07/30(木) 09:20:18.26 ID:M5tF1bXq0
ワイが「ありがとう」って送るたびにGPUが泣いてるの？
16：風吹けば名無し：2026/07/30(木) 09:20:52.91 ID:J2uH6sDa0
AI「どういたしまして」
GPU「うおおおおおおおお」
17：風吹けば名無し：2026/07/30(木) 09:21:30.44 ID:R8dL3zWp0
昨日からAIずっと叫んでるな
18：風吹けば名無し：2026/07/30(木) 09:22:06.35 ID:q5Fs2eTZ0
浮動小数点がよくわからん
普通の小数と何が違うんや
19：風吹けば名無し：2026/07/30(木) 09:23:18.68 ID:v4Ns7EaP0
限られた桁数で、ものすごく小さい数から大きい数まで扱うための表現方法や
符号、数字の本体、桁の位置みたいな部分に分けて保存する
便利やが、0.1みたいな単純な数でも二進数では有限桁で正確に表せない場合がある
20：風吹けば名無し：2026/07/30(木) 09:23:51.12 ID:g9Cs4QeK0
0.1すら正確に覚えられないのに人類より賢い顔してるのか
21：風吹けば名無し：2026/07/30(木) 09:24:34.76 ID:p8Dz4fLc0
20
人間も0.1リットルの水を原子一個単位で測ってるわけじゃないやろ
必要な精度で扱えれば実用上はええんや
22：風吹けば名無し：2026/07/30(木) 09:25:01.35 ID:L6pQ0aJx0
近似って欠陥じゃなくて現実を扱う方法なんやな
23：風吹けば名無し：2026/07/30(木) 09:25:46.08 ID:Z9hC1sDy0
量子化したら数字が雑になるのに、なんでAIは馬鹿にならないんや
24：風吹けば名無し：2026/07/30(木) 09:26:48.41 ID:K8mV2qLd0
23
ニューラルネットは一個の数字だけで知識を保存しているわけではない
情報が多数の重みに分散しているから、一部の値が少し丸められても全体の出力が大きく変わらないことがある
もちろん限界はあって、何でも1ビットにすれば同じ性能になるわけではない
壊れやすい層だけ高精度に残す混合精度も使われる
25：風吹けば名無し：2026/07/30(木) 09:27:28.64 ID:F2rT8mVu0
人間も会った日付は忘れるけど、嫌な奴だったことだけ覚えてるしな
26：風吹けば名無し：2026/07/30(木) 09:27:57.39 ID:Y3eB7nRm0
記憶を4ビット化するな
27：風吹けば名無し：2026/07/30(木) 09:28:42.53 ID:a7Wn3KbE0
ワイの上司に関する情報
無能
臭い
長い
3ビットで十分や
28：風吹けば名無し：2026/07/30(木) 09:29:19.21 ID:J2uH6sDa0
27
1ビットでも足りるやろ
嫌い＝1
29：風吹けば名無し：2026/07/30(木) 09:29:55.04 ID:R8dL3zWp0
GPUは計算よりデータ運びで疲れてるってどういうことや
30：風吹けば名無し：2026/07/30(木) 09:31:08.33 ID:p8Dz4fLc0
モデルの重みを倉庫にある部品だと思えばええ
演算器は工場や
部品を加工する速度がどれだけ速くても、倉庫から工場へ運ぶ道路が細ければ待ち時間が増える
LLMは一語出すたび大量の重みを読み込むから、メモリ帯域が詰まりやすい
31：風吹けば名無し：2026/07/30(木) 09:31:40.72 ID:c3Yp8NwR0
GPUさん計算より荷物運びで疲れてて草
32：風吹けば名無し：2026/07/30(木) 09:32:16.56 ID:M5tF1bXq0
Amazon倉庫かな
33：風吹けば名無し：2026/07/30(木) 09:32:51.28 ID:g9Cs4QeK0
演算器「仕事ください」
メモリ「今運んでます」
演算器「まだ？」
34：風吹けば名無し：2026/07/30(木) 09:33:34.90 ID:V4uX9cNe0
量子化すると荷物が小さくなるから速いのか
35：風吹けば名無し：2026/07/30(木) 09:34:23.17 ID:v4Ns7EaP0
34
そう
32ビットの重みを4ビットにできれば、理屈の上では保存量が8分の1になる
同じメモリに大きなモデルを置けるし、運ぶデータも減る
実際には変換処理や追加情報があるから単純に全部8倍とはいかんけどな
36：風吹けば名無し：2026/07/30(木) 09:34:58.45 ID:q5Fs2eTZ0
効率化すれば電力も減るんやな
37：風吹けば名無し：2026/07/30(木) 09:35:39.86 ID:K8mV2qLd0
一回の処理当たりは減る可能性が高い
でも企業は浮いた計算資源で、もっと大きなモデルを作り、利用回数も増やす
燃費のいい車ができたから、全員が遠くまで走るようなものや
38：風吹けば名無し：2026/07/30(木) 09:36:11.91 ID:J2uH6sDa0
研究者「二倍効率化したぞ！」
経営者「じゃあ十倍でかくするぞ！」
39：風吹けば名無し：2026/07/30(木) 09:36:44.02 ID:L6pQ0aJx0
永久に電気減らないやんけ
40：風吹けば名無し：2026/07/30(木) 09:37:19.63 ID:F2rT8mVu0
冷蔵庫も省エネになったのに昔より家電増えてるしな
41：風吹けば名無し：2026/07/30(木) 09:37:57.29 ID:Y3eB7nRm0
人類、効率化すると節約せず仕事を増やす
42：風吹けば名無し：2026/07/30(木) 09:38:38.46 ID:Z9hC1sDy0
脳はなんで20ワットで済むんや
43：風吹けば名無し：2026/07/30(木) 09:39:49.14 ID:p8Dz4fLc0
完全には解明されてない
ただ、脳は必要な神経だけが低頻度で発火する疎な処理をしている
記憶する場所と計算する場所が近い
デジタル計算機みたいに全部を正確なクロックで同期させず、ノイズや故障にも強い
学習方法も現在のAIとは全然違う
44：風吹けば名無し：2026/07/30(木) 09:40:21.83 ID:R8dL3zWp0
ワイの脳も必要な時しか動かんぞ
45：風吹けば名無し：2026/07/30(木) 09:40:47.52 ID:c3Yp8NwR0
お前のは必要な時も動いてない
46：風吹けば名無し：2026/07/30(木) 09:41:26.06 ID:M5tF1bXq0
脳の曖昧さって欠陥じゃなくて省エネ機能なんか？
47：風吹けば名無し：2026/07/30(木) 09:42:24.90 ID:v4Ns7EaP0
そういう側面はありそうや
人間は目の前の猫を認識する時、毛の一本一本の座標を小数点以下まで計算してない
重要な特徴だけ拾って「猫」と判断する
厳密さが必要な計算は苦手やが、曖昧な現実への適応は強い
48：風吹けば名無し：2026/07/30(木) 09:42:58.73 ID:g9Cs4QeK0
人間「だいたい猫やろ」
20ワット
GPU「各画素を数値化して何層も計算します」
800ワット
49：風吹けば名無し：2026/07/30(木) 09:43:31.19 ID:q5Fs2eTZ0
なお人間はビニール袋も猫と認識する模様
50：風吹けば名無し：2026/07/30(木) 09:44:02.94 ID:J2uH6sDa0
暗闇ならしゃーない
51：風吹けば名無し：2026/07/30(木) 09:44:41.20 ID:V4uX9cNe0
脳型チップ作れば全部解決するんか？
52：風吹けば名無し：2026/07/30(木) 09:45:48.83 ID:K8mV2qLd0
まだそんな簡単ではない
ニューロモーフィック・チップは、必要な時だけ信号を出すスパイキングニューラルネットなどで省電力化を狙っている
画像やセンサー処理では有望だが、現在の巨大LLMをそのまま移せば同じ能力が出るわけではない
ソフト、学習法、ハードを一緒に作り直す必要がある
53：風吹けば名無し：2026/07/30(木) 09:46:21.43 ID:L6pQ0aJx0
結局コンピューターを脳に近づけるのか、脳をコンピューターに近づけるのか
54：風吹けば名無し：2026/07/30(木) 09:46:59.15 ID:a7Wn3KbE0
ワイの脳にGPU挿したら賢くなる？
55：風吹けば名無し：2026/07/30(木) 09:47:22.68 ID:F2rT8mVu0
熱で死ぬ
56：風吹けば名無し：2026/07/30(木) 09:47:54.06 ID:Y3eB7nRm0
ファンも頭につけとけ
57：風吹けば名無し：2026/07/30(木) 09:48:29.73 ID:R8dL3zWp0
量子コンピューターなら全部一瞬なんやろ？
58：風吹けば名無し：2026/07/30(木) 09:49:38.51 ID:p8Dz4fLc0
その理解は違う
量子コンピューターは、特定の構造を持つ問題で高速化が期待されている
あらゆる計算を一瞬で終わらせる機械ではない
今のLLMをそのまま量子計算機へ載せれば、電力が激減して賢くなるという段階でもない
59：風吹けば名無し：2026/07/30(木) 09:50:09.24 ID:c3Yp8NwR0
量子「また万能扱いされてる……」
60：風吹けば名無し：2026/07/30(木) 09:50:43.87 ID:M5tF1bXq0
「量子」って付ければ何でも未来っぽくなるからしゃーない
61：風吹けば名無し：2026/07/30(木) 09:51:16.30 ID:g9Cs4QeK0
量子なんJ
62：風吹けば名無し：2026/07/30(木) 09:51:42.71 ID:J2uH6sDa0
書き込むまでレス内容が確定しない
63：風吹けば名無し：2026/07/30(木) 09:52:14.28 ID:q5Fs2eTZ0
観測した瞬間落ちるぞ
64：風吹けば名無し：2026/07/30(木) 09:52:57.93 ID:Z9hC1sDy0
結局AIの電力問題は解決するんか？
65：風吹けば名無し：2026/07/30(木) 09:54:06.85 ID:K8mV2qLd0
改善はできる
低ビット化、モデルの圧縮、必要な専門部分だけ動かすMoE、使わない重みを省く疎な計算、メモリと演算の統合、専用チップなど手段は多い
ただし効率向上以上の速さでモデル規模と需要が増えれば、総電力は増える
技術だけでなく「何にどれだけAIを使うか」の問題でもある
66：風吹けば名無し：2026/07/30(木) 09:54:42.19 ID:v4Ns7EaP0
全メールの末尾を考えるために発電所建てる必要ある？
67：風吹けば名無し：2026/07/30(木) 09:55:07.53 ID:L6pQ0aJx0
「承知しました」をAIに書かせる時代やぞ
68：風吹けば名無し：2026/07/30(木) 09:55:34.82 ID:F2rT8mVu0
しかも受け取った側もAIで要約する
69：風吹けば名無し：2026/07/30(木) 09:56:08.41 ID:Y3eB7nRm0
AI「承知しましたと書きました」
AI「承知したという意味です」
人間「よし」
70：風吹けば名無し：2026/07/30(木) 09:56:39.63 ID:R8dL3zWp0
発電所「うおおおおおおおお」
998：風吹けば名無し：2026/07/30(木) 17:42:18.34 ID:q5Fs2eTZ0
脳20ワットなら今日はもう省エネモードにするわ
999：風吹けば名無し：2026/07/30(木) 17:42:46.82 ID:M5tF1bXq0
お前は朝からスリープ状態やろ
1000：風吹けば名無し：2026/07/30(木) 17:43:09.27 ID:J2uH6sDa0
なお再起動の予定なし
