大規模言語モデルの賢さ

　何度も言ってきてるが、LLMすなわち大規模言語モデル＝今はやりのチャットAIについて無知な人間が多すぎる。本気で彼らが世の中の職を奪ってしまうと恐れてる人間が多いし、AI企業側もそんな事ばかりあおる。何故か？彼らはそれが仕事だからだ。

　世の中の不安をまき散らしてるだけじゃないか？雇用されてる側と利害が対立してるだけだ。雇用してる側にAI企業は訴えてるんだ。だから雇用される側、労働者何て知った事じゃない。だから世の中の職を奪ってしまう話を大げさに言うんだ。

　安全性に対して彼らがいうのはさすがに真面目に言ってる。これは社会不安を減らそうとしてるようだ。でも大量解雇時代が始まるのは彼られはそれが己のもうけに繋がるんだ。この点利害対立してるのだから、彼らは絶対に大げさに宣伝する。だから言う騙されるなと。そしてあまりに世の情報は無知すぎる意見が多い。

　そういえば不安をあおると記事は金になると聞いた事がある。もうこれはマスコミの癖だな、正しい情報何て簡単に手に入る。なのにマスコミが流す情報は一切まともな話が出てこない。異常なぐらいだ。今回も記事を見て書いてる。

　以前LLMが東大合格レベルに来たというのがあった、そして今回さらに大学院で論文を書くレベルにとまた一段教育水準が上がってきた。ここにオープンAIのアルトマンのインタビューが重なって紹介される。大解雇時代の未来について触れてくる。彼はこういった学問の成績が上がる事が大量解雇に繋がると言い切った。

　はっきり言おう嘘だ。ここまで酷い嘘はそうそう見れない。でもこれ人間なら超エリートでさらにまだまだLLMは賢くなるんだろ？そもそもAI業界の賢さってなんなんだ？こいつら例外なくエリートだ。学問の良き成績を出した人間たちだ。自分達を上回るから賢いのか？

　はっきり言おうアルトマンだけがおかしいわけじゃない。トップゆえに企業を守るための発言じゃない。AI業界皆おかしいんだ。それは何故か？スケーリング則っていう彼らが絶対視する法則があるからだ。データセンターの規模を上げていくと、どんどんAIは賢くなるという法則だ。

　ああこれムーアの法則みたいじゃないか？うんまあれは細密化していき早くなるって話だが、あんな感じで、データセンターの規模と賢さが比例関係にあるって法則があるらしいんだ。誰もかれもがこれを信じてる。これは嘘じゃない、ただ問題がある。その問題点をAI業界の人間は分かってない。

　元々これは、会話AIの誤回答が減っていく法則だったんだ。でも学問の成績がＤＣ規模拡大と学習の向上で上がっていくことから、誰かが賢くなるとすり替えてしまったんだ。そうだね、学問の成績が、ソフトハードの改良によって上がっていくのは否定しない。これは正しい。

　だがそれは賢いのか？ここなんだ。そうだね、人間が学問の成績で優秀な成績を収めるとする。この人は知的な仕事でもそれなりの成果を出す。そりゃそうだ、特にこの業界はそういったエリートの塊なんだ。この法則をＬＬＭに適用してしまってるんだ。はっきり言おうそれは間違いだ。

　ＬＬＭが今後どれだけ学問の成績で優秀な成績を残しても、それに比例して仕事を上手くやるのは伸びないだろう。

　問題はそこにある。人間と違って学問の成績が綺麗に仕事にＡＩは結び付かない。もっと言うと仕事をこなすにはＬＬＭには足りない力がある。人間は学問の成績をたたき出すには、ＬＬＭと共通する能力とＬＬＭにない能力を補ってやっとＬＬＭと並べるんだ。この能力こそが仕事において使われる能力となる。

　アルトマンは無自覚にそして結果的に嘘をついたんだ。ＬＬＭは賢くならない、ただ学問の成績だけが桁違いに良くなっていく。そして、ＬＬＭはそれらと比例して今処理できない仕事を奪っていくことはまずない。２つの嘘をついた。原因は人間のエリートに適応される法則をそのままＬＬＭに適応してしまった。

　ＬＬＭの学歴は仕事であまり役に立たない。ＡＩ業界の人間はスケーリング則の中身を前に戻すべきだ。あれは誤回答を減らすだけの指標に過ぎない。ホワイトカラーの話はしたじゃないか？ちょっと違う、実際の仕事の話より、ＡＩ業界に騙されるな、これが一番話したい事。

　今のマスコミは、彼らの言う事を一切否定しない。まともに反論できる人間が一人もいないんだ。難しいのか？この手の業界の専門の人間なら山ほどＬＬＭの賢さがインチキなのは知ってる。ただ今お金儲けしてる連中は言わない。それは嘘を自覚してるのか？違う、お金儲けしてる連中は皆スケーリング則の盲信者だからだ。

　じゃ何故私は知ってるのか？ホワイトカラー側で色々上手く行ってないのを知ってるんだ。上手く行ってるのも見てる。その両方を吟味して、アコレ変な知性だと気が付いた。ＬＬＭが得意なものは何か？ならＤＬについて述べないといけない。視覚判断などで使われる。今のＡＩの根本になる。ＬＬＭもこの亜種だ。

　彼らが得意なのは模倣だ。ひたすら模倣の達人。学習して模倣する。ＬＬＭも当然ＤＬゆえの模倣の達人だ。だが何故彼らだけが知性らしきものを手にしたのか？それは人間の言語やプログラムをひたすら学習＝模倣しまくったからだ。人間が発明した言語や記号自体に知性が宿るからだ。

　これらを模倣しまくったので人間っぽい知性になってる。じゃやっぱ賢いのでは？人間も過去の知識から模倣してる。その点は変わらない。だが人間は模倣＋αがある。人間はＬＬＭほど模倣上手じゃない、それゆえに模倣にプラスして補ってやっとＬＬＭと同等になれる。

　そのプラスアルファこそが仕事においてとても重要になる能力だ。これがないから、学問の成績が仕事に反映されないんだ。

　そこまで分かってるなら、それを教えてよ？うんいいよ。その答えは、現実を知ってるだ。それだけだ。

　それ能力なの？能力。実際にこの方向で知性を作ろうってのがフィジカルAＩで進んでるが、とてもじゃないが、フィジカルAＩを土台にホワイトカラーの仕事をこなすのは無理だ。何故か？途中までは作れる。だがそれらのレベルをどんどん上げていくと、ある地点で不可能になる。

　それがＧＰＵだ。ＧＰＵに依存する限り、現時点では、言語思考に並ぶような思考には届かない。ＧＰＵじゃなくてＣＰＵ使ってゆっくりやれば多分作れるが、多分遅くて使い物にならない。ハードソフトどちらもブレイクスルーがないとフィジカルAＩから高い知性のＡＩを作るのは現時点では無理。

　ＬＬＭが学問の成績が良いのに仕事が一部しか任せられないのは、現実を知らん言語しかない世界の住人だからだ。

26/9/5追記：

　もっとすっきりいえる言葉があった。学問はそもそも意図的に言語を精緻に扱うように気を付けてる。全般的にそうなってる。比喩的になるが、LLMは菌類みたいなものじっとした湿り気のある環境を好む。意図的に学問はこういったLLMにとって好ましい環境に整えてくれてる。しかもLLM誕生前からになる。

　それゆえにLLMは何も気しなくても学問で使われてる言語なら実に見事に問題に対する答えを導き出せる。その最たるジャンルは科学になる。そしてここに何故これほど優れた知性が仕事で力を発揮できないか？この答えになる。科学者の主たる仕事は自身の知識を披露して学生たちに教える事じゃない。

　言ってみればそれは小遣い稼ぎバイトみたいなものだ。本業は、その逆、その精緻な言語で整えた理論を、科学の学問体系に加える事が仕事になる。LLMはこの分野にはめっぽう弱い。LLMは言語が精緻に整えられた科学知識は人間より理解力があるが、その科学知識に加えるための現実の言語化は最も不得意な知性ぐらい極端に苦手。

　多くのAIで置き換えられない仕事は、この言語に置き換えられる前の現実を言語に置き換える科学の作業に近い。

26/10/3追記：

　端的に何がLLMの問題点なのか？分かってきた。通常人間は、

１、現実を見る。

２、そこから抽象化して単語を作る。

３、最後にそれらを使って現実を文章によって構造化する。これが言語化になる。

　もちろん２については、すでに作ってある単語を現実から吸収するのが大半。でも言語の元になる抽象自体は自分で作るはずだ。LLMはいきなり３から始めるのだ。彼らが見るべき現実は存在しない、いきなり対話相手＝人間が現実に関することを伝えるのだ。

　LLMは言語化が上手い。本当か？彼らのやってる言語化はいったいなんだんだ？確かに分かる事は、知性とは１～３がセットになって出来上がるものだ。３だけ抜き出して、すでにインプットされた言語を組み合わせて作った言語は全く質の違うものだ。意味ないとは言わない。

　だがLLMは多分現実的問題に対して対処するとき変な対応がちょいちょい目立つはずだ。それは使ってる側が３だけ独立させても人間がやるような対応は出来ないと知らないからだ。全く意味がないわけじゃない、ただこれが表面化する問題は絶対に社会のそこら中に溢れている。