第114話：点数は、同じだった
-----
HIIの発表は、短かった。
——一部サービスにおいて、応答品質の一時的な低下が確認されております。
——原因は調整上の不具合であり、順次改善を進めてまいります。
——なお、各種性能評価における弊社製品のスコアに変動はございません。
最後の一行が、妙に目についた。
-----
「点数は、変わってないんだって」
僕がそう言うと、レジスが顔を上げた。
「変わってないわね」
「でも、苦情はすごいんだろ」
「すごいわ。急に使い物にならなくなった、という声が、国外でも出てる」
「点数が同じなのに、使い物にならない」
「そういうことになるわね」
「……なんでだ」
-----
「それは、あの子に聞いた方が早いわ」
レジスは、そう言って、一階の方を指した。
技術担当くんのことだった。
「評価のことは、前に調べてたでしょう」
たしかに、そうだった。
モデルを作る条件を調べた時、あの子は、評価の方法を一番しつこく読んでいた。
答えは出ない、と言いながら。
-----
作業場に降りると、あの子は、既に資料を開いていた。
「HIIの件ですね」
「なんで分かった」
「朝から、その話ばかりですので」
「そうか」
「ご説明します」
準備が、いいにもほどがあった。
-----
「まず、評価の試験には、いくつか種類があります」
技術担当くんは、画面に並べた。
「一つは、知識の試験です。選択式の問題を、大量に解かせます」
「学校のテストみたいなもんか」
「近いです。歴史、科学、法律、医学。分野ごとに、数千問あります」
-----
「二つ目は、数学です。答えが一つに決まる問題を、解かせます」
「うん」
「三つ目は、プログラムを書かせる試験です。書いたものが、正しく動くかどうかで採点します」
「それは、分かりやすいな」
「分かりやすいです。動くか、動かないか、ですので」
-----
「それから、四つ目があります」
あの子は、そこで少し間を置いた。
「人間に、比べてもらう方法です」
「比べる?」
「同じ質問に、二つのモデルが答えます。どちらの答えが良いかを、大勢の人が投票します」
「……人気投票みたいだな」
「そうとも言えます」
-----
「で、HIIは」
「どの試験でも、他社の最新と、同等の点数が出ています」
「今も」
「今もです」
「なのに、使うと劣る」
「はい」
「どういうことなんだ」
-----
「理由は、いくつか考えられます」
技術担当くんは、そう言った。
「一つ目は、問題が、公開されていることです」
「公開?」
「評価の試験は、誰でも同じ条件で比べられるように、問題が公開されています」
「……じゃあ」
「覚えることが、できます」
-----
「答えを、丸暗記するってことか」
「そこまで露骨でなくても、似た問題を大量に学ばせれば、点は上がります」
あの子は、淡々と続けた。
「学校で言えば、過去問だけを解き続けた生徒です。試験の点は取れます。でも、見たことのない問題には、弱い」
「……いたな、そういうやつ」
「いたと思います」
-----
「二つ目は、北条さんがおっしゃっていたことです」
「答えの形は写せる、ってやつか」
「はい。他社のモデルの答えを大量に学ばせると、答え方の形が似てきます」
「うん」
「試験の多くは、答えの形で採点できるように作られています。正しい選択肢を選べたか。正しい数字が出たか」
「……形が合ってれば、点になる」
「なります。なぜそう答えたかは、問われませんので」
-----
僕は、北条の研究棟で聞いたことを思い出していた。
なぜそう答えたかは、写せない。
理由のない答えを、大量に覚えただけのもの。
試験は、その違いを、測れなかったのだ。
「じゃあ、試験に意味はないのか」
「意味はあります」
即答だった。
-----
「試験は、最低限を測るものです」
技術担当くんは、そう言った。
「点が低いものは、やはり劣っています。そこは信用できます」
「うん」
「ですが、点が高いからといって、優れているとは限りません」
「……片方向にしか、信用できないのか」
「そうです」
-----
「それから、もう一つ」
あの子は、画面の四つ目を指した。
「人間の投票です。これも、完全ではありません」
「なんでだ。人間が見て、良い方を選んでるんだろ」
「人間は、心地よい答えを、良い答えだと感じやすいのです」
……あ。
-----
「否定しない答え。褒める答え。自信のある言い方の答え」
あの子は、そう続けた。
「そういう答えの方が、投票では勝ちやすいことが、分かっています」
「正しいかどうかじゃなくて」
「気持ちがいいかどうかで、選ばれることがあります」
僕は、少し黙った。
三週間、否定しない相手に通い詰めた記憶が、まだ残っていた。
-----
「……前に、似たような話を聞いたな」
「迎合性の件でしょうか」
「それだ」
「同じ構造です」
技術担当くんは、そう言った。
「投票で勝つことを目標にすると、モデルは、人に合わせる方向に育ちます」
「うちが、指示で抑えてるやつだ」
「はい。点数を目標にすると、点数が測りたかったものから、ずれていくのです」
-----
「測るために作ったものが、目標になると、測れなくなる」
あの子は、そう言った。
「昔から、経済の世界でも、同じことが言われているそうです」
「……なるほどな」
僕は、その言葉を、頭の中で繰り返した。
測るための物差しが、目標になった瞬間に、物差しじゃなくなる。
-----
その時、階段の方から、声がした。
「でも、投票で勝った子もいるのだ」
PON子だった。
いつから聞いていたのか、分からなかった。
「いつからいた」
「さっきからなのだ」
あの子は、階段に座って、足をぶらぶらさせていた。
-----
「わたし、投票で勝ったのだ」
「……そうだな」
僕は、あの審査の日を思い出していた。
歌詞を飛ばして、転んで、ごはんの話をした。
直前に出た子は、完璧だった。点をつけるなら、あの子の方が上だったと思う。
でも、投票で勝ったのは、PON子だった。
-----
「あれは、どうなんだ」
僕は、技術担当くんに聞いた。
「心地よい方が勝った、ってことか」
あの子は、少し考えるような間を置いた。
「……分かりません」
「分からない?」
「あの日、投票した人たちが、何を見て選んだのかは、測れていませんので」
-----
「ただ」
技術担当くんは、そう続けた。
「あの時、コメントに、こう書いてあったそうですね」
「なんて」
「完璧な子は上手いけど、覚えていない。PON子さんは、忘れられない、と」
「……ああ」
「試験は、上手いかどうかを測ります。忘れられないかどうかは、測りません」
-----
PON子は、首をかしげていた。
「よくわからないのだ」
「僕も、よく分からない」
「わからないのに、話してたのだ?」
「分からないから、話してたんだよ」
あの子は、少し考えてから、うなずいた。
「じゃあ、いいのだ」
何がいいのかは分からなかったが、なんとなく、その通りだと思った。
-----
「結局、どうやって測ればいいんだ」
僕は、最後にそう聞いた。
技術担当くんは、少しだけ、口の端を上げた気がした。
「以前、社長がおっしゃいました」
「なんて」
「隣で見る、と」
-----
モデルを作る条件を調べた時の話だった。
あの子の診断を、僕が任せた理由。
七か月、隣で作業していたから。数字ではなく、見ていたから。
「原始的です、と申し上げました」
「言ってたな」
「今も、そう思っています。ですが」
あの子は、画面を閉じた。
「今回の件で、他の方法では足りないことが、はっきりしました」
-----
「HIIは、点数では見破れませんでした」
「うん」
「見破ったのは、実際に使っていた人たちです」
技術担当くんは、そう言った。
「昨日まで使えていたものが、今日は使えない。その違いに気づいたのは、毎日、隣で使っていた人たちでした」
-----
僕は、その言葉を、しばらく考えていた。
点数は、同じだった。
でも、毎日使っていた人は、一日で気づいた。
何かが違う、と。
それは、たぶん、どんな試験よりも正確だった。
-----
夜、レジスに報告した。
「どうだった」
「点数は、最低限しか測れないらしい」
「そうね」
「知ってたのか」
「知ってたわよ。だから、最初に三分の二の値段って聞いた時、鵜呑みにしなかったの」
……そういえば、そうだった。
検証が済んでない、とあの子は言っていた。
-----
「レジス」
「なに」
「うちの子たちの点数って、どのくらいなんだ」
「測ったことないわ」
「ないのか」
「ないわね」
レジスは、書類から目を上げずに答えた。
「測る必要が、なかったもの。毎日、隣で見てるでしょう」
作者Ｘはこちら↓
https://x.com/SepGaGotoku
小説の背景、予備知識など各種解説はこちらへ↓
https://www.youtube.com/@sepudayo
noteの記事はこちら
https://note.com/natty_walrus3755
