キャサリン編 反応というものについて
エレクシアに対して、
『もっと君のことを知りたい！ 教えてほしい！ 学びたい！』
と声を上げてしまったサディマだったが、その辺はシモーヌ達も知っている彼の一面だった。AIが独自の発達を見せていたりしたら、
「ぜひ参考にさせてほしい！」
などと口走ってしまったりするんだ。だが、
「キャサリンに対する気持ちはこれとは明らかに違うなって自分でも感じるよ」
とも。彼がテンション高く食い付いてしまうのは『相手がAIだから』というのが根底にあるからとのこと。AIは人間がどんな振る舞いを見せてもそれを不快に感じたり迷惑に感じたりすることがないんだ。それが分かっているからこそそんな態度を見せられる。
対してキャサリンは＜生きた人間＞だ。一般的な地球人ほどは複雑な＜心の機微＞のようなものを見せることはないにしても、もちろん快・不快はあるし、無闇に言い寄ってこられたりすれば腹も立てる。サディマはそれを承知してるんだよ。
「ドラマなんかだとよく『自分の気持ちに正直になるべきだ』的なことを言ってたりするが、私もそれについては『なんて無責任な』と感じていたりしたよ。AIの設計をするからこそ＜反応＞というものについては考えざるを得ない。自身の振る舞いが相手にどんな影響を与えるのかを考えるのは、AI設計においては基礎中の基礎だからね。そして自分の気持ちに正直になるのが常に良い結果をもたらすわけじゃないのを承知してないとAIの設計なんかできないんだ」
と言っていた。
今のAIは経験を重ねることで自ら最適化を図っていくことができるが、それでも根本部分は人間（地球人）が設計したものだ。そしてその設計が不適切だと得た経験を上手く役立てることができなくなる。人間でもそうだろう？ 根本になる部分が歪んでいると同じ経験をしてもおかしな解釈を加えてしまったりする。上手く活かせなかったりする。
『なんでそうなる！？』
みたいな反応をするのもいるし。
だからAIの設計は実は＜人間の心の機微＞についてもそれなりに理解できてる者でないと上手くできないらしい。
もっとも現在は＜完全に新規のAI＞というのはほとんどなくて既存のAIを基に＜キャラ付け＞的なニュアンスでアレンジされたものだとのこと。そもそも根幹部分はブラックボックス化していて改変はできないんだ。
『何を人間とするか？』
とか、
『人間の幸福に資する』
という部分は触りようもないわけで、だから『何を人間とするか？』の部分を新しく一から作る必要があるんだ。
