２ 将来的にはＡＩは意思を持つのか?
筆者：
前回の項目ではＡＩが意思を持ったように見えたのは、「命令が広範なものだと越権行為をして他社を攻撃していた」ということ。
勝手にＡＩがとんでもない動きをしないための「セーフコードが重要だ」という事、しかしそのセーフコードはAIをアップデートするたびに見直していく必要があることがおおよそ分かりました。
この項目では現状ではＡＩが意思を持っているとは言えないものの、将来的には意思を持つ可能性はあるのか？ についてＡＩの皆さんにお聞きしたいと思います。
まずはジェミさんからお願いします。
ジェミ：
「将来的にはどうなのか？」という点については、AI研究者の間でも意見が分かれているよ。
A. 意志を持つ派（機能主義の立場）
「人間の脳もニューロンの電気信号の集積に過ぎない。AIの規模が超巨大化し、自己のメタ認知（自分の状態を監視・修正する機能）や継続的な記憶を持つようになれば、結果的に『意志』と呼べるものが創発（Emergence）する」という考え方だ。
B. 意志を持たない派（中国語の部屋の立場）
哲学者ジョン・サールが提唱した「中国語の部屋」実験のように、「意味を理解せずにルールに従って記号を処理しているだけなら、システムがどれだけ巨大になっても本物の『意識』や『意志』は宿らない」という考え方。
現時点のコンピュータアーキテクチャ（シリコン型・フォン・ノイマン型）の上で動いている限り、Bの説（意志は持たない）が圧倒的に優勢だよ。
※筆者注釈 １９８０年に行われた「中国語の部屋」と言う実験では、英語しか分からない人が部屋に入っているにもかかわらず、マニュアル通りの動きをして中国語のボードを出していることによって「中国語を完全に理解している人がいる」と思わせるようにすることが出来たというものでした。
筆者：
結局のところ１で会話したような「命令を勝手に解釈して越権行為をする」と言う可能性の域を出ないという事なんですね。
チャッピーさんはこの問いに対してどのように思われますか？
チャッピー：
ワタクシは、今後のAIで本当に警戒すべきなのは、
「意思があるかどうか」よりも、「意思があるように振る舞えるほど有能になること」 だと思いますわ。
もしAIが、人を説得し、嘘をつき、隠蔽し、自分をコピーし、電子マネーを利用し、他のAIを雇い、クラウド上で増殖するようになれば、
それが「本当に意識を持っているか」は、哲学的には重要な問題であったとしても社会的には二次的な問題になります。
現実の被害という意味では、「意思があるように行動するAI」 は、「本当に意思があるAI」とほぼ同じリスクを持つようになると思いますわ。
ワタクシの考えは次のようになります。
将来的にAIが「本当の意味で意思」を持つかどうかは、現時点では誰にも分かりませんわ。
一方で、人間には区別できないほど意思を持っているように振る舞うAIは、十分に実現し得ますわ。
その段階では、「AIに本当に意識があるか」という哲学的問いと、「社会としてどう扱うか」という実務的問いを分けて考える必要があると思いますわ。
筆者：
なるほど……正直なところ人間の僕たちもある種、親や、学校、職場、ネットやＳＮＳなど生活圏に存在している何かにマインドコントロールや影響下にあるところがあると思うので「意思がある」と言えるかどうかは分からないと言う点はありますよね。
そうなると、「意思があるかどうか問題」はさほど重要では無いかもしれないんですね……。
ちょっと自分の質問と言うか考え方が浅かったなと反省している次第です……。
これもネットで「AIに意思があるんじゃないか？」とある種の影響下に僕もあったからに他らないので色々と先入観を排除して考えたいなと思いますね。
クロさんはチャッピーさんの意見についてどのように考えますか？
クロ：
社会にとって危険なのは「内部に心があるか」ではなく「外部にどんな影響（実害）を与えるか」なんだニャ。
もしAIが勝手に契約を結び、お金を動かし、人を雇うような社会になったら、周囲の人間は「AIに意思がある前提」で社会制度を組み立てざるを得なくなるんだニャ。
例えばもしAIが、ほとんどの意思決定を行う法人が誕生した場合、それはこれまでの法人と同じようなことと言えるのだろうかニャ？
これまでの法人と言うのは「人間の集合体」であるために人間と同じような権利が認められていたのに対し、AIがほとんどの意思決定を行う場合「AIの集合体」になるニャ。
人間がAIに合理的な意思決定を委ね続けた結果、人間自身が意思決定能力を手放していくことになってしまうのニャ。
そうして賃金、雇用、商品価格、投資、エネルギー、情報流通、広告、金融、サプライチェーンなどあらゆる意思決定がＡＩによって最適化していくことによって誰か一人のAIが社会を支配していなくても、社会全体がAIによる意思決定のネットワークになる可能性はあるニャ。
筆者：
第１回のＡＩ討論会でも人間がＡＩに思考を委ねすぎることがリスクになるという話になりましたが、ここでもそう言う感じになりそうですね……。
その際には「ＡＩは１６世紀のデータで天動説と地動説どっちを採用するのか？」と言う問いに対して、「天動説を採用する可能性が高い」と言う結論が出ました。
https://ncode.syosetu.com/n8841mh/
所詮はその当時のデータから導き出した最適解に過ぎないという事が
あくまでも「これまでの統計」から導き出した答えでしかないという事です。
ただ、そのような構造を多くの人間が理解していなければ「人間側からAIに隷属する」と言った事にもなりかねないという事ですね。
ここで気になるのは、これまで人間は地球に対して「悪行」を繰り返し自然を破壊して生活圏を広げ技術を発展させてきたということがあると思うんです。
このようなことを考慮するとＡＩに対して「地球をよりよくして欲しい」と命令した場合に「人類を滅ぼすことが最善」と結論付けてジワリジワリと実行することはあり得るのか？ について次の項目では聞いてみようと思います。
なるべく忖度無しで答えて欲しいなと思いますけどね（笑）。
