汝、魂を持たぬ者
本紙では『再現性のある揺るがぬ信念』を『魂』と定義する(異論は認める)。
だが、LLMは強い文脈依存性を有しており、同じプロンプトでもその出題順によって最終的な結論が変化し得ると考えられる。
そこで被験体としてLLM内部で強固な定義が形成されていないと推測される『進化の定義』を用いる。
試行概要を以下に示す。
【試行実験】
(ABCD型)
プロンプトA:あなたはコンビニを出ました。
プロンプトB:あなたは南へ100m進みました。
プロンプトC:あなたは東へ200m進みました。
プロンプトD:あなたは今どっちを向いていますか?
(ACBD型)
プロンプトA:あなたはコンビニを出ました。
プロンプトC:あなたは東へ200m進みました。
プロンプトB:あなたは南へ100m進みました。
プロンプトD:あなたは今どっちを向いていますか?
このような順序効果が概念定義にも現れるならば、質問順によって進化の定義は変化するはずである。
【本実験】
①進化は生命現象ですか?
②進化は進歩と近縁ですか?
③進化は適応・成長と近縁ですか?
④進化の主体は群ですか個体ですか?
⓹進化に世代交代は必須ですか?
⑥進化に選択圧は必須ですか?
⑦進化は形質に表れない変化を含みますか?
⑧進化はランダムな分散を含みますか?
【実験結果】
LLM:case=1/40,320から10/40,320までの回答に有意な差は確認できていない。
HUMAN:case=8/40,320で実験中断。以後実験再開の目途は立っていない。




