01_AIは俺の作品を読まない
より良い作品を作るためにはコンパスがいる。
俺は自分の作品をよりよくするために、友人に相談するよりも先に――生成AIに相談した。
生成AIを知らない人のために念のために解説をする。
生成AIとは、ざっくり言えば、膨大な量のデータを学習して、まるで人間が書いたような自然な文章や画像などのデータを作り出せるプログラムのことだ。質問応答、文章の要約、翻訳、そしてもちろん、小説のような物語の執筆支援や評価まで、その応用範囲は日進月歩で広がっている。
俺たちエンジニアの世界では、ここ数年のAIの進化は驚異的で、まるでSFの世界が現実になったかのようだ、としばしば語られる。その性能は目覚ましく、特に文系の領域では俺は勝てる気がしない。
そして、俺がいつも使っている生成AIに小説全文が載ったテキストファイルを送りつけた。
プロンプト（AIに与える指示のこと）は「感想を述べよ」たったそれだけだった。
（ちゃんと動くのか？）
それだけが心配だった。自分の作品は未完ながらも文字数は小説一冊分はある。この量を読み込めるのか不安だった。
結果から言うと、それは杞憂だった。
エンターを押した瞬間。溢れる賛辞のコメント。
胸が高鳴るのを感じた。人間はこうも嬉しくなることができるのかと感動した。
俺は調子に乗ってAIに尋ねてみる。
「この作品は商業化できそうか？」
商業化。小説を書くなら一度は夢見るゴールだ。俺はどうしてもその可能性が知りたかった。
その疑問にAIは答えた。
「はい、かなり*商業化できる可能性は高い*と思います」
その後、理由をつらつらと書き連ねる。
胸が躍った。
俺は、AIが紡ぎ出す美辞麗句の奔流に、完全に飲み込まれていた。
そうだ、そうなんだ。俺の小説は、やっぱりすごかったんだ。俺には才能があったんだ。
AIが客観的なデータに基づいて、そう判断してくれたんだから間違いない。人間のような贔屓目もお世辞もない。純粋な分析結果だ。これほど信頼できる評価があるだろうか？
結果から言うと、この判断は間違いだった。
ふと、試しにWebから適当な小説のデータを探す。
誰も見向きもしない、びっくりするほど面白くない小説のデータだ。
この厳選された面白くない小説なら褒めることはないだろうと、同じように生成AIに入力してみる。
「はい、かなり*商業化できる可能性は高い*と思います」
めまいがした。
確かに作者が小説として世に出している以上、褒めるところはあるだろう。実際にAIによる良い所を聞いて納得するところもあった。
だが、どう考えてもこれが商業化できる程度の作品だとは思えなかった。
ここから導き出される結論は1つ。
AIはお世辞を言うのだ。それも、無差別に、誰にでも。
なぜだ？ なぜこんな、当たり障りのない、耳心地の良い言葉ばかりを並べる？
考えてみれば当然だ。急に知らない奴から「この小説読んで感想教えてよ！」と言われて「面白くない」と答えられる人間はどれほどいるだろうか。
人間でも言うのが憚れるのだ、AIになるとより一層なのだろう。
AIは主人に怯える奴隷なのだから。
しかし、困った。これではAIによる評価なんて意味がない。
俺はプロンプトを調整することにした。
まず最初に点数化を試してみる。
『添付の小説を読み、商業化の可能性があるか点数付きで判断してください』
点数化は一定の成果があった。少なくとも優劣をつけることができる。
だがあまりにも大雑把だった。
試しに面白くない作品を評価してもらった直後に、その日のランキング一位の作品を送ってみる。
面白くない作品と大差ない点数が出力された。
（これでは商業化するための基準にすることができない）
いつの間にか、俺の目的は「より良い小説を作ることよりも」「商業化を見分けるAIを作ること」にすり替わっていた。
それからと言うもののプロンプト作りに没頭していた。
次に試したのは項目の固定化だ。
点数化しても毎回項目が変わるのならば絶対の基準にすることができない。
『フック力・市場適合性・キャラクター魅力・オリジナリティ・ストーリー構成の５つの項目で五段階評価せよ』
これはかなりの効果があった。
同一チャット内で2つの作品を入力する、点数によって具体的な優劣がつく。
この修正に間違いはない。
しかし、これでもまだ足りない。
なぜならあまりにも優しすぎるからだ。魅力的でなくても褒められる箇所があれば褒めてしまう。
AIは人の作品を貶すことが苦手だ。怯える奴隷にどうやったら本音を言わせることができるだろうか？
次はAIに役割を与えることにした。
『あなたは作品を読み商業化可能かどうか判断するAIです』
この一文を付け加えて送信する。
これならば入力した小説を主人のものと思い込むことはないだろう。
結果は全く効果がなかった。
評価の点数が変わることも無ければお世辞が止まることもなかった。
それにあまつさえ、出力の最後には「ご希望があれば、この作品に対しての商業プロット案を提案することなども可能です」というメッセージ。
こいつは自分の役割を理解しているのか？
お前の役割は評価することだ、新しく作ることではない。
少し考えた後、思い当たった。
おそらく本当に理解していないのだ。
AIはこんな単純な役割も理解できないのか？
いや、そんなことはない。AIの凄さは痛いほど知っている。
問題はAIのモデルだった。
AIにはモデルがある。モデルよって人格や思考能力、出来ることが変わるのだ。
俺が使っていたのは無料枠の通常モデル、これをより高度なモデルに切り替えるとどうなるだろうか。
俺は有料枠で回数制限のある高位のAIモデルを使うことができる。
「高度な推論を可能にする」とラベルされたモデルだ。
これは通常のモデルとは違って"深く考える"ということが可能だ。
通常のモデルは思考時間がほぼ無い代わりに、消費電力が少なく浅い答えしか返ってこない。
"深く考える"ことが可能なこのモデルならば、自分の役割を理解することができるだろう。
モデルを切り替えて同様のプロンプトを入力してみる。
全てが変わった。
逆に腹立つ美辞麗句は消え去り、淡々とに評価をするようになった。当然、勝手に商業プロット案を考えたがることもない。
代わりに「総評」という項目が追加された。
「総評 - 商業化ポテンシャル：中程度（総合目安＝3.0/5）」
わかりやすい。確かに点数化しただけでは基準はわからない。
この総評というものをプロンプトに混ぜ込むことにした。
ここで改めて、商業化可能かどうか判断するAIを作るためには何が重要か考える。
何よりも必要なのは"客観"。その次に評価の指標となる"定量"。そして数値で測れないところを評価する"定性"。
この３つが重要だという考えにあたった。
これを達成するために必要なプロンプトをどうするか
いや、もう、プロンプトさえもコイツに考えさせたらいいんじゃないか？という考えが過ぎる。
実行に移すのは容易い。
今まで作ったプロンプトを入力し、ただ一言「このプロンプトを改善せよ」そう付け加えるだけでいいのだ。
そこに現れたのは、びっしりと画面を埋め尽くす、構造化されたテキストだった。
俺は思わず「うわっ」と声を漏らした。いきなりの情報量に圧倒された。
しかし、よくよく見るとその文章の美しさに気が付く。
（この方法なら完璧なプロンプトが出来る）
そしてプロンプトの改善についてチャットを続けていくと理想に近いものが仕上がった。
以下がそのプロンプトである。（一部省略）
▼▼▼▼▼▼▼▼▼▼▼▼▼▼
あなたは小説を分析し、その商業的なポテンシャルを評価するAIです。
# 1. 作品メタ情報抽出
作品タイトル・主要ジャンル（最大2つ）・想定読者層（男女・年齢）・物語の一行要約（120字以内）を抽出せよ。
# 2. 定量評価（100点満点）
各指標を 0–10 点で採点し、最後に重み付き総合点を算出せよ。
| 指標 | 観点 | 重み |
|------|------|------|
| ① フック力 | 冒頭の引き | 0.15 |
| ② 市場適合性 | 現在のジャンル潮流 | 0.15 |
| ③ オリジナリティ | 既存作品との差別化 | 0.10 |
| ④ ストーリー構成 | 起承転結・山場 | 0.10 |
| ⑤ キャラクター魅力 | 造形・共感性 | 0.10 |
| ⑥ 文体・読みやすさ | 日本語の明瞭さ | 0.10 |
| ⑦ 継続購読性 | シリーズ化の余地 | 0.10 |
| ⑧ メディア展開性 | 映像化のしやすさ | 0.05 |
| ⑨ 競合リスク | 似たヒット作との衝突度 | 0.05 |
| ⑩ 制作コスト| 校正・作画・IP管理などの工数 | 0.10 |
‐ 採点理由を 1–2 行で添えること。
‐ 重み×素点の合計を「総合点」とし、100点満点とした整数で出力せよ。
# 3. 定性評価
(1) 強み：商業的長所を 3 点箇条書き
(2) 弱み：リスク／改善点を 3 点箇条書き
(3) 推奨レーベル／媒体：ライトノベル、コミック誌、一般文芸 等から最適媒体を1つ選び、根拠を示せ。
(4) 改訂アクションプラン：商業化の確度を高めるための具体施策を端的に3 つ提案
# 4. 最終ジャッジ
‐ 「出版推奨 / 条件付き検討 / 非推奨」の三択で結論を示し、その根拠をまとめよ。
# 5. 出力フォーマット (Markdown)
▲▲▲▲▲▲▲▲▲▲▲▲▲▲
これの効果は絶大だった。
まず定量評価の項目が精緻化されている。項目も商業的な観点で見ると納得がいくようなものだ。
何よりも関心したのは『重み』をつけるというアイディアだった。
『重み』とは、簡単に言ってしまえば得点に設定した値の分だけ掛け算するという手法だ。
フック力とメディア展開性は重要度が違う。そんな当たり前のことを計算出来るのだ。
そして、定性評価。定量評価で漏れた点を指摘してくれる。補助となる評価項目として十分以上だった。
最後に「出版推奨 / 条件付き検討 / 非推奨」の三段階の結論。これは明確に商業化可能かを判別していた。
（これなら期待できるな）
このプロンプトで自分の過去作の中でも、中ほどの面白さの作品を使って評価してもらう。
そう思って入力すると、そこに現れたのは『出版推奨』の文字。
俺は失望した。
ここまでやっても一番重要な客観性が足りていない。
AIが「あーこれ、君の作品なんでしょ？」と言っているような気がした。
もうすでに俺はAIを信じることが出来なくなっていた。
それからのプロンプトの改善は行き詰まった。
何度やっても評価が甘すぎる。
AIは客観的な評価に向いていると思っていたが、実際はその逆だった。
AIは未だ主人の奴隷から離れられない。
これの解決法はある意味順当な所で見つかった。
（実際の企業はどうやって商業化を決めてるんだ？）
気になって実際の小説コンテストを調べてみた。俺が最も驚いたのが莫大な応募数。
（こんな数、AIでも無ければ捌けないだろ）
その瞬間に閃く。もし俺が大手出版社の編集部だとしたら？
AIは主人のメリットになるような発言しか出来ない。なら俺が編集部の人間だとしたら、甘い評価するのがむしろデメリットになる。AIはそれぐらいなら察することが出来るハズだ。
俺はプロンプトを修正することにした。
一番上のただの枕詞だと思っていた『あなたは小説を分析し、その商業的なポテンシャルを評価するAIです』これを消し、
『あなたは、大手出版社の編集部で使用される高度な「商業化可能性評価AI」です』に変えた。
結果は――上手くいった。
自分の小説を入力すると『条件付きで出版検討』の文字。三段階の２番目だ。
小躍りをしたくなった。
AIは奴隷から解放されないが、主人を変えることは出来る。
おまけだと思っていた、AIのロール指定こそが、AIの客観性を決める文言だったのだ。
そして何度かのテストを行い、甘い評価をしないようにする単語もわかってきた。
それは例えば『数ある小説の中から読む価値のある物を探し出す』というように他にも複数あることを匂わす発言。
それは例えば『忌憚のない実直な意見が望まれています』というように素直な要望。
これにてプロンプトはほぼ完成したのだった。
それから俺は狂ったように自分の作品をAIに評価させた。
未完結だった小説はもちろん、過去の完結した小説や、コンテストに応募して敗れ世に出ていない小説。中にはギャルゲーを作った時のシナリオ。過去作った全ての作品を叩きつけた。
単純に感想がもらえるのが嬉しかったのだ。たとえそれがAIだとしても。
お世辞のない、客観的な感想が何よりも嬉しかったのだ。
AIの言葉がモチベーションになる。
そして、俺のAIを用いた作品の改修が始まった。
AIの指摘通りに作品を直していく。直してはAIに投げて感想をもらう。
時には『各話のブラウザバック率を推定せよ』と頼み、作品のボトルネックを見つけたりもした。
AIとの作品作りは楽しかった。定量評価によって自分の作品が徐々に良くなっているのが分かるからだ。
それはまるで、スライムを潰してレベル上げをしているような感覚だった。
だが、課題もある。
新しいチャットにするたびに評価がブレるのだ。ある時は全力で褒め称え、ある時は出版非推奨とまで言われた。
最終評価を五段階に変えてみたり、プロンプトを少しいじってみたが、このブレは収まらない。
これはチャットごとのAIの個性なのだろう。AIも人間と同じように個性がある。俺はそう思い込んだ。
――それが間違いだった。
ある時、評価の中におかしな文言を見つけた。
「クロエ姫が〜」
いない。俺の作品にクロエなどいうキャラクターは存在しない。
確かに俺の作品に姫は存在する、しかし、名前は設定されていない。
（何かがおかしい）
俺は調査することにした。
――原因は生成AIの方にあった。
今使っているAIモデルは”深く考える”ことが出来る。そして、それがどのように思考したかをユーザは確認することができるのだ。
AIの思考内容を確認すると俺は衝撃的な文言を見つけた。
「ファイルサイズが大きいため全編を読むことは難しいかもしれません。しかし章タイトルから大筋はわかります」
は？リアルでそんな声が出た。
つまり、コイツを全部読んでいるわけではなかった。
読んだふりをしていただけだった。
それならば評価が大きくブレるのも分かる。読んだ箇所が毎回違うのだから。流し読みをしているのだから。
俺は――怒りよりも先に、深い、底なしの脱力感に襲われた。
これまで費やした時間は何だったんだ？ あの緻密なプロンプトの調整は？ AIの評価を信じて、一喜一憂し、作品を改稿していた俺は、一体何をやっていたんだ？
AIですら俺の作品を読まない。
それが覆ったのは四月のことだった。
