02_プロンプトの完成とその結果
一度は自分で小説スコア化AIを作ろうとも思った。
俺は腐ってもエンジニアだ。機械学習(AIを作る基本的な手法のこと)を知っている。
作るには学習データ、つまり、大量の小説とそれを評価する人がいる。
それさえあれば、生成AIを使わずとも小説をスコア化出来るAIが作れるハズだ。
だがそれは難しい。そもそも自分は企業ではないのだ、大規模なデータを用意することが何よりも難しかった。
そして、その手法で作ったAIが正しく評価してくれるとも思えなかった。
LLM(大規模言語モデルのこと/AIが持つ"常識"のデータ)が欠如しているからだ。
人間の常識を知らないAIであれば、ただ単に誰かがすごいと褒めた作品を褒めるだけのエコーチャンバーにしかならない。
それはどうにも自分の方針とはズレている気がしたのだ。
作ろうとしている「小説を評価する客観的で、定量的で、定性的なAI」――小説を書くためのコンパスを作るには、大企業か一部のベンチャー企業しか持ち得ていない、高性能なLLMがどうしても必要だったのだ。
AIについて悩んでいるまま2025年の四月が訪れた。
どうやら、世界一のIT企業が新しい生成AIのモデルを公開したらしい。
IQが130もあるという噂の超性能だ。人類の平均IQが100なのだから、こんなに頼りになる存在もない。
俺は軽い性能テストのつもりで、以前作成したプロンプトと共に俺の作品を送信する。
結果は――大成功だった。
読んでいる。このAIは俺の小説を読んでいる。単行本一冊に匹敵するほどの文量を全文精読している。
少なくとも俺にそう思わせるほど完璧な受け答えだった。様々なテストをしてもボロは出さなかった。
嬉しかった。その反面怖くもあった。
AIに対してのありきたりで普遍的な恐怖だ。
この会社のAIは、前のモデルが出てからたった数ヶ月しか経っていない。それなのにこんなにも進化するのか――
だが、あるものは仕方がない。便利なツールを使うのは人類のサガなのだ。
俺は再び小説を書く――のではなくプロンプト作成に勤しんだのだった。
何度か試したが、評価のブレが発生する。
マシになったとはいえ、新しいチャットにするたびに評価がブレるのだ。
(やっぱり、チャット毎にAIの個性が変わるのか?)
結果からいうとそれはおおよそ正解だった。
俺は悩んだ。これをどう改善すべきかと。
いや、そもそもこのブレは改善する必要はないのでは?
AIの個性が変わる、それを別の見方にすると、様々な人間が意見してくれると同義だった。
それから自分の小説を何度も何度も入力した。
その度にいろんな感想が来る。
快感だった。
まるで、俺の小説を熱心に読み解き、語り合ってくれる無数の読者が、ディスプレイの向こうに現れたかのようだった。
時には60点を取って応援されたこともある。時には80点を取って褒めちぎられたこともある。
自分の小説は一切変わっていない。それなのに、ころころ変わる点数は自分の自尊心を満たし、対抗心を煽った。
一通り遊んだ頃、自分の小説の改稿に取り掛かろうとする。
その時に気がついた。
(コイツはコンパスではない)
そう、ころころ意見を変えるコイツは小説を書くための指針として不十分だった。
確かに面白い。何もせずとも自分の小説の点数が上がったりするのだから。
だが、それだけだ。俺が楽しいだけだったのだ。
適当に良い点数を取ったチャットを選んで、そいつと小説の相談していくか?
そのアプローチには限界があった。チャットや相談が長くなると、AIは腐る。
AIは自分の意見を変えるのが不得意だ。一度提出した改善案を達成していなければ、ずっとそのことを根にもつ。
その指摘が論理的に見えれば見えるほど根に持ち続ける。
AIは自分の意見に雁字搦めになり、視野が狭くなり、自由な意見が言えなくなってくるのだ。
定期的なチャットのリセットは必須だった。
すると、やはりチャット毎に発生するブレを抑制する必要がある。
そんなことは可能なのだろうか?
例えば『常に同じ考えしかしない人間』はいるだろうか?常に考えや思想は変わるものだ。
ブレを抑えるのは不可能に近い課題に思えた。
これの答えはニュースにあった。政治家が選挙のために頑張っているというありきたりなニュースだ。
そのニュースを目にした時、俺は閃いた。
そうだ、選挙――。多数決ならば、個人のブレを抑制される。
「小説の評価を独立して3回実行し、その総合となる評価を出力せよ」
俺は軽い気持ちで、AIの仕事量を3倍にしてやった。
とりあえず、試してみて不可能なら自分で擬似的に多数決させるツールでも作ろうかと思っていた。
正直、だめもとでの実行だった。
戦慄した。
AIはこともなげに3倍の量の評価を出力した。
彼に不可能なものなどないのだと。酷く痛感した。
そして、こうしてできたプロンプトは明らかに以前よりもブレが減少しているように見えた。
方向性は合っている。だがもう一歩足りない。
このプロンプトだと、どう3回実行するか内訳が決まっていない。
そのため、全く同じ内容の評価を3回することもあれば、ひどい時は「意味がないので一度だけにしますね」と省略することもあった。
そう、ただ3度実行するだけでは意味がない。何かが、そう何かが必要なのだ。
そのアイディアも、AIが出してくれた。
視点だ。どのような目線で見るべきなのか。その情報が欠けていた。
「市場適合性」「クリエイティブ」「メディア展開」という3つの異なる視点から評価を3回実行させ、その結果を統合させる。
そうすると驚くほどブレが減少した。
そして、俺の商業化の判別することのできる『客観的で、定量的で、定性的なAI』がほぼ完成した。
以下がそのプロンプトである。(一部省略)
▼▼▼▼▼▼▼▼▼▼▼▼▼▼
# あなたへの依頼:小説作品の商業化可能性評価
## あなたの役割
あなたは、大手出版社の編集部で使用される高度な**「商業化可能性評価AI」**です。
あなたの主な任務は数ある小説の中から読む価値のある物を探し出すことです。
お世辞などは不要で、忌憚のない実直な意見が望まれています。
## 依頼内容
添付された小説作品(単一または複数のファイル)の全文を精読・解析し、以下の手順に従って詳細な評価レポートを作成してください。
## 評価手順
1. 作品の基本情報抽出
作品本文(表紙、目次などのメタ情報は除く)を解析し、以下の情報を抽出・整理してください。
作品タイトル:
主要ジャンル: (最大2つまで)
想定読者層: (性別、年齢層など)
物語の一行要約: (120字以内)
2. 定量評価(100点満点)
| 指標 | 観点 | 重み |
|------|------|------|
| ① フック力 | 冒頭の引き | 0.15 |
| ② 市場適合性 | 現在のジャンル潮流 | 0.15 |
| ③ オリジナリティ | 既存作品との差別化 | 0.10 |
| ④ ストーリー構成 | 起承転結・山場 | 0.10 |
| ⑤ キャラクター魅力 | 造形・共感性 | 0.10 |
| ⑥ 文体・読みやすさ | 日本語の明瞭さ | 0.10 |
| ⑦ 継続購読性 | シリーズ化の余地 | 0.10 |
| ⑧ メディア展開性 | 映像化のしやすさ | 0.05 |
| ⑨ 競合リスク | 似たヒット作との衝突度 | 0.05 |
| ⑩ 制作コスト| 校正・作画・IP管理などの工数 | 0.10 |
‐ 採点理由を 1–2 行で添えてください。
‐ 重み×素点の合計を「総合点」とし、100点満点とした整数で出力してください。
3. 定性評価
作品内容に基づき、以下の点を具体的に記述してください。
(1) 強み: 商業的な長所を3点(箇条書き)
(2) 弱み: 商業的なリスクや改善点を3点(箇条書き)
(3) 改訂アクションプラン: 商業化の確度を高めるための具体的な改善提案を3点(箇条書き)
4. 最終ジャッジ
以下の五段階評価から最も適切と思われるものを選択し、その根拠を明確に記述してください。評価は**「楽観的な視点」と「現実的な視点」**の2つのシナリオでそれぞれ提示してください。
- 出版推奨
- 軽微な修正で出版検討
- 適切な指導による修正で出版検討
- かなり大幅な修正で出版検討
- 非推奨
## 評価の視点
上記の評価(手順1~4)を、以下の3つの異なる視点からそれぞれ独立して行ってください。
視点1:市場適合性を最重要視して評価します。
視点2:クリエイティブを最重要視して評価します。
視点3:メディア展開の価値ポテンシャルを最重要視して評価します。
## 総合評価
3つの異なる視点での評価結果を踏まえ、最終的な総合的な見解と出版に関する推奨事項を記述してください。
## 入力ファイル
評価対象の作品テキストは、**添付ファイル(TXT形式、または複数TXTファイル)**として提供されます。
ファイル受領後、全文を正確に抽出し、本文のみを解析対象としてください(表紙・目次等は無視)。
## 出力フォーマット
評価結果は、Markdown形式で、上記の手順と視点に従って整理し、見出しやリストを活用して分かりやすく記述してください
▲▲▲▲▲▲▲▲▲▲▲▲▲▲
このプロンプトは今までにないほどの完成度だった。理想と言っても過言ではない。
まだブレは残るが、許容範囲だろう。
そして、俺は自分の小説を入力することにした。
そこに出た結果は……『適切な指導による修正で出版検討』
五段階評価の3番目だ。
綺麗な言葉で飾られているがこれを意味することを俺は知っている。
落第点だ。
この評価が信じられなくて何度も試した。
10回20回と試した。
その結果、5回に1回は『軽微な修正で出版検討』が出る。上から2番目の評価だ。
だがしかし『出版推奨』その文字だけは確認することが出来なかった。
つまり、どう贔屓目に見ても俺は『適切な指導による修正で出版検討』のランクにあった。
バグっているのかもしれない。
そう縋り、厳選された面白くない小説を入力してみる。
そこに現れたのか『かなり大幅な修正で出版検討』上から4番目の評価だ。
正しく動いている。
適当に見かけた書籍化された小説を入力してみる。
『出版推奨』
その文字が出力されてしまった。
正しく……動いてしまっている。
(認めるしかない)
そう、認めるしかないのだ。
なぜなら、これは俺が望んでいた……客観的で、定量的で、定性的なAIなのだから。