線画から画像生成を試してみた、補足
前話の最後、簡単なプロンプトから複雑なプロンプトへ一気に生成をおこなったため、本当に「わらしべ長者」をしてるのか? と疑問に思われた方もいらっしゃるかもしれません。
今回は、そんな方に向けた補足です。
まず、結論ですが前話では、「わらしべ長者(コントロールネットの再帰的利用)」をしています。
最後に一気にプロンプトを複雑にしたのは、プロンプトの具体性を急激に高めて、細かい背景を描画させたかったからです。
段階的にずっとわらしべ長者をしていると、誤差が累積して特徴が薄まったり、背景描画時にノイズの具体性があがってしまって、背景の自由な描画が阻害されたりします。
ここで使っている「具体性」とは、AIが認識する「具体性」のことで、人間の使う「具体性」という言葉とはニュアンスが少し異なります。
ちょっとずつ言葉の意味がAIと人間では異なっているのですね。
今回はそれを見てみましょう。
・まず元の絵
(Rockabilly hair, handsome, school uniform, autumn)
前回のこの画から、わらしべ長者をします。
・目を焦げ茶色にし、元の画の人物を若くしたい、さらに視線を正面に向けたい。
(dark brown eyes, Turn the man into his younger self during his boyhood days, Make the man look at the camera)
・目を焦げ茶色にしたい。
まずここで、焦げ茶色にした目の色がブレザーや髪に波及する現象が発生しました。
まぁ、今回はブレザーや髪色にこだわりはないので、許容します。
目の色を変える趣旨は、背景を描画したときに目が不自然に赤くなったり黄色くなったりするのを防ぎたい、という一点のみです。
・同じ人物で、年齢を若くしたい
前回は、わらしべ長者に頼り、boyで一気に年齢を若くしましたが今回は段階的に行うのでもっと細かく指示をしました。同一人物の若い頃のように見えますでしょうか?
・前を向かせ、視線を正面に向けたい
少し正面を向きましたね。これはわらしべ長者を繰り返すことで効果が累積して期待通りになっていくでしょう。
・ブレザーを学生服っぽくしたい。着崩したい。上半身のみにし、人物を大きく描画したい。
(Change his blazer to resemble a typical school uniform blazer, Modify his uniform to make it look more casually worn, Show only the upper half of him)
・ブレザーをより学生服っぽくしたい
前の段階では、見た目がまだちょっとおっさんっぽかったので、服を学生に近づけることで人物がさらに若く描写されることに期待します。さらに、着崩させることで若さを演出したい。
・上半身のみにし、人物を大きく描画したい
やっぱりメインの人物は、大きくしたいよね。
・背景を秋の森林公園にしたい
(Add a background of a sunny autumn day in Forest Park with autumn leaves to the image)
さぁ、いよいよ来ました。無描写の背景(実はノイズが描写されている)に背景を追加したいです。
ここでノイズをたくさん除去してしまうと、大幅な書き換えが起こってしまい、結局わらしべ長者の意味がなくなってしまいます。
できた結果がこちら。
背景がしょぼいでしょ?
これが起こることがあらかじめわかっていたから、前話の最後では一気にプロンプトを詰めたということです。
そして、お気づきになりましたか? 髪型の特徴が薄れていくのが。
・おまけ
前話同様最後一気に詰めた別パターンのやつ。
よくみると肩の部分にギターがあったときの名残がありますね。