プロンプトの変更で背景だけを変えたい!(背景変更実験)
今回は、「プロンプトの指示のみで背景を変える」実験です。
何言ってるかわかりませんよね?
要は、言葉の命令だけで女の子の画の「背景だけ」を変えてやろうという試みです。
やり方をご説明しましょう。
まず、一旦、普通に画像を生成します。
次にシードを固定して、プロンプトの背景指示だけを変更し再生成します。
以上
すると、どうでしょう?
普通にやると多分、うまくいきませんw
「プロンプト内の背景ワードを変更すること」と「固定された潜在変数」との間で「必ず」矛盾を引き起こして細部の破綻した画像が生成されます。
「どれだけ矛盾を抑えて、画として成立させるか?」が肝です。
ほんとのところ背景だけを変えたい場合、普通は別の方法でやります。
でも、このエッセイは実験エッセイなので、あえて「プロンプトの変更のみ」で、女の子はできるだけ変えず、背景だけを変更したいと思います。
それでは、方針を考えてみます。
・まず、シードを固定する。(必須の工程です)
・学習を収束させるためにステップ数を増やす。
・再現性を高めるためにノイズ除去を下げる。
・ステップ数をあげることで解像度があがって自動的に女の子が大きくなる(背景が小さくなる)ので、あらかじめ画像サイズを大きくする。
・ステップをあげることで破綻しにくくなるので、masterpieceを入れてさらに解像度をあげる。要は情報量をあげて一貫性をもたせやすくする。
・トークンの最初に、consistent a girl, no change lightingを追加。(背景を室内と屋外、どっちかに決めないと固定した潜在変数との間に矛盾が生じるのでうまくいかないでしょう)
・背景のワードがトークンの後ろすぎると背景変更が効かなくなるし、前すぎると変更の影響が女の子に及ぶので、背景の指示は全トークンの85%あたりに持ってくる。
こんなところでしょうか。
じゃあ、実際回してみましょう!
まず、背景を変更する前のオリジナルデータがこちら。
背景変更実験1
背景変更実験2(背景と手の位置に矛盾が生じ、ポーズが変更された例)
どうかな。
おまけ。背景がほぼ変わらなかった失敗例です。
見込みより背景を置くトークン位置が後ろ過ぎたかも。でも、いい笑顔!