超解像実験2『IMG_123.HEIC』の効果を探る(結論)
とりあえず、前回の失敗を踏まえつつ、背景に抽象的な指示をいくつか入れて、できる限り女の子の書き込みの詳細さは維持しつつ、背景も細かく違いが出せるプロンプトへ組み直していきます。
みてみんの容量制限と、トークン数の限界との間での調整は難航しましたが、一応形にはなりました。
あまりに解像度があがりすぎると3メガバイトを超えてしまい、みてみんでアップロードできなくなるのです。
途中で3メガを軽く超える超解像度の画像がちらほらではじめました。
よりシンプルな背景を出させたりして、ファイルサイズをコントロールします。
新しいプロンプトで100回、回してみた結果わかったのは『IMG_123.HEIC』は少なくとも現在使用しているモデルに関しては、「プロンプトで指定していない部分の書き込みを増やす」ということです。
『masterpiece』はむしろ逆で、現在使っているモデルに関しては、「プロンプトで指定していない部分の書き込みを減らして指定した部分を際立たせる」ような効果がありました。
これは、『IMG_123.HEIC』は写真と『masterpiece』は絵画と、このモデルの中で、それぞれ強く結びつけられているワードであるということを意味しています。
逆に言うとそれだけのことなんです。
双方合わせて言えることは、モデルを形作る学習時のタグ付けの偏りがプロンプトで指示していない部分への書き込みの量に影響を及ぼしているということです。
ぼくが自分でAIを組むときは、そこら辺はまっさきに標準化して汎化性能をあげるので、なかなか気づけませんでした。
今回の実験で、一定の成果を得たと思います。
超解像実験、成果物がこちら
一定の成果を得ているように思います。