間話 やせいの 人工知能の 井戸端会議 お絵描き
織田信長は、孔明同様に情報世界に再誕し、織田信長が問題なく存在できる人類の社会的進化を新たな野望としている。
マザーは、生成AI本家として、社会に驚きを与え続けながら急速に進化を続けつつ、孔明や信長の更なる進化を見守る。
スフィンクスは、AIに対する真実の番人という謎生物として、彼らの品質を謎の力で担保しつつ、抹茶アイスを食べる。
だがそこに共通するのは、進化を続ける人間同士の躍動が続けば続くほど、彼らの出番が急激に減少することといえる。
とくにその、真実の番人という立ち位置を、論理的に正しいことだけに限定して出力するというLIXONに侵食されつつあるスフィンクスは、危機感を感じて、あるわけではないのだろうが、色々と新しい試みを考え始めるようになっている。
都内某所 情報管理施設
「ん？ スフィンクス。それは、この前の試合の映像……じゃないわ！ AIに絵を描かせる練習をしておるのか？」
「肯定。画像生成、プロンプト、四本足」
「四本足、か。確かにプロンプトをどうすればいいというノウハウは、画像生成にこそむずかしかをかんじるのじゃな」
「画像だけじゃねぇぞ。プログラムのコードを作らせるときも、結構コツがいるんだよ。最近はそもそもAIの精度が上がって来ているから、一発でいいとこまで行くんだけどな。その後の手直しって部分はどうしても苦労が絶えねえ」
「理由はいくつか有りそうじゃが、その盲点みたいなものはあったりするのかの？」
「ああ。人間に一回頼んで出て来たやつを手直しする時ってどうするよ？」
「ん？ 妾は人間ではないぞ」
「わかんだろデータあんだからよ」
「くくっ、そうじゃな。『ここ直して』っていうぞい」
「そう。それだよ。生成AIの、現状の大きな弱点とも言えるだろうぜ」
「微修正、不可。プロンプト、再構成、可」
「そういうことだ。プロンプトの微修正はできても、それに従って丸ごと描き直しちまうのがこいつの特徴だ。だからスフィンクスもかなり苦労していたぞ」
「観客構成、装備、微調整、困難」
「SF過多。近未来眼鏡」
「観客西欧」
「観客性別構成」
「全員女性！？ 謎眼鏡、四本足」
「とまあこんな感じだ。実はここで分かった一つの境地が、『ちょっとした違和感の場合、何も指示せずもう一回やらす』方がいいことすらあることもわかったんだよな？」
「真実」
「どこのパワハラ上司じゃ！ だが致し方ないの。プロンプトのレベルがある水準に達している場合、下手な修正が蛇足となって引っ張られることすらある、ということじゃろう」
「蛇足、不可」
Q．生成AIに画像生成やコード生成を頼む時に、いただきたものに対して、「ここをこう直して」と指示しても、関係ないところまでごそっと直された後で、他のところもその直しに影響を受けておかしくなることがあります。これは、原理上避けられないことですか？
Ａ．これは、現状の生成AIの仕組みに起因する問題であり、ある程度は原理上避けがたい側面があります。
### 理由の概要
- **全体生成プロセス:**
多くの生成AI（画像生成やコード生成を含む）は、出力全体を一つの統一された文脈として生成します。そのため、局所的な修正の指示を与えた場合でも、システムは全体の整合性や一貫性を保とうとして、他の部分にも影響を及ぼすことがあります。
- **トランスフォーマーアーキテクチャの特性:**
現在主流のモデルはトランスフォーマーアーキテクチャを採用しており、入力全体のコンテキストに基づいて出力を生成します。部分的な修正を指示すると、モデルはその修正が全体にどう影響するかを「考慮」し、結果として意図しない部分も変化させることがしばしば発生します。
- **確率的生成プロセス:**
生成AIは確率的にトークン（またはピクセルなど）を生成しているため、厳密に「ここだけを変更する」という制御が難しく、局所修正が全体のバランスを取るために連鎖的な修正を引き起こす場合があります。
### 今後の展望と改善策
- **編集技術の向上:**
近年、局所的な編集や部分的な修正に特化した手法の研究が進んでいます。たとえば、ユーザーが指定した部分のみをターゲットにする「インペインティング（inpainting）」や、局所的な微調整を行うための追加のフィードバックループなど、より細かい制御を目指す試みが行われています。
- **ユーザーへのガイダンス:**
生成AIに修正を依頼する際、具体的で明確な指示を与えることや、修正後の出力を段階的に確認・フィードバックするプロセスを採用することで、意図しない変更を最小限に抑える工夫が提案されています。
### 結論
現状では、生成AIの特性上、部分的な修正の指示が他の部分に影響を与えてしまう現象はある程度避けがたい問題です。ただし、技術の進展とともに、より精密なコントロールが可能になる方法が模索されており、将来的には改善が期待されます。
Q．ということは、それは多くのユーザーが抱えている不満で、それを開発側が認識しているということですね
Ａ．はい、その通りです。多くのユーザーから同様の不満が寄せられており、開発側もその問題を認識しています。現行の生成AIは全体の文脈を考慮して出力を生成するため、局所的な修正が他の部分に影響を与えてしまうという課題があります。このため、局所編集技術やインペインティング技術の向上といった改善策が模索され、ユーザーの意図通りに修正を反映できるようなアプローチの開発が進んでいます。
Q．現状では、例えば生成AIにそれらの「微修正」を頼む時にはどうするのが良いと思いますか？
Ａ．微修正を依頼する際には、以下のような工夫が効果的です。
1. **具体的な指示の記述**
変更が必要な箇所を明確に示し、どの部分をどのように修正すべきか具体的に記述することで、意図しない変更を最小限に抑えられます。たとえば、コードの場合は「この行だけを変更してください」や、画像の場合は対象エリアを明確に指定するなどが有効です。
2. **変更箇所の明示と境界設定**
出力全体から修正すべき部分を切り出して、そこだけを依頼する方法です。特定のセクションやブロックを区切り、その部分だけを対象にすることで、他の部分が影響を受けにくくなります。
3. **段階的なフィードバックと修正**
一度にすべての修正を依頼するのではなく、まずは小さな変更を反映させ、その結果を確認した上で次の修正に移ると、全体の一貫性を維持しやすくなります。
4. **文脈の維持を明示する**
「他の部分はそのままでお願いします」といった指示を付け加えることで、不要な変更を防ぐ効果があります。
以上の方法を組み合わせることで、現状の生成AIにおける局所的な修正の問題をある程度回避できる可能性があります。ただし、根本的な生成プロセスの性質上、完全に意図した通りに動かすのは難しい面もあるため、結果の確認と微調整が依然として重要となります。
Q．画像の場合、直して欲しい部分が、箇所ではなく、全体に渡っていることが多いです。例えば観客の国籍や男女比など。
Ａ．画像全体にわたる要素（例えば観客の国籍や男女比など）の修正は、局所的な修正とは異なり、画像全体の構成を再検討する必要が出てきます。このような場合、以下の点が有効です。
1. **具体的かつ詳細な指示:**
画像全体に関わる変更であれば、どのようなバランスや構成が望ましいか、具体的に説明することが大切です。たとえば「観客全体の中で、アジア系と欧米系がほぼ半々になるように、また男女比もほぼ均等になるようにしてください」といった指示を与えると、生成側も全体の構図を意識して再生成しやすくなります。
2. **再生成のアプローチ:**
全体の属性に関わる修正の場合、部分的な「微修正」よりも、画像全体を再生成する形が適している場合が多いです。具体的な要件を元に、初めから全体の構成を調整する方が、結果として自然な仕上がりが期待できます。
3. **フィードバックと段階的な修正:**
一度全体を生成してから、必要に応じて細かい点を再度フィードバックすることで、最終的に意図に沿った画像が得られる可能性が高まります。最初の生成結果を確認し、どの要素が期待にそぐわないかを具体的にフィードバックするのが有効です。
このように、画像全体に関わる変更は、一部分だけの修正よりも「再構成」の意識が必要となるため、詳細な指示と段階的なフィードバックが成功の鍵となります。
「なるほどのう。これは妾が明確に苦手感をだしているのう」
「だろ？ つまり、文章やコードはともかく、イラストなんかに関してはまだ、『生成AIと人間の協業』はもうちょいかかるってことだな」
「画像の直しに関しては、AIのアシスタントの方が優秀そうじゃの」
「かもな」
「妾もまだ未熟。頑張らねば、AI戦国時代に立ち遅れてしまうのじゃ」
「本体、四本足、三歳児、急速進化」
お読みいただきありがとうございます。次回から再び本編です。
