【その他】「ChatGPT」にAIイラストの呪文を聞いてみた

HS2と関係ないことで投稿してくるな！って言われちゃいそうですが、前回は出来ない事ばかりを取り上げすぎた気もしたので、今回はこんなことも出来るよ！ってお話です。

なお、あれから1週間分だけ知識が増えましたが、まだまだ大したことはありませんので、間違い、勘違いは笑ってそのままスルーしてください。
＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿

AI分野って勢いがあるっていうか、先週読んだ解説ページとその後のソフトのバージョンアップで相違点があったりするので、一生懸命に追いかけるか、半年くらい待って環境がもっと整ってから始めるか、って感じですかね。
ですので、僕が参考にさせていただいたサイトもあっという間に古くなってしまうかもしれませんが、一応紹介させていただきました。

先回AIイラスト作成ソフトを自分のPCで動作させましたが、改めて調べたところ無料のGoogle Colabを使用して、ほとんどクリック一発でインストールできる解説ページもありました。
というか埋もれてしまうくらいたくさん色々な方が作成されています。
実写系モデルもアニメ系モデルも選んで使える感じになってきましたし、とても高性能とは言えないAmazonのFireタブレットでも動作させることができました。
タブレットはマウスが無いので操作性があまりよくありませんので、ノートPCの方がいいでしょうね。

検索エンジンで「stable diffusion colab automatic 1111」で検索すると色々でてきます。
コマンドを打ち込みながらインストールを解説しているものもありますが、もっと簡単な方法で行うのがこれからの主流だと思うので、探してみてください。
ちょっと専門用語が多い場合がありますが、そこは好奇心（エロパワー）で乗り切ってください。
Youtubeならもっと作業のイメージがわかりやすいかも。

ちなみにクリック一発ではありませんが、アニメ系モデルのインストールも解説されて分かりやすいです。
https://blogcake.net/stable-diffusion-colab/

ただ、使える、のと使いやすいとではやっぱり差があります。
Google Colab版を試してみて、もっと使いたいと思ったのならご自分のPCで設定してみてもいいと思います。
画像を生成するのは、それほど負荷でもない印象です。

今回Loraと呼ばれる学習モデルを作成してみましたが、これは明らかにPCではハードルが高いです。
よくGPUメモリが12GB以上推奨という表記を見かけたのですが、Google　Colab版でやってみたところほんとにメモリを食います。

Google Colab版のLora作成方法はYoutubeでの解説が一番わかりやすかったし、インストールも1度やればすぐに慣れます。
PCでやる必要はないと思います。
Google　Colabの無料版で使用できるGPUはメモリサイズが15GBでした。
学習モデルの作成中は11GBくらいまで使用されていましたから、とても自分のPCでは無理です。

この方の解説は早口ですがわかりやすいです。ただし、すでに最新版はちょっとメニューが変わっています。
でも、見てみると良いと思います。

というわけで今回効果がわかりやすそうなムチムチボディの007さんのキャラをまたお借りしました。
Loraで使用する画像は8枚から30枚位ほどで大丈夫、という記載が多かったのですが使用する画像には条件というか推奨があって
1.キャラのポーズを同じにしない
2.背景は同じにしない
3.コスチュームは同じにしない（ゲームキャラなどコスチュームがキャラの個性なら同じにした方が反映されやすいかも）、です。

Loraはモデルデータにキャラの特徴を追加するイメージで使用するのですが、キャラと一緒に写っている背景やコスチュームまで投影されてしまうんです。
あまり気にせずやってみましたが、なぜ背景を同じにしてはいけないのか実感しました。

用意したのは12枚。背景はHS2の標準マップを入れ替えたつもりでしたが、違って見えても結局は色が違うだけの「壁」と認識されたようで、Loraを強く利かせると背景がとても単調になってしまいました。
12枚を学習させるのに掛った時間は30分ほどだったと思います。
Google　Colab上で行っているので、自分のPCのファンが全開になるようなこともありませんし、負荷はまったく掛かりません。
もっと本格的に何千枚もやろうという人は無料版ではなく、Colab　Proと呼ばれる月額1200円ほどの有料サービスに入った方がいいでしょうね。
学習時間が半分くらいになるそうなので。

ということで出来上がった007版Loraを適応してみました。
呪文には教室について記載しましたが体型について何も記載していません。
どうでしょうかね？キャラの特徴はしっかり反映されていると思うのですが。

イラスト調の方がもっとはっきり特徴がでていますが、なんかめっちゃかわいいと思いませんか。
画像を用意するのがちょっと面倒でしたが、やって良かったと思った瞬間でした。

＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿

AIイラストの情報を色々見ているうちにChatGPTに呪文を書かせるという記事があり、早速やってみました。
https://gist.github.com/hyuki/0943a22a166923e1ee0cda56c3ca1012

AIイラストで呪文を使って複数キャラを表示されるのって案外難しいんです。
それも解説サイトのように複数なんてとても無理。

サイトではChatGPTに「画像生成AIを使って、三つ編みの日本の女子学生が一生懸命勉強している様子を描くための英語のプロンプトを考えてください。」と質問しているだけなのですが、ChatGPTは3例ほど作成してくれて、その中の一つに複数キャラの呪文がありました。

「A group of Japanese schoolgirls with braided pigtails are huddled around a textbook, trying to decipher a particularly tricky problem. One of them is holding a pencil in her mouth, deep in thought, while another is making exaggerated hand gestures as she explains something to her friends.」

ChatGPTに翻訳してもらいました。
「日本の学校の女子生徒たちが、三つ編みのポニーテールをして、教科書に囲まれています。彼女たちは、特に難しい問題を解読しようとしています。一人の女子生徒は、考え込んで口にペンをくわえています。もう一人の女子生徒は、友達たちに何かを説明しているときに誇張した手振りをしています。」

これで「Generateボタン」を押すとこうなりました。
結局はガチャなのでボタンをクリックするたびに違ったポーズになってしまうのですが、呪文はちゃんとAIイラストに通じているようです。
どっかで見たことのあるようなタッチのキャラになっているのは、使用しているモデルデータのせいです。そういう感じのイラストを何万枚も学習したのでしょうね。

次に同じ呪文に「007版Lora」を足してみます。
顔はそれぞれ違っているけど、体型などはちゃんと007版になっていますね。
背景がちょっと単調な感じになったのも007版Loraの影響だろうと思います。元データで背景をもっと情報量の多いものにしておけば、また違った感じになったのかもしれません。
右端はなんか保健体育の勉強に一生懸命になっちゃってますね。
なぜだかAIイラストってバストサイズを上げると、勝手に服を脱ぎだす傾向があるように思います。学習したデータが偏りすぎじゃないかなw

＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿

先回はHS2で作成した画像のポーズをAIイラストに反映させましたが、他にも違う方法がありました。
先回は「txt2img」という呪文主体で画像を生成するモードでしたが、今回は「img2img」モードで作成してみます。
このモードではまず画像を読み込ませてから、画像を生成します。
元画像の要素を反映させたものになり、簡単に元画像に近いイラストを生成することができます。

使用したのはネットから拾った画像です。007版と違いを出すためにスレンダーなモデルさんを選んでみました。
「img2img」モードではAIが生成した画像に元画像情報が乗っかってくるイメージです。
AIイラストの生成画像を固定した状態で「影響度」を変化させるとそれに伴って画像が変化します。
50％を超えると元画像のイメージはほとんどありませんでした。
もちろんこのモードでも呪文で色々指定することはできますが、影響度が低いと背景やコスチュームは元画像に近い状態になり呪文の影響はあまり出ませんでした。

じゃ、これをHS2にからめるとどうなるかと思い、Lunaさんの情緒たっぷりの「駅舎」を舞台に自作（シーン自体はパクリなのですが）した画像でやってみました。
（色味が変なのは僕の設定の問題です。Lunaさんのマップデータのせいではありません。）
影響度は30％です。
007版Loraを適応するとポーズや構図によってガチャの成功率が著しく下がってしまったため、007版は適応しておりません。
学習時に用意した画像にないポーズから程遠いのは苦手なんでしょうね。

NG集的にAIの失敗も載せていますが、人間も自動車の後ろ姿のランプの配置とかで「顔に見える！」とか言い出しちゃうのと同じように、AIもすぐに顔や人物を描こうとしてくるんです。

（もちろん狙ってないけど、駅名の横のHSがRG（Roomガール）になっているｗ）

呪文ではとても指定できないようなポーズを再現しているし、駅もいい感じです。
何回かガチャしてると勝手に液を足してくれたり、アヘ顔になったり意外性があって面白かったです。
んーなにか使い道があるかと言われると困るけど、HS2画像をブラッシュアップしたり出来るかな。

色々試した中でこれは！と思ったのはネットで拾ったイラストで生成した時でした。
簡略された子供のイラストやちびキャラがびっくりするくらいちゃんとイラスト化されていました。
これは商品画像とかですぐに使えそう！なんて思ったりして。
趣味はともかく仕事の中でAIイラストを利用する人がいるかもしれない、なんて思った瞬間でした。

＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿

Zガンダムのエンディングの投稿で懐かしくなってChatGPTにこんな質問をしてみました。
「AIイラスト作成のStable Diffusionで使用できる、テレビアニメ「Zガンダム」のエンディングのように女の子が宇宙を背景に走っているイラストを描くプロンプトを英語で教えてください」

“Generate an illustration of a girl running in zero-gravity space with a starry background, inspired by the ending of the TV anime ‘Z Gundam.’
The girl should be wearing a space suit or futuristic outfit, with a confident and determined expression on her face.
The scene should be filled with vibrant colors and dynamic energy, with streaks of light or energy trails following the girl’s movements.
The background should be a starry expanse, with nebulae or galaxies adding depth and interest to the image.”

「”Zガンダム”のエンディングをイメージした、宇宙空間の星空の背景に女の子が走っているイラストを生成してください。
女の子は宇宙服や未来的な衣装を着用し、自信に満ちた決意の表情をしているべきです。
シーンは活気に満ち、女の子の動きに沿って光の軌跡が残るようなダイナミックなエネルギーが満ち溢れているべきです。
背景は星々が輝く広がりで、星雲や銀河が深みと興味を加えるように描かれているべきです。」

いや、お前エンディング見たことないだろｗ
って当たり前のことを思いつつ、AIイラストに呪文として入れてみました。

うん、Ｚじゃないけど、呪文の通りにはなっていると思う。

コスチュームをワンピースに変更してもらって、ガチャしてみました。

そもそもＺガンダムを知っているのかと思い、呪文の「Girl」を「Z Gundam」に変えてみました。
ゼータではないけど、まったくガンダムを知らないわけではないみたいね。
左の画像は脚部の造形や胸部のカラーリングはガンダムっぽいかも。
今回はアニメ系に強いモデルを使って生成していましたが、試しに実写系に強いモデルにしてみたら、ぜんぜんダメでした。
アニメ系モデルにはガンダム関係も学習データに含まれていたんでしょうか。

またまた、ガチャしてみると時々ガンダムが女の子になってしまいました。
プラモデルでは美少女化が流行っているので、これもいいかも。
真ん中の画像の胸部に「Z」と書いてあるように見えなくもないですねw

最後に007版Loraの影響力を高めていったら、最後には宇宙ではなくなってました。
007さんの持っているイメージが宇宙を凌駕したんですねー。

ということで、思ったより長くなってしまい申し訳ありませんでした。
短時間ながら色々やってみましたが、AIイラストってすごい技術だと思うし、これからどんどん性能も上がって使いやすく、思った通りの絵が生成されるようになっていくんでしょうね。
でも、僕はこれから続けられそうもないです。
理由はやっぱり僕は絵が描けないので、下書きを描いてAIで彩色とかできたらいいなぁとは思いますが、試しにマウスで絵をかいたらAIから人間と認識してもらえませんでした。
テクニカルな部分はすごく興味があるけど、Pixivや同人でAIイラストで作成しました！って人のように、ちょっと僕には趣味になりそうもない。
それに簡単なだけが楽しい、ではないと思うし。
自分にしかわからない、人には伝わらないようなこだわりのために時間を掛けても、その過程の面白さや達成感は手間を掛けた分だけ大きいと思うので。
仕事なら効率は大事だけど、趣味や遊びはそれだけじゃないですよね。

なんて話はどうでもいいけど、まだまだHS2のスタジオの方が奥が深いと思いましたよ。AIイラストの棒人形が奥行きを判断するようになれば、スタジオを使っている方はすぐに思い通りのポーズを決められると思う。
それに僕はPCへの負担が大きいのでほとんど使いませんが、グラフィックMODやDHHなどを使って美麗な画像を制作されている方もいますから。
AIイラストとからめるなんて、もう少し先のことなのかもしれませんね。

勝手にキャラをお借りした007さん、マップをお借りしたLunaさん、ありがとうございました。