Stable Diffusionでアニメを実写化する方法

TL;DR

Google ColabでStable Diffusion Web UIを起動し、ChilloutMIXとControlNetのTileを設定して、img2imgにアニメ画像とプロンプトを入力すれば実写風画像を生成できる。崩れた場合は出力の縦横比を元画像に合わせ、髪色や服装をプロンプトで指定して調整する。

Transcript

はいこんにちはアーケートです今回は こんな感じでステーブルディフュージョン を利用してアニメ画像を実写化する方法 っていうのをこの動画で1から解説して いきたいと思います結構YouTube 動画とかでアニメの画像を実写化してみた みたいのがいっぱいあると思うんですけど 1回覚えてしまえば簡単にできますので ぜひ皆さんも試してみてください ちなみに私のチャンネルはAIやWEBに 関する便利なツールや情報を共有している チャンネルですチャンネル登録がお済みで ない方はチャンネル登録などぜひお願い いたしますまたAIに特化した コミュニティもやってますので 興味がある方は概要欄の方から是非参加し てみてくださいそれでは本題に入っていき ます はいということで今回はステーブル ディフュージョンを使っ... Read More

Key Insights

• アニメ画像の実写化は、Stable Diffusion Web UIのimg2imgへ元画像を投入し、ControlNetのTileを併用して新しい画像を生成する手順である。
• Web UIの実行環境は、AUTOMATIC1111の案内ページからGoogle Colabノートブックを開き、自分のGoogleドライブへコピーして用意する。
• 実写風の生成モデルは、CivitaiからChilloutMIXを取得し、Googleドライブ内のモデル用フォルダへアップロードしてファイルパスを指定する。
• ControlNetの設定は、Enableを必ずオンにしてControl TypeをTileにし、Control ModeとResize Modeを動画で示された右端の項目へ変更する。
• 生成用プロンプトはChilloutMIXの掲載例を参考にできるが、LoRAを利用しない場合はLoRAに関する記述を削除してから入力する。
• 生成結果の実写感が弱い場合は、別のプロンプトへ変更して再生成することで改善を試せるが、動画の作例でも結果には違いが生じている。
• 縦長の元画像を正方形の設定で処理すると画像が潰れて崩れる場合があり、元画像と出力サイズの縦横比を合わせることが重要である。
• 髪色や衣装の再現が弱い場合は、blue hairやmaidなど目的の特徴をプロンプトへ追加し、元画像に近づくよう再生成する方法が示されている。

Questions & Answers

Q: Stable Diffusionでアニメ画像を実写化する方法は？

Stable Diffusion Web UIのimg2imgへアニメ画像を入れ、通常プロンプトとネガティブプロンプトを設定し、ControlNetを有効にしてTileを選んで生成する。出力が元画像と合わない場合は、プロンプトや画像サイズを調整して再生成する。

Q: Google ColabでStable Diffusion Web UIを起動するには？

AUTOMATIC1111の案内ページからGoogle Colab用ノートブックを開き、「ドライブにコピー」を押して自分の環境へ複製する。Googleドライブへの接続を許可し、モデルなどを設定して全セルを実行すると、最後にWeb UIを開くURLが発行される。

Q: ChilloutMIXをGoogle Colabで読み込む方法は？

CivitaiのChilloutMIXページからモデルファイルをダウンロードし、GoogleドライブのColab Notebooks内に作成したモデル用フォルダへアップロードする。Colabのファイル欄で対象ファイルを右クリックしてパスをコピーし、Path to Modelの欄へ貼り付ける。

Q: アニメの実写化でControlNetを設定する方法は？

img2img画面のControlNet設定を開き、最初にEnableへチェックを入れて機能を有効化する。次にControl TypeでTileを選び、Control ModeとResize Modeを動画で示された右端の設定へ変更する。Enableを忘れると設定が反映されないため注意が必要である。

Q: 実写化した画像がアニメ調のままになる場合の改善方法は？

実写感が弱い場合は、よりリアルな出力例に使われているプロンプトへ変更して再生成する。動画では最初の結果がアニメ寄りだったため別のプロンプトを試し、表情などが元画像に近い実写風の結果へ改善した例が示されている。

Q: 生成画像が潰れたり崩れたりするのはなぜですか？

主な原因として示されているのは、元画像と出力画像の縦横比が一致していないことである。動画では縦長画像を正方形の設定で生成したため、潰れた元画像を基に処理されて崩れが発生した。元画像のサイズを確認し、出力側の幅と高さを合わせて再生成する。

Q: 髪色や衣装を元のアニメ画像に近づける方法は？

再現したい特徴をプロンプトへ明示的に追加する。動画では金髪が強く出たメイド画像に対し、blue hairとmaidを加えてから再生成した。さらに元画像に合わせて出力サイズも変更することで、髪色、衣装、構図がより近い結果になった。

Q: 生成した実写風画像を保存する方法は？

満足できる画像が生成されたら、出力欄にあるSaveを押し、表示されたDownloadボタンを選択する。動画の実演では、この操作によって生成画像をデスクトップへダウンロードしている。結果を比較しながら必要な画像だけを保存できる。

Summary & Key Takeaways

• まずAUTOMATIC1111の案内ページからGoogle Colab用ノートブックを開き、自分のGoogleドライブへコピーする。動画内の手順ではColab Proへの加入が必要とされる。CivitaiからChilloutMIXをダウンロードし、GoogleドライブのColab Notebooks内に作成したモデル用フォルダへアップロードして準備する。

• ColabノートブックでGoogleドライブへの接続を許可し、ChilloutMIXのファイルパスをモデル欄へ貼り付ける。ControlNetのモデルにはTileを選び、全セルを実行する。話者の例では処理を約20分待つと、最後のStart Stable Diffusion欄にWeb UIを開くURLが発行された。

• Web UIではtxt2imgではなくimg2imgを使い、ControlNetを有効化して種類をTileにする。アニメ画像を投入し、通常プロンプトとネガティブプロンプトを設定して生成する。再現性が低い場合はプロンプトを変更し、画像が潰れる場合は元画像と出力の縦横比をそろえ、髪色や衣装などの特徴を追加する。