執筆者：Hakky AI
写真→イラスト変換｜StableDiffusionで実現！手順とコツ
- Stable Diffusionは高品質な画像を生成可能、アートやデザイン分野で活用。
- img2img機能は既存画像を元に、指示文に応じてスタイルや内容を変化させられる。
- Web UI環境構築で画像生成が可能。Pythonで自動化もでき、効率的なイラスト生成。
はじめに
Stable Diffusionは、テキストや画像から高品質な画像を生成できるAIツールとして注目されています。特に、img2img機能を使うことで、お手持ちの写真を簡単にイラストに変換できます。
この記事では、Stable Diffusionの基本的な使い方から、img2img機能を用いた写真のイラスト化、さらにパラメータ調整による品質向上まで、具体的な手順を解説します。写真からイラストへの変換に興味がある方、Stable Diffusionを使い始めたばかりの方にとって、最適なガイドとなるでしょう。
Stable Diffusionとimg2img機能の基本
このセクションでは、Stable Diffusionとその主要機能であるimg2imgについて解説します。これらの基本を理解することで、写真イラスト化の可能性を広げることができます。
Stable Diffusionとは
Stable Diffusionは、テキストによる指示に基づいて画像を生成するAI技術です。この技術は「潜在拡散モデル」という仕組みを利用しており、ノイズから徐々に画像を生成していくプロセスを経ます。
具体的には、与えられたテキストプロンプト（指示文）を解析し、それに基づいてランダムなノイズから意味のある画像を生成します。応用例として、風景、人物、抽象画など、テキストで表現できるあらゆるものを画像として具現化できます。例えば、「夕焼けの海岸」というプロンプトを入力すると、AIは夕焼けの海岸の画像を生成します。
Stable Diffusionは、高品質な画像生成、多様なスタイル、カスタマイズ性において優れており、アート、デザイン、エンターテイメントなど幅広い分野で活用されています。また、オープンソースであるため、研究や開発のコミュニティが活発で、日々新しい応用や改善が生まれています。
img2img機能の概要
img2img機能は、既存の画像をベースにして新しい画像を生成するStable Diffusionの機能の一つです。この機能は、単に画像を変換するだけでなく、元の画像の構図や要素を維持しながら、プロンプト（指示文）に応じてスタイルや内容を変化させることができます。
写真イラスト化においては、このimg2img機能が非常に重要な役割を果たします。例えば、風景写真を読み込み、「油絵風のイラスト」というプロンプトを与えることで、元の写真の構図を保ちつつ、油絵のようなタッチのイラストを生成できます。
img2img機能は、写真の雰囲気を大きく変える、手軽にアート作品を生成する、創造的な表現を可能にするといった点で優れています。また、パラメータ調整によって、生成されるイラストの細部までコントロールできるため、自分のイメージに合った作品を作り出すことが可能です。
Web UIの環境構築
Stable Diffusion Web UIを使用するためには、まず環境構築が必要です。
最初に、Stable Diffusion Web UIをGitHubからダウンロードします。次に、Python 3.10以上のバージョンがインストールされていることを確認してください。必要なライブラリをインストールするために、pip install -r requirements.txtコマンドを実行します。
環境設定では、CUDA Toolkitをインストールすることで、GPUを利用した高速な画像生成が可能になります。Web UIの起動は、webui-user.batファイルを実行することで行えます。初回起動時には、必要なモデルデータが自動的にダウンロードされます。
環境構築が完了すると、WebブラウザからStable Diffusion Web UIにアクセスできるようになり、画像生成、img2img、パラメータ調整などの機能を利用できます。もしエラーが発生した場合は、Pythonのバージョン、ライブラリの依存関係、GPUドライバなどを確認してください。
img2img機能を使った写真イラスト化のステップ
このセクションでは、Stable Diffusionのimg2img機能を用いて、写真からイラストを生成する具体的な手順を解説します。写真の選び方からテキストプロンプトの作成、パラメータ調整まで、ステップごとに詳しく見ていきましょう。
写真の選び方と準備
写真の選択は、イラスト化の成否を左右する重要な要素です。高解像度の写真を選ぶことで、生成されるイラストのクオリティが向上します。
特に、細部のディテールが重要な場合は、解像度の高い写真を選びましょう。また、アスペクト比も考慮する必要があります。Stable Diffusionでは、512x512や768x768などの正方形に近いサイズが推奨されます。異なるアスペクト比の写真を扱う場合は、事前にリサイズやクロップを行い、適切なサイズに調整してください。
例えば、風景写真の場合は、広角で奥行きのある構図を選ぶと、イラスト化された際に独特の雰囲気を出すことができます。人物写真の場合は、顔の表情や服装のディテールがはっきりしているものを選ぶと、よりリアルなイラストを生成できます。
写真の準備段階では、明るさやコントラストを調整することも重要です。明るすぎる写真はディテールが失われやすく、暗すぎる写真はノイズが目立ちやすくなります。画像編集ソフトを使用して、適切な明るさとコントラストに調整しましょう。これらの準備を丁寧に行うことで、img2img機能を使ったイラスト生成の成功率を高めることができます。
テキストプロンプトの作成
テキストプロンプトは、生成されるイラストの方向性を決定する上で非常に重要です。写真の特徴を捉え、どのようなイラストにしたいかを具体的に記述しましょう。
例えば、風景写真であれば、「美しい山々、澄んだ湖、夕焼け」のように、具体的な要素を記述します。人物写真であれば、「笑顔の女性、青いドレス、明るい日差し」のように、人物の特徴や服装、背景などを記述します。
プロンプトは、英語で記述することが一般的です。Stable Diffusionは、英語のプロンプトに対して最も高いパフォーマンスを発揮します。より詳細なプロンプトを作成するために、形容詞や副詞を効果的に活用しましょう。例えば、「鮮やかな色彩の、ゴッホ風の風景」のように、具体的なスタイルや雰囲気を指定することも可能です。
ネガティブプロンプトも活用しましょう。ネガティブプロンプトは、生成したくない要素を指定するために使用します。例えば、「ぼやけた画像、歪んだ顔、不自然な影」のように、ネガティブな要素を記述することで、イラストの品質を向上させることができます。
プロンプトの例としては、「masterpiece, best quality, ultra detailed, 1girl」などがあります。これらのプロンプトを参考に、自分の写真に合ったプロンプトを作成しましょう。
パラメータ調整の基本
Stable Diffusionのimg2img機能では、様々なパラメータを調整することで、生成されるイラストの品質を細かくコントロールできます。
特に重要なパラメータとしては、サンプリング回数（Steps）、CFGスケール、ノイズ除去強度（Denoising Strength） が挙げられます。
- サンプリング回数は、イラストの生成にかける計算回数を指定します。 回数を増やすほど、より詳細なイラストが生成されますが、計算時間も長くなります。
- CFGスケールは、プロンプトの影響度合いを調整します。 値を大きくするほど、プロンプトに忠実なイラストが生成されますが、不自然な画像になる可能性もあります。
- ノイズ除去強度は、元の写真からの変化度合いを調整します。 値を大きくするほど、元の写真から大きく変化したイラストが生成されますが、元の写真の要素が失われる可能性もあります。
これらのパラメータを調整することで、イラストのスタイルやディテールを細かくコントロールできます。例えば、サンプリング回数を40、CFGスケールを7、ノイズ除去強度を0.6 に設定すると、バランスの取れた高品質なイラストを生成できます。パラメータ調整は、試行錯誤を繰り返しながら、最適な値を見つけることが重要です。
生成されたイラストの確認と調整
イラスト生成後、その品質を評価し、必要に応じてパラメータを再調整することが重要です。生成されたイラストをよく観察し、プロンプトに忠実であるか、ディテールが適切に表現されているか、不自然な点がないか などを確認しましょう。
もし、プロンプトと異なる要素が含まれている場合は、CFGスケールを調整して、プロンプトの影響度合いを強くすることができます。ディテールが不足している場合は、サンプリング回数を増やして、より詳細なイラストを生成することができます。不自然な点がある場合は、ノイズ除去強度を調整して、元の写真の要素をより多く残すことができます。
また、ネガティブプロンプトを活用して、不要な要素を取り除くことも有効です。例えば、顔が歪んでいる場合は、「deformed face」をネガティブプロンプトに追加 することで、改善されることがあります。
パラメータの再調整は、一度に大きく変更するのではなく、少しずつ調整しながら、効果を確認することが重要です。X/Y/Z plot などのツールを使用すると、複数のパラメータを同時に変化させながら、結果を比較することができます。これらのツールを活用して、最適なパラメータ設定を見つけましょう。
パラメータ調整の応用：高品質なイラスト生成
Stable Diffusionでは、パラメータ調整によって表現の幅を広げ、より高品質なイラストを生成できます。ここでは、そのためのテクニックを解説します。
詳細なパラメータ設定
Stable Diffusionで高品質なイラストを生成するには、Seed値やDenoising strengthなどの詳細なパラメータ設定が重要です。Seed値を固定することで、同じプロンプトでも毎回同じ結果を再現できます。
これにより、パラメータ調整の効果を正確に評価できます。Denoising strengthは、元画像からのノイズ除去の強度を調整するパラメータです。値を高くすると、より元画像から離れたイラストが生成されますが、構図が崩れる可能性もあります。逆に、値を低くすると、元画像に近いイラストが生成されます。
例えば、風景写真のイラスト化で、Seed値を12345に固定し、Denoising strengthを0.7に設定すると、特定のスタイルで安定した結果が得られます。Hires fixを使用すると、低解像度画像をアップスケーラーで拡大し、img2imgで詳細を追加することで、構図の破綻を回避しつつ高解像度の画像を生成できます。
UpscalerのアルゴリズムをLatentに設定し、Hires Stepsを20、Denoising Strengthを0.55、Upscale byを2程度に設定することで、より鮮明で詳細な画像が生成されます。サンプリングメソッドも重要で、dpm++2mやオイラーAに変更することで、生成画像の品質が向上します。特に、手の指や手足が綺麗に生成され、複雑なポーズのシーンも生成しやすくなります。
ネガティブプロンプトの活用
ネガティブプロンプトは、生成したくない要素を指定することで、より意図通りのイラストを生成するための重要なテクニックです。例えば、「ワーストクオリティ、ロールクオリティ、ノーマルクオリティ」といったネガティブプロンプトを設定することで、低品質な要素が排除され、より高品質な画像が得られます。
ネガティブプロンプトは、プロンプトエンジニアリングにおいて重要な役割を果たします。例えば、人物写真のイラスト化で、背景に不要なオブジェクトが生成される場合、「text, watermark, logo」といったネガティブプロンプトを追加することで、これらの要素を効果的に取り除くことができます。
また、特定のスタイルを避けたい場合にも、ネガティブプロンプトが有効です。例えば、「photorealistic」をネガティブプロンプトに含めることで、写真のようなリアルな表現を避け、よりイラストらしい表現にすることができます。ネガティブプロンプトを適切に活用することで、生成される画像の品質を大幅に向上させることが可能です。
ネガティブプロンプトは、生成したい画像の特定の要素を排除するため、意図しない歪みが減る効果があります。例えば、「ワーストクオリティ・ロールクオリティ・ノーマルクオリティ・ロールクオリティ」のように設定すると、生成画像がより意図通りに収まることがあります。
ControlNetの活用
ControlNetは、Stable Diffusionの機能を拡張し、構図やポーズをより細かく制御するための強力なツールです。ControlNetを使用することで、生成されるイラストの自由度と精度が大幅に向上します。
例えば、既存の画像からポーズを抽出し、そのポーズを基に新しいイラストを生成することができます。これにより、特定のポーズや構図を維持したまま、異なるスタイルやキャラクターのイラストを生成することが可能です。
ControlNetは、特に人物イラストの生成において有効です。例えば、生成したAI画像のポーズを制御するため、ControlNetを使うことで、ポーズを特定の姿勢に設定し、生成画像がよりリアルになると期待されます。
また、画像の構図を制御するため、ControlNetを使うことで、生成画像の背景やその他の要素をリアルなように描画することが可能です。ControlNetを使用することで、背景やオブジェクトの配置、カメラアングルなどを細かく調整し、より意図通りの構図を実現できます。
ControlNetを活用することで、Stable Diffusionを使った画像生成の可能性が大きく広がります。ControlNetは、Stable Diffusionでポーズや構図の制御が可能にします。
▶ Hakkyの機械学習プロダクト開発支援とは | 詳細はこちら
Pythonを使った画像生成
Stable DiffusionをPython環境で活用することで、スクリプトによる画像生成の自動化やカスタマイズが可能です。これにより、効率的なイラスト生成ワークフローを構築できます。
Python環境構築
Stable DiffusionをPythonで利用するためには、まず必要なライブラリをインストールし、スクリプトの実行環境を整える必要があります。diffusers、torch、Pillowといったライブラリが必須です。これらのライブラリは、pipコマンドを使用して簡単にインストールできます。具体的には、以下のコマンドをターミナルで実行します。
pip install diffusers torch Pillow
diffusersは、Stable Diffusionの各種機能を利用するためのライブラリです。torchは、テンソル演算やGPUサポートを提供し、Pillowは画像の読み込みや保存に必要な機能を提供します。
これらのライブラリをインストールすることで、Stable DiffusionをPythonスクリプトから制御するための基盤が整います。また、GPUを使用する場合は、CUDA Toolkitのインストールと設定も必要になる場合があります。CUDA Toolkitは、NVIDIAのGPUを利用するための開発環境であり、PyTorchがGPUを認識し、活用するために必要です。
CUDA Toolkitのバージョンは、PyTorchのバージョンと互換性があるものを選ぶ必要があります。環境構築が完了したら、PythonスクリプトからStable Diffusionの機能を呼び出し、画像生成を行う準備が整います。
基本的な画像生成スクリプト
テキストから画像を生成するための基本的なPythonスクリプトを紹介します。以下のコードは、StableDiffusionPipelineを使用して、指定したテキストプロンプトから画像を生成する例です。
from diffusers import StableDiffusionPipeline
from PIL import Image
model_id = "runwayml/stable-diffusion-v1-5"
pipeline = StableDiffusionPipeline.from_pretrained(model_id)
prompt = "A beautiful sunset over the mountains"
image = pipeline(prompt).images0
image.save("sunset.png")
このスクリプトでは、まずStableDiffusionPipelineをロードし、プロンプトを設定して画像を生成します。生成された画像は、PILのImageオブジェクトとして返されるため、saveメソッドを使用してファイルに保存できます。
スクリプトをカスタマイズすることで、生成される画像のスタイルや内容を調整できます。例えば、guidance_scaleパラメータを調整することで、プロンプトに対する画像の忠実度を変更できます。また、num_inference_stepsパラメータを調整することで、生成にかかる時間と品質のバランスを調整できます。これらのパラメータを調整することで、より高品質な画像を生成できます。
img2img処理の自動化
Pythonスクリプトを使用してimg2img処理を自動化する方法について解説します。[StableDiffusionImg2ImgPipeline](https://book.st-hakky.com/data-science/generation-model)を使用することで、既存の画像を元に新しい画像を生成できます。以下のコードは、img2img処理を自動化する例です。
import torch
from PIL import Image
from diffusers import StableDiffusionImg2ImgPipeline
model_id = "runwayml/stable-diffusion-v1-5"
pipeline = StableDiffusionImg2ImgPipeline.from_pretrained(model_id, torch_dtype=torch.float16)
pipeline = pipeline.to("cuda")
init_image = Image.open("input.png").convert("RGB")
prompt = "A fantasy landscape"
image = pipeline(prompt=prompt, image=init_image, strength=0.75, guidance_scale=7.5).images0
image.save("fantasy_landscape.png")
このスクリプトでは、まずStableDiffusionImg2ImgPipelineをロードし、初期画像を読み込んでプロンプトを設定します。strengthパラメータは、初期画像に対する変更の強度を制御し、guidance_scaleパラメータは、プロンプトに対する画像の忠実度を制御します。これらのパラメータを調整することで、生成される画像のスタイルや内容を細かく制御できます。
バッチ処理を実装することで、複数の画像を一度に処理できます。例えば、複数の初期画像に対して同じプロンプトを適用したり、複数のプロンプトに対して同じ初期画像を適用したりできます。これにより、大量の画像を効率的に生成できます。
トラブルシューティングとFAQ
Stable Diffusionのimg2img機能を活用する上で、エラーや疑問はつきものです。ここでは、よく遭遇する問題とその解決策、そしてFAQを通じて、スムーズなイラスト生成をサポートします。
エラーメッセージの解析
Stable Diffusionを使用する際、エラーメッセージは問題解決の重要な手がかりとなります。ここでは、よくあるエラーメッセージの種類、原因、具体的な解決策を解説します。
まず、Something went wrong. Connection errored out.というエラーは、Stable Diffusionサーバーとのネットワーク接続が不安定な場合に発生します。この場合、サーバーの再起動や、プロンプト、入力画像の軽量化を試してください。
次に、Torch is not able to use GPUというエラーは、GPUがStable Diffusionの要件を満たしていない場合に表示されます。このエラーを解決するには、webui-user.batファイルを編集し、set COMMANDLINE_ARGS -skip-torch-cuda-testという行を追加してください。
VRAM不足によるエラーの場合、webui-user.batに--lowvram --precision full --no-half --skip-torch-cuda-testを追加することで、VRAMの使用量を抑えられます。
No python at～というエラーは、Pythonのインストールパスが正しく設定されていない場合に発生します。Pythonを再インストールし、Stable Diffusionを再度インストールしてください。
Prunedモデル使用時に画像生成ができない場合は、Stable Diffusionの設定で「Upcast cross attention layer to float32」にチェックを入れるか、「Disable NaN Check」を試してください。
requests.exceptions.ReadTimeoutエラーは、Gradioのタイムアウトが原因です。仮想メモリのサイズを大きく設定し、不要なソフトを終了することで改善されることがあります。
Fatal Python error: init_sys_streams: can't initialize sys standard streamsというエラーは、venvフォルダを削除し、webui-user.batを再実行することで解決することがあります。
これらの解決策を試すことで、Stable Diffusionのエラーを効果的に解決し、スムーズな画像生成を実現できます。
生成がうまくいかない場合の対処法
Stable Diffusionで期待通りのイラストが生成されない場合、プロンプトの見直しとパラメータ調整が重要です。
まず、プロンプトは具体的かつ詳細に記述しましょう。例えば、「青い空の下に咲く赤いバラ」よりも、「晴れた日の青空の下、鮮やかな赤いバラが一輪咲いている」のように、具体的な情景を想像させるプロンプトが効果的です。ネガティブプロンプトも活用し、生成したくない要素を指定することで、より高品質なイラストを得られます。
次に、パラメータ調整のヒントとして、Stepsはイラストの細かさを調整するパラメータであり、数値を大きくするとより詳細なイラストが生成されますが、時間がかかる場合があります。CFG Scaleはプロンプトへの適合度を調整するパラメータで、数値を大きくするとプロンプトに忠実なイラストが生成されます。Seed値を固定することで、同じプロンプトでも毎回同じ結果を得ることができます。
環境設定の確認も重要です。特に、VRAMの容量が不足している場合は、Stable Diffusionの設定で--lowvramオプションを有効にするか、よりVRAM容量の大きいGPUを使用することを検討してください。また、Stable Diffusionのバージョンが最新であるか、必要なライブラリが正しくインストールされているかを確認してください。
これらの対処法を試すことで、Stable Diffusionでの画像生成の成功率を高めることができます。
FAQ：よくある質問
Stable Diffusionのimg2img機能に関する質問で特に多いのは、「写真からイラストへの変換がうまくいかない」というものです。この場合、プロンプトの調整に加えて、Denoising strengthの値を調整してみてください。この値を大きくすると、元の画像からの変化が大きくなり、イラスト化がより顕著になります。ただし、値を大きくしすぎると、元の画像の要素が失われる可能性があるため、0.5から0.7程度を目安に調整してください。
パラメータ調整に関する質問では、「どのパラメータがイラストの品質に最も影響を与えるか」という質問がよくあります。最も影響を与えるのは、プロンプト、Steps、CFG Scaleです。プロンプトはイラストの方向性を決定し、Stepsはイラストの細かさを、CFG Scaleはプロンプトへの適合度を調整します。これらのパラメータをバランス良く調整することで、高品質なイラストを生成できます。
また、「生成されるイラストのスタイルを固定したい」という質問も多く寄せられます。この場合、Seed値を固定し、同じプロンプトを使用することで、毎回同じスタイルのイラストを生成できます。さらに、特定のモデルを使用することで、イラストのスタイルをより細かく制御できます。
これらのFAQを参考に、Stable Diffusionのimg2img機能をより深く理解し、高品質なイラスト生成を楽しんでください。
応用事例：様々な写真イラスト化
Stable Diffusionのimg2img機能を活用し、風景写真や人物写真、既存のイラストを様々なスタイルに変換する応用事例を紹介します。
風景写真のイラスト化
風景写真のイラスト化では、写真が持つ特徴を最大限に活かすプロンプトが重要です。例えば、Starry night milky skyのプロンプトを使用すると、満点の星空、特に天の川を背景にしたイラストが生成されます。
また、vibrant city at duskと入力すれば、夕暮れ時の街並みを鮮やかに描写できます。crystal-clear beachというプロンプトでは、透明度の高い美しいビーチの風景が表現可能です。
これらのプロンプトを基に、水彩風や油絵風といったスタイルを適用することで、多様な表現が実現します。風景写真の持つ色、光、構図などの要素をプロンプトに反映させることで、より高品質なイラストを生成できます。
例えば、山岳風景であれば、snow-capped mountains, clear blue skyのように具体的な要素を加えることで、よりリアルで魅力的なイラストを作成できます。
人物写真のイラスト化
人物写真のイラスト化では、その人物の個性を引き出すプロンプトが鍵となります。基本プロンプトとしてhighres, high quality, masterpieceを使用し、人物の特徴を捉えましょう。
例えば、(1girl, solo, child, flat chest:1.3), twintails, happy smile, open mouthといった具体的な要素を加えることで、特定のキャラクターを表現できます。
さらに、standing, arms up, open legs, upper body camisole, miniskirt, in tunnelといったポーズや服装の指定を加えることで、より詳細なイラストを生成できます。
スタイル変換の例として、アニメ風にする場合はanime-styled、水彩画風にする場合はwatercolor-style、油絵風にする場合はoil-painting-styleをプロンプトに追加します。
これらのスタイルを組み合わせることで、人物写真の個性を際立たせた、ユニークなイラストを作成できます。CFG scaleやDenoising strengthの値を調整することで、イラストの品質やスタイルを細かく制御できます。
イラストのスタイル変換
既存のイラストを別のスタイルに変換することも可能です。例えば、アニメ調のイラストを水彩画風に変換したり、油絵風のイラストを現代アート風にアレンジしたりできます。
このためには、img2img機能を使用し、元となるイラストと、変換したいスタイルのプロンプトを入力します。例えば、元のアニメ調イラストにwatercolor-styleのプロンプトを追加し、CFG scaleやDenoising strengthを調整することで、水彩画風のイラストに変換できます。
同様に、oil-painting-styleを追加すれば油絵風に、photorealisticを追加すれば写実的なスタイルに変換できます。様々なスタイルを試すことで、創造性豊かな表現が可能です。
また、複数のスタイルを組み合わせることで、独自性の高いイラストを生成することもできます。例えば、水彩画風でありながら、一部にアニメ調の要素を残すといったハイブリッドな表現も可能です。
おわりに
Stable Diffusionとimg2img機能を活用すれば、写真から手軽に高品質なイラストを生成できます。ご紹介した手順とパラメータ調整のコツを参考に、ぜひ創造的な表現に挑戦してみてください。
もし、より高度なカスタマイズや独自のAIモデル開発にご興味があれば、Hakkyの機械学習プロダクト開発支援をご検討ください。プロトタイプ構築からデータ分析まで、お客様のニーズに合わせた最適なソリューションをご提供いたします。
関連記事
参考文献
- Stable Diffusionとは？話題の画像生成AIの使い方・初心者向けのコツも徹底解説！ | DXを推進するAIポータルメディア「AIsmiley」
- 簡単にテキスト入力から画像生成：PythonとStable Diffusionを使ったAI画像作成ガイド #初心者 - Qiita
- 【Stable Diffusion】Pythonでテキストから画像を生成しよう！ - AI Academy Media
- 画像生成AI「Stable Diffusion」とは？使い方や商用利用での注意点を解説 | 起業・創業・資金調達の創業手帳
- 話題の画像生成AI「Stable Diffusion」を使ってみた！