執筆者：Hakky AI
背景のみ生成｜Stable Diffusionプロンプトと手順【初心者向け】
- 特定のプロンプトで山や城など、多様な背景画像を生成可能。
- Inpaint機能で背景の修正、オブジェクトの追加・削除ができる。
- 拡張機能と組み合わせ、背景除去後の合成で表現の幅が広がる。
はじめに
Stable Diffusionで背景のみの画像を生成する方法は、特定のプロンプトを使用することで実現可能です。例えば、「Background only, Mountains」や「Background only, Castles」といったプロンプトが有効です。
さらに、Inpaint機能やAUTOMATIC1111 WebUIの拡張機能を利用することで、より高度な背景生成が可能になります。本記事では、これらの方法について詳しく解説し、読者の皆様がStable Diffusionを最大限に活用できるようになることを目指します。
Stable Diffusionで背景のみ生成する基本
Stable Diffusionで背景のみを生成する基本的な方法として、特定のプロンプトを使用する方法と、Stable Diffusionが背景生成において果たす役割について解説します。
背景指定プロンプトの例
Stable Diffusionで背景のみを生成するには、特定のプロンプトを使用します。例えば、「Background only, Mountains」と入力すると山背景の画像が生成されます。同様に、「Background only, Castles」と入力すると城の背景が生成されます。
花畑の背景を指定する場合は「Background only, Flower field」、リビングの背景を指定する場合は「Background only, Living room」と入力します。これらのプロンプトを使うことで、特定の背景のみを生成できます。
また、背景が単色にならない場合は、「Without background」や「Simple background」を追加することを推奨します。特定のシチュエーションを設定することも有効です。
例えば、星空の背景を生成したい場合は、「background star sky + midnight + in winter + outside + looking up + wearing coat」のようなプロンプトを使用することで、より詳細な背景画像が生成可能です。
背景のモチーフを探す場合は、桁だけの単色+モチーフで背景を検証することで、花畑やTEXTパターン等の背景を簡単に生成できます。縞模様やstrip背景も使用できますが、制御するプロンプトを追加することを推奨します。これらのプロンプトを組み合わせることで、多様な背景を生成できます。
ネガティブプロンプトの活用
ネガティブプロンプトは、Stable Diffusionで背景のみを生成する際に、不要な要素を除外するために重要な役割を果たします。
例えば、人物が写り込まないようにするために、「person」や「human」といった単語をネガティブプロンプトに含めることで、背景のみの生成に集中できます。また、画質を向上させるために、「low quality」や「bad anatomy」といった単語を追加することも有効です。
ネガティブプロンプトは、生成される画像の品質を低下させる要素を取り除くことで、特定のプロンプトに従って背景のみを生成するのに役立ちます。
単色背景画像生成のためには、「White background」、「Black background」、「Blue background」などのプロンプトを使用します。単色背景にならない場合に「Without background」や「Simple background」を追加して設定することも推奨されています。
これらのネガティブプロンプトを活用することで、より高品質で意図通りの背景画像を生成することが可能です。
| 背景の種類 | プロンプトの例 | 備考 |
|---|---|---|
| 山の背景 | Background only, Mountains | |
| 城の背景 | Background only, Castles | |
| 花畑の背景 | Background only, Flower field | |
| リビングの背景 | Background only, Living room | |
| 星空の背景 | background star sky + midnight + in winter + outside + looking up + wearing coat | より詳細な背景画像 |
| 単色背景 | White background, Black background, Blue background | 単色にならない場合は Without backgroundや Simple backgroundを追加 |
Inpaint機能を使った背景生成
Stable DiffusionのInpaint機能は、画像の一部分を修正するだけでなく、背景生成にも応用できます。
Inpaintの基本操作
Stable DiffusionのInpaint機能は、画像内の特定領域を修正または変更するために使用されます。AUTOMATIC1111 WebUIでInpaintを使用するには、まずimg2imgタブを開き、「Inpaint」タブを選択します。
次に、修正したい画像をアップロードし、画像上で修正したい領域を黒色で塗りつぶします。この黒く塗りつぶされた部分がマスクとなり、Inpaint処理の対象となります。マスクの作成には、ブラシサイズや硬さを調整できるツールが用意されており、細かな部分も丁寧にマスクできます。
マスクを作成したら、プロンプトに修正内容を入力します。例えば、背景に都市を追加したい場合は、「urban background, cityscape」のようなプロンプトを入力します。
プロンプトを入力後、「Generate」ボタンをクリックすると、Stable Diffusionがマスクされた領域に基づいて画像を生成します。Inpaint機能を使用する際には、いくつかの設定項目を調整することで、より自然な結果を得ることが可能です。
例えば、「Mask Blur」はマスクの境界をぼかすことで、修正領域と元の画像との境界を滑らかにします。また、「Mask Mode」では、マスクされた領域をInpaintするか、マスクされていない領域をInpaintするかを選択できます。
「Masked Content」では、Inpaintする領域の初期コンテンツをどのようにするかを指定できます。これらの設定を調整することで、Inpaintの結果をより細かく制御できます。
背景の自然な調整
Inpaint機能を使用する際、背景を自然に調整するための微調整テクニックが重要です。色の調整では、生成された背景の色が元の画像と調和するように、色相、彩度、明度を調整します。
AUTOMATIC1111 WebUIでは、色調補正のための様々なツールが利用可能です。例えば、カラーバランスやトーンカーブを調整することで、背景の色をより自然に馴染ませることができます。
ディテールの追加も、背景を自然に見せるために不可欠です。プロンプトに具体的なディテールを追加することで、よりリアルな背景を生成できます。
例えば、「(sea background, beach)」というプロンプトに、「(sea background, beach, fine sand, clear water)」のように詳細な要素を加えることで、より高品質な背景を作成できます。
また、Inpaintの設定も微調整することで、背景の自然さを向上させることができます。「Mask Blur」の値を調整することで、マスクの境界を滑らかにし、背景と元の画像との違和感を軽減できます。
さらに、「Denoising Strength」を調整することで、生成される背景のノイズ量を制御し、よりクリアな画像を得ることが可能です。これらのテクニックを組み合わせることで、Inpaint機能を使って背景を自然に調整し、高品質な画像を生成することができます。
Inpaintの応用例
Inpaint機能は、単に背景を修正するだけでなく、背景の差し替えやオブジェクトの追加と削除にも応用できます。
背景の差し替えでは、既存の背景を全く異なる背景に置き換えることが可能です。例えば、都市の風景を森林の風景に差し替えたり、室内の背景を屋外の背景に置き換えることができます。
この場合、まずInpaintで既存の背景をマスクし、新しい背景のプロンプトを入力して生成します。
オブジェクトの追加では、画像に存在しないオブジェクトを自然に追加することができます。例えば、風景写真に鳥を追加したり、室内の画像に家具を追加することができます。
この場合、追加したいオブジェクトの領域をマスクし、オブジェクトのプロンプトを入力して生成します。
オブジェクトの削除では、画像に写っている不要なオブジェクトを消去することができます。例えば、写真に写り込んだ不要な人物や物を消すことができます。
この場合、削除したいオブジェクトの領域をマスクし、プロンプトには背景に馴染むような内容を入力します。例えば、背景が壁の場合は「wall」、空の場合は「sky」といったプロンプトを入力します。
Inpaint機能は、これらの応用例を通じて、画像の編集や加工の幅を広げることができます。
AUTOMATIC1111 WebUI拡張機能の活用
AUTOMATIC1111 WebUIの拡張機能を利用することで、より手軽に背景のみの画像を生成できます。
拡張機能のインストール
AUTOMATIC1111 WebUIに背景削除系の拡張機能をインストールすることで、画像生成ワークフローを効率化できます。WebUIの操作画面で「Extension」を選択し、「Install from URL」タブに拡張機能のURLを貼り付けてインストールします。
インストール後、Stable Diffusionを再起動してください。背景削除に役立つ拡張機能として、ABG Remover、sd_katanuki、Rembgなどがあります。
- ABG RemoverのURLは
https://github.com/KutsuyaYuki/ABG_extensionです。 - Rembgは
https://github.com/AUTOMATIC1111/stable-diffusion-webui-rembg.gitです。 - sd_katanukiは
https://github.com/aka7774/sd_katanuki.gitです。
| 拡張機能 | URL | 特徴 |
|---|---|---|
| ABG Remover | https://github.com/KutsuyaYuki/ABG_extension | 実写風モデルの背景削除に適している |
| Rembg | https://github.com/AUTOMATIC1111/stable-diffusion-webui-rembg.git | スムーズな背景削除に適している |
| sd_katanuki | https://github.com/aka7774/sd_katanuki.git | 背景透過やシルエット化に適している |
これらの拡張機能をインストールすることで、背景透過や削除が容易になり、背景のみの生成や加工がより柔軟に行えるようになります。例えば、ABG Removerは実写風モデルの背景削除に、sd_katanukiは背景透過やシルエット化に、Rembgはよりスムーズな背景削除にそれぞれ適しています。これらの拡張機能を活用することで、背景生成の自由度と効率が向上します。
拡張機能を使った背景生成
拡張機能を使用すると、より簡単に背景を生成できます。例えば、ABG Removerを使用する場合、img2imgにイラストをアップロードし、「Generate」ボタンを押すだけで背景が削除された画像が生成されます。
sd_katanukiを使用する場合は、「Katanuki」タブで「Transparent」、「White」、「Mask」のいずれかを選択し、素材画像を「Single Image」タブにドラッグアンドドロップします。これにより、背景が透過または白背景の画像が生成されます。
Rembgを使用する場合は、txt2imgから「Send to extras」に画像を移動し、「Extras」タブの「Remove background」を選択して「Generate」を押すと、背景が削除された画像が生成されます。
これらの拡張機能を使用することで、プロンプトやInpaintに頼らずとも、手軽に背景を操作することが可能です。各拡張機能には様々な設定やパラメータがあり、これらを調整することで、より理想的な背景生成が可能になります。
他の拡張機能との連携
背景生成に特化した拡張機能は、他の拡張機能と組み合わせることで、さらに高度な画像生成が可能です。例えば、ABG RemoverやRembgで背景を削除した後、別の拡張機能を使用して新しい背景を合成することができます。
これにより、背景と前景の組み合わせを自由に調整し、よりクリエイティブな表現が可能になります。また、特定のスタイルや効果を付与する拡張機能と組み合わせることで、背景の雰囲気を大きく変えることもできます。
例えば、水彩画風のスタイルを適用したり、特定のアーティストの画風を模倣したりすることが可能です。このように、複数の拡張機能を連携させることで、背景生成の可能性は無限に広がります。積極的に様々な組み合わせを試し、独自の表現方法を見つけてみましょう。
▶ Hakkyの機械学習プロダクト開発支援とは | 詳細はこちら
高品質な背景生成のためのプロンプト設計
高品質な背景を生成するには、プロンプトの構成要素、スタイルの指定、ディテールの追加が重要です。これらの要素を理解し、適切に組み合わせることで、イメージ通りの背景画像を生成できます。
プロンプトの構成要素
Stable Diffusionで背景画像を生成する際、プロンプトは非常に重要な役割を果たします。背景プロンプトに必要な要素は、時間帯とシーズン、場所の指定、動作や表情の指定、服装や制服の指定です。
例えば、冬の深夜の星空を背景にしたい場合は、「background star sky midnight in winter outside looking up wearing coat」と記述します。場所の指定では、「background castle」や「background beach」のように具体的な場所を指定します。キーワードの選定と組み合わせも重要で、5W1H（Who、What、Where、When、Why、How）を意識して詳細に記述することで、より具体的な背景画像が生成されます。
例えば、単に「山」と指定するのではなく、「新緑の山、朝焼け」のように具体的な情景を付け加えることで、よりイメージに近い画像が得られます。また、ネガティブプロンプトを活用して不要な要素を排除することも重要です。例えば、「without humans」と指定することで、人物が写り込まない背景画像を生成できます。これらの要素を組み合わせることで、高品質な背景画像を生成することが可能です。
スタイルの指定
背景のスタイルを指定する方法として、ベースの背景指定が重要になります。背景をメインにしたい場合は、「wide shot」や「full body」といったキーワードを使用すると、広角の画像が生成されやすくなります。背景の詳細指定も重要で、具体的な背景やシーンを記述することで、より詳細な背景画像が生成されます。
例えば、「background castle with snow」や「background beach at sunset」のように、雪降る城や日没時の海岸線といった具体的なシーンを指定します。具体的なスタイル例としては、油絵風の背景を生成したい場合は、「oil painting style」と記述します。また、アニメ風の背景を生成したい場合は、「anime style」と記述します。さらに、写真のようなリアルな背景を生成したい場合は、「photorealistic」と記述します。これらのスタイル指定を組み合わせることで、より多様な背景画像を生成することが可能です。
例えば、「oil painting style, background castle with snow」と記述することで、雪降る城を油絵風に描いた背景画像を生成できます。
ディテールの追加
背景にディテールを加えるテクニックとして、Negativeプロンプトの使用が挙げられます。これにより、背景に不要な要素を排除し、より洗練された画像を生成できます。
例えば、「without humans」や「no cars」と入力することで、人物や車などの要素が排除され、背景がよりクリアになります。品質向上プロンプトの使用も有効で、「highest quality」と入力することで、生成される画像の品質を向上させることができます。自然なリアリティを追求するためには、光の表現や質感の描写に注意を払うことが重要です。
例えば、「soft lighting」や「detailed textures」といったキーワードを使用することで、より自然でリアルな背景画像を生成できます。また、特定の動作や表情を排除するためのNegativeプロンプトを使用することで、生成される画像の確実性を向上させることができます。
例えば、「(easynegative:1.0),(worst quality,low quality:1.2),(bad anatomy:1.4),(realistic:1.1),nose,lips,adult,fat,sad, (inaccurate limb:1.2),extra digit,fewer digits,six fingers,(monochrome:0.95)」と入力することで、特定の特徴を排除できます。
| Negativeプロンプト | 効果 |
|---|---|
| without humans | 人物を排除 |
| no cars | 車を排除 |
| (easynegative:1.0),(worst quality,low quality:1.2),(bad anatomy:1.4),(realistic:1.1),nose,lips,adult,fat,sad, (inaccurate limb:1.2),extra digit,fewer digits,six fingers,(monochrome:0.95) | 特定の特徴を排除 |
背景生成のトラブルシューティング
Stable Diffusionで背景生成を行う際、いくつかの問題に直面することがあります。ここでは、よくある問題とその解決策、生成画像の品質改善のヒントを紹介します。
生成がうまくいかない場合
Stable Diffusionで背景生成がうまくいかない場合、プロンプトと設定パラメータの見直しが重要です。まず、プロンプトが具体的かつ明確であるかを確認してください。例えば、「背景は森林、朝焼け」のように、具体的な要素を記述します。プロンプトが曖昧だと、意図しない画像が生成される可能性があります。
次に、AUTOMATIC1111 WebUIを使用している場合、設定パラメータを調整します。解像度を上げることで、より詳細な背景が生成されることがあります。例えば、解像度を512x512から768x768に上げることを試してください。
サンプリングステップ数も重要です。ステップ数が少ないと、画像が十分に生成されず、ノイズが残ることがあります。DPM++ 2M Karrasなどのサンプリングアルゴリズムを使用し、ステップ数を20から30に増やすことで、品質が向上する場合があります。
また、依存ライブラリのバージョンが古いと、エラーが発生することがあります。特に、AUTOMATIC1111の拡張機能を使用している場合は、最新バージョンにアップデートしてください。
Inpaint機能を使用している場合は、マスクが適切に設定されているか確認してください。マスクが不正確だと、背景の一部が欠損したり、意図しない部分が修正されたりすることがあります。例えば、背景の一部が欠損している場合は、「Inpaint Mode」を活用して欠損部分を埋めます。
プロンプトにネガティブプロンプトを追加することも有効です。ネガティブプロンプトは、生成したくない要素を指定することで、画像の品質を向上させます。例えば、「ugly, distorted, blurry」などのネガティブプロンプトを追加することで、不要な要素が排除され、よりクリアな背景が生成されます。
品質が低い場合の改善策
Stable Diffusionで生成された背景の品質が低い場合、高解像度化とディテールの追加、ノイズの除去とシャープネスの調整が有効です。まず、解像度を高めることで、より詳細な背景を生成できます。例えば、解像度を1024x1024以上に設定することを検討してください。
ただし、解像度を上げすぎると、計算リソースを大量に消費し、生成時間が長くなる可能性があります。
次に、プロンプトに詳細な要素を追加することで、背景のリアリティを高めることができます。例えば、「背景は雪山、針葉樹林、霧」のように、具体的な要素を記述します。また、スタイルの指定も重要です。「photorealistic」や「artistic」などのスタイルを指定することで、画像の雰囲気を調整できます。
ノイズを除去するためには、デノイジング強度を調整します。デノイジング強度を高くすると、ノイズが除去されやすくなりますが、画像のディテールが失われる可能性があります。適切な値を試行錯誤して見つけることが重要です。例えば、デノイジング強度を0.5から0.7に調整することを試してください。
シャープネスを調整することで、画像の鮮明さを向上させることができます。ただし、シャープネスを上げすぎると、画像が不自然になる可能性があります。例えば、AUTOMATIC1111 WebUIの「Unsharp Mask」フィルターを使用し、半径と量を調整することで、自然なシャープネスを実現できます。
また、生成された画像を画像編集ソフトで修正することも有効です。例えば、GIMPやPhotoshopを使用して、色調補正やディテールの追加を行うことで、画像の品質を向上させることができます。
一貫性のない背景の修正
Stable Diffusionで生成された背景に一貫性がない場合、背景のスタイルと色の統一、Inpaintを使った修正が有効です。まず、プロンプトに一貫性を持たせることで、背景のスタイルを統一できます。例えば、「背景は夕焼けの海岸、砂浜、ヤシの木」のように、具体的な要素を記述し、毎回同じプロンプトを使用します。
また、シード値を固定することで、生成される画像のバリエーションを抑えることができます。シード値を固定すると、同じプロンプトを使用した場合、ほぼ同じ画像が生成されます。
次に、色調補正を行うことで、背景の色を統一できます。例えば、AUTOMATIC1111 WebUIの「Color Correction」拡張機能を使用し、色温度や彩度を調整することで、画像全体の色味を統一できます。
Inpaint機能を使用することで、背景の一部を修正できます。例えば、背景の一部が不自然な場合は、Inpaint機能を使用して、自然な背景に修正します。Inpaint機能を使用する際は、マスクを正確に設定することが重要です。マスクが不正確だと、意図しない部分が修正されたり、背景の一部が欠損したりすることがあります。例えば、背景の一部が欠損している場合は、「Inpaint Mode」を活用して欠損部分を埋めます。
また、生成された画像を画像編集ソフトで修正することも有効です。例えば、GIMPやPhotoshopを使用して、色調補正やディテールの追加を行うことで、画像の品質を向上させることができます。
背景生成の応用事例
Stable Diffusionによる背景生成は、ゲーム開発、デザイン、映像制作といった分野で革新的な応用が可能です。背景生成技術は、これらの分野に新たな可能性をもたらし、未来のコンテンツ制作を大きく変えることが期待されています。
ゲーム開発での活用
ゲーム開発において、Stable Diffusionは背景素材の制作を効率化する強力なツールとなります。例えば、「メガトン級ムサシ」では、ゲームタイトル画面のレイアウト作成や背景美術素材の自動生成にAIが活用されています。
Stable Diffusionを使用することで、開発者はコンセプトに合致した背景を迅速に生成し、ゲームの世界観を豊かに表現できます。プロシージャル生成と組み合わせることで、無限に広がるゲーム世界を創造することも可能です。背景のバリエーションを増やし、プレイヤーに常に新鮮な体験を提供できます。
さらに、特定のテーマやスタイルに合わせた背景を生成することで、ゲームの独自性を際立たせることが可能です。例えば、ファンタジー世界、SF世界、現代都市など、ゲームの舞台設定に応じた背景を容易に作成できます。これにより、開発者はより創造的な作業に集中し、ゲームの品質向上に貢献できます。
Stable Diffusionの活用は、ゲーム開発の効率化だけでなく、表現の幅を広げる上でも重要な役割を果たします。
デザインでの活用
デザイン分野では、Stable Diffusionを活用することで、広告やWebデザインにおける背景制作の自由度と効率が飛躍的に向上します。例えば、「夜明けの白樺林」のようなプロンプトを使用することで、光の表現が美しい幻想的な背景を生成し、広告に利用できます。
「近代的な高層ビルと車が並ぶ都市景観」というプロンプトを使用すれば、Webサイトのヘッダーに最適なリアルな都市の風景を描き出すことが可能です。これにより、デザイナーはクライアントの要望に応じた多様な背景を迅速に作成し、クリエイティブな表現を追求できます。
また、Stable Diffusionは、従来の手法では困難だった複雑な背景デザインも容易に実現します。抽象的なパターンやテクスチャ、特定のテーマに基づいた背景など、アイデア次第で無限の可能性が広がります。
さらに、生成された背景をPhotoshopなどの画像編集ソフトで加工することで、より洗練されたデザインに仕上げることも可能です。
映像制作での活用
映像制作において、Stable Diffusionは映画やアニメーションの背景制作に革命をもたらします。従来、時間とコストがかかっていた背景制作を大幅に効率化し、クリエイターはより創造的な作業に集中できます。
例えば、Stable Diffusionで生成した背景素材を、キャラクターイラストと合成してイメージイラストを作成できます。また、バーチャルプロダクションとの連携により、リアルタイムで変化する背景を生成し、没入感の高い映像体験を提供することも可能です。
Stable Diffusionは、実写映像にCG背景を合成する際にも役立ちます。例えば、歴史的な建造物や未来都市など、現実には存在しない風景を映像に組み込むことができます。これにより、映像表現の幅が広がり、視聴者を魅了する映像作品を制作できます。
さらに、アニメーション制作においては、手描きでは困難な複雑な背景を自動生成し、制作時間を大幅に短縮することが可能です。
おわりに
Stable Diffusionを使えば、プロンプトやInpaint機能、拡張機能を活用することで、イメージ通りの背景画像を効率的に生成できます。
しかし、より高度な背景生成や、生成された画像の品質向上、デザインワークへの迅速な活用をご希望ではありませんか？
Hakkyでは、お客様のニーズに合わせた機械学習プロダクト開発支援を提供しています。ぜひ一度、弊社のサービスをご検討ください。
