[[📒Articles]] > [[📒2025 Articles]] ![[2025-08-24.webp|cover-picture]] [[Python]]にはそれなりに詳しい... けど絵や[[Stable Diffusion]]は素人のエンジニアが、[[Stable Diffusion Web UI]]を使って記事のカバー画像を作成できるくらいになるまでの記録です。 ## 前提 ### 想定する読者 以下の読者を前提として話を展開していきます。 - [[Python]]や周辺エコシステムについて熟知している - [[Windows]]のターミナル操作を行うことができる ### マシンについて [[MacBook Pro M4 Pro]]に[[Stable Diffusion Web UI]]環境を用意してしばらく使っていました。詳細は以下のノートに記録しています。 <div class="link-card-v2"> <div class="link-card-v2-site"> <img class="link-card-v2-site-icon" src="https://publish-01.obsidian.md/access/35d05cd1bf5cc500e11cc8ba57daaf88/favicon-64.png" /> <span class="link-card-v2-site-name">Minerva</span> </div> <div class="link-card-v2-title"> 📜2025-07-26 Stable Diffusion Web UIをMacBook Pro M4 Proで試してみる </div> <div class="link-card-v2-content">WindowsからmacOSへの移行と、Stable Diffusionを久々に試したくなった経緯から、MacBook Pro M4 Pro上でStable Diffusion Web UIをセットアップした。PythonやRustはmiseで管理し、SDXL対応モデルを選定した。起動時のエラーにはコマンドライン引数で対応し、ControlNetやVAEの導入も検討した。</div> <img class="link-card-v2-image" src="https://publish-01.obsidian.md/access/35d05cd1bf5cc500e11cc8ba57daaf88/Notes/attachments/activity.webp" /> <a data-href="📜2025-07-26 Stable Diffusion Web UIをMacBook Pro M4 Proで試してみる" class="internal-link"></a> </div> %%[[📜2025-07-26 Stable Diffusion Web UIをMacBook Pro M4 Proで試してみる]]%% しかし、本気で画像生成にチャレンジするなら、**絶対に高性能な[[GPU]]を搭載した[[Windows]]マシンを買ったほうがいい** です。私は2~3週間くらい[[MacBook Pro M4 Pro]]で頑張っていましたが、スピードが段違いです。 以上から、環境構築周りについては初めから[[Windows]]マシンを利用していた体で話を進めていきます。 ### 環境 | ハード | 値 | | --- | ----------------------------- | | マシン | [[DAIV KM-I7G6T]] (VRAM 16GB) | | グラボ | [[GeForce RTX 5060 Ti]] | | ソフト | バージョン | | --------------------------- | ---------- | | [[Windows 11]] | 10.0.26100 | | [[PowerShell]] | 7.5.2 | | [[Stable Diffusion Web UI]] | 1.10.1 | | [[Python]] | 3.10.6 | | モデル | バージョン | | ------------------ | ---------- | | [[blue_pencil-XL]] | v7.0.0 | ## 背景 [[Stable Diffusion Web UI]]に本気で取り組み始めたきっかけについてお話します。 AIによる画像生成には、今まで[[ChatGPT]]を使っていました。特に2025年3月末の大幅パワーアップは衝撃的で、それ以降は[[Minerva]]で利用するカバー画像のほとんどを[[ChatGPT]]([[o3]])に作成してもらっていました。 せっかくなのでオススメの記事を2つ貼っておきます。 <div class="link-card-v2"> <div class="link-card-v2-site"> <img class="link-card-v2-site-icon" src="https://publish-01.obsidian.md/access/35d05cd1bf5cc500e11cc8ba57daaf88/favicon-64.png" /> <span class="link-card-v2-site-name">Minerva</span> </div> <div class="link-card-v2-title"> 📘さよならWindows。33年の日々よ </div> <div class="link-card-v2-content">33年間使い続けたWindowsからmacOSへ移行した理由や経緯、実際の移行手順やおすすめツール、キーボードカスタマイズ、ターミナル、画像・動画圧縮、エディタ環境の違いなどを詳しく解説しています。WindowsとMacの違いや移行のコツを知りたい方はぜひご覧ください。</div> <img class="link-card-v2-image" src="https://publish-01.obsidian.md/access/35d05cd1bf5cc500e11cc8ba57daaf88/%F0%9F%93%98Articles/attachments/2025-05-15.webp" /> <a data-href="📘さよならWindows。33年の日々よ" class="internal-link"></a> </div> %%[[📘さよならWindows。33年の日々よ]]%% <div class="link-card-v2"> <div class="link-card-v2-site"> <img class="link-card-v2-site-icon" src="https://publish-01.obsidian.md/access/35d05cd1bf5cc500e11cc8ba57daaf88/favicon-64.png" /> <span class="link-card-v2-site-name">Minerva</span> </div> <div class="link-card-v2-title"> 📘目指せ二刀流！ VSCodeをNeovim色にコーディネートしてみた </div> <div class="link-card-v2-content">VSCodeのNeovim風カスタマイズ、キーボード操作やUIのシンプル化、VSCode Neovim拡張の導入方法などを、NeovimちゃんとVSCodeちゃんが対話形式でお届けします。</div> <img class="link-card-v2-image" src="https://publish-01.obsidian.md/access/35d05cd1bf5cc500e11cc8ba57daaf88/%F0%9F%93%98Articles/attachments/2025-06-02.webp" /> <a data-href="📘目指せ二刀流！ VSCodeをNeovim色にコーディネートしてみた" class="internal-link"></a> </div> %%[[📘目指せ二刀流！ VSCodeをNeovim色にコーディネートしてみた]]%% ### きっかけはAgentic Coding [[Stable Diffusion Web UI]]を使ってみようと思った間接的なきっかけ... 実は[[Claude Code]]です。[[Claude Code]]の登場により、本職の人たちも交えて一層[[Vibe Coding]]や[[Agentic Coding]]ブームになりました。もちろん以前から使われていた[[Cursor]]や、そのあとすぐに登場した[[Gemini CLI]]も含みます。 そんな[[Agentic Coding]]が持て囃される世の中とは対照的に、私はずっと[[Agentic Coding]]による開発に否定的でした。いえ、正確な言葉を選ぶならば『好きになれない』という表現が好ましいでしょう。 <div class="link-card-v2"> <div class="link-card-v2-site"> <img class="link-card-v2-site-icon" src="https://publish-01.obsidian.md/access/35d05cd1bf5cc500e11cc8ba57daaf88/favicon-64.png" /> <span class="link-card-v2-site-name">Minerva</span> </div> <div class="link-card-v2-title"> 🧠Agentic Codingについて思うところ </div> <div class="link-card-v2-content">AI、特にAgentic Codingに対して思うところを話の繋がりもなくつらつらと書き留めた脳内思考の文章。オープンワールドのモブキャラのつぶやきみたいなものだ。</div> <img class="link-card-v2-image" src="https://publish-01.obsidian.md/access/35d05cd1bf5cc500e11cc8ba57daaf88/Notes/attachments/brain.webp" /> <a data-href="🧠Agentic Codingについて思うところ" class="internal-link"></a> </div> %%[[🧠Agentic Codingについて思うところ]]%% ただ、それは私が[[Agentic Coding]]を試そうとしている対象の問題とも自覚しています。 - 得意分野であり、会社では牽引する立場にある - 私がプロダクティビティに強い関心があり、ソフト・ハード面でスピードや効率化を徹底している - コードだけでなく仕様や設計も含め、可読性・メンテナンス性・フェーズによるスピードとの取捨選択などに強いこだわりがある 正直に言うと、『エンジニアという本職に対する義務感と使命感==だけ==でAIや[[Agentic Coding]]を追っている日々』です。 多少はそれでも構いませんが、私のモチベーションの源泉はあくまで『自分や周囲の成長』と『創作活動が充実すること』の2つです。今のところ[[Agentic Coding]]がそれに値するかというとしないでしょう。 ### 知識の呪いから脱却するには 一度物事を知ってしまうと、真に知らない人の立場に立つことができなくなります。これは[[知識の呪い]]とも言われています。世間の[[Agentic Coding]]に対する情熱が、プログラミング未経験者によるものが大きいのであれば、私が試すなら同様の条件下となる別の何かに対象を移したほうがよいと思いました。 とはいえ、興味がない分野のことを続けるのは苦痛です。かといって興味があることは大体もうそれなりに経験を積んでしまっているものです。**『興味はあるし成果物は欲しいけど習熟度の低い分野はないか...』** と考えたときに浮かんできたものがデジタル画像でした。 よくよく考えると、調査を除き、[[ChatGPT Plus]]で成果物の生成を目的にしていた唯一のものがデジタル画像だったので当然ではあるのですが。 ## Stable Diffusion Web UI のインストール READMEの `Installation on Windows 10/11 with NVidia-GPUs using release package` の手順に従いました。 <div class="link-card-v2"> <div class="link-card-v2-site"> <img class="link-card-v2-site-icon" src="https://github.githubassets.com/favicons/favicon.svg" /> <span class="link-card-v2-site-name">GitHub</span> </div> <div class="link-card-v2-title"> GitHub - AUTOMATIC1111/stable-diffusion-webui: Stable Diffusion web UI </div> <div class="link-card-v2-content"> Stable Diffusion web UI. Contribute to AUTOMATIC1111/stable-diffusion-webui development by creating an account o ... </div> <img class="link-card-v2-image" src="https://opengraph.githubassets.com/631570016ea89116cdcac412f68ef48e9aeaac7a020ebde54fd59dc18fb43f1b/AUTOMATIC1111/stable-diffusion-webui" /> <a href="https://github.com/AUTOMATIC1111/stable-diffusion-webui?tab=readme-ov-file#installation-on-windows-1011-with-nvidia-gpus-using-release-package"></a> </div> 起動までは上手くいきますが、いざ画像を生成しようとするとエラーになりました。 ```error RuntimeError: CUDA error: no kernel image is available for execution on the device ``` [[PyTorch]]の[[CUDA]]ビルドが[[GPU]]にあっていないというエラーメッセージです。 ```error C:\Users\syoum\work\sd.webui\system\python\lib\site-packages\torch\cuda\__init__.py:215: UserWarning: NVIDIA GeForce RTX 5060 Ti with CUDA capability sm_120 is not compatible with the current PyTorch installation. The current PyTorch install supports CUDA capabilities sm_50 sm_60 sm_61 sm_70 sm_75 sm_80 sm_86 sm_90. If you want to use the NVIDIA GeForce RTX 5060 Ti GPU with PyTorch, please check the instructions at https://pytorch.org/get-started/locally/ ``` `sm_120` 向けでビルドされた[[PyTorch]]が必要らしいので、エラーメッセージのURLから[PyTorchのStart Locally](https://pytorch.org/get-started/locally/)を開き、インストールする必要がありました。Stableバージョンで[[CUDA]]は最新を選び、インストールコマンドを生成しました。 ![[2025-08-17-21-13-54.avif]] [[Python]]を実行する仮想環境の依存関係を更新する必要があるため、`./sysmtem/python` 配下にて、上記の `Run this Command` を少しアレンジしたものを実行しました。 ```powershell PS C:\Users\syoum\work\sd.webui\system\python> .\Scripts\pip.exe install torch torchvision --index-url https://download.pytorch.org/whl/cu129 Successfully installed torch-2.8.0+cu129 torchvision-0.23.0+cu129 ``` ## Checkpointのダウンロード [[Stable Diffusion]]で利用するモデル本体のことを[[Checkpoint]]と言います。拡張子は `.safetensors` の方が推奨です。 モデルは[[blue_pencil-XL]]を使っています。いくつか[[Checkpoint]]を試してみましたが、私の用途では**アニメとゲームとリアルが混ざったようなテイスト**が好ましく、[[blue_pencil-XL]]は一番イメージに近かったからです。 <div class="link-card-v2"> <div class="link-card-v2-site"> <img class="link-card-v2-site-icon" src="https://civitai.com/favicon-blue.ico" /> <span class="link-card-v2-site-name">civitai.com</span> </div> <div class="link-card-v2-title"> blue_pencil-XL - v7.0.0 | Stable Diffusion XL Checkpoint | Civitai </div> <div class="link-card-v2-content"> Merge everything. Stable Versions: v7.0.0, v5.0.0 , v3.1.0 , v2.0.0 , v1.0.0 / LCM, Lightning versions If Civita ... </div> <a href="https://civitai.com/models/119012/bluepencil-xl"></a> </div> `Download (6.46 GB)` からダウンロードし、`.safetensors` ファイルを `./webui/models/Stable-diffusion` 配下に入れれば準備完了です。 ## Neovimちゃんを描いてみる 準備が整ったので、ためしに実行してみましょう。モチーフがないと難しいので、今回は[[Neovim]]ちゃんをモデルにしてみます。 ![[neovim-chan-stand2.webp|384x576]] 1からプロンプトを書くのは大変なので、[[ChatGPT]]([[GPT-5]])にプロンプト案を聞いてみました。 ``` この画像をStable Diffusionに描いてもらうために必要なプロンプトを教えて。ゴーグル、マフラー、上着は特に再現度を高くしたい。 ``` 以下のプロンプトが返ってきました。 ```bash # postive prompt anime style, cute girl, green hair, short bob cut, wearing black goggles on her head, bright smile, green scarf, white coat with green accents, double-breasted buttons, black leggings, white boots with green straps, arms open, full body, standing, clean background ``` ```bash # negative prompt low quality, blurry, extra limbs, missing hands, distorted face, wrong goggles, messy scarf, asymmetrical coat, wrong colors, different hairstyle ``` これを以下のパラメーターで実行してみます。 | パラメータ名 | 値 | | --------------- | --------- | | Sampling method | DPM++2M | | Schedule type | Automatic | | Sampling steps | 20 | | Width | 512 | | Height | 768 | | Batch count | 1 | | Batch size | 1 | | CFG Scale | 7 | | Seed | -1 | > [!attention] > 上記のパラメーターは同じ値を使うことが多いです。そのため、**記載のないパラメーターは上記値がデフォルト値として採用される** という前提で進めます。デフォルト値に変更があった場合は都度告知します。 こんな画像ができました。面影はありますが、パチモノ感が漂ってますね...😅 ![[sd-webui-neovim-chan-default.avif|384x576]] > [!attention] > [[Stable Diffusion Web UI]]が生成した画像は[[PNG]]ですが、画像サイズを削減するために本記事の画像はすべて[[AVIF]]に変換しています。そのため、オリジナルの画像より荒い部分があったり、[[Stable Diffusion]]のメタデータは埋め込まれていません。ただ、今回取り上げる内容でそこが問題になるケースはないと思っています。 > [!info] > [[CLIP interrogator]]を使った方法も試しましたが、そっちは全く似ていなかったです。それに比べれば[[ChatGPT]]の提案するプロンプトはクオリティが高くてすごいと思います。 ## 参考画像を使って顔を似せる いくら服が似ていても、顔が別人だと同じキャラ感は出ません。せっかく参考画像がありますので、[[ControlNet]]と[[IP-Adapter FaceID Plus V2]]を使って顔の再現度を上げてみました。詳細は以下のサイトが参考になります。 <div class="link-card-v2"> <div class="link-card-v2-site"> <img class="link-card-v2-site-icon" src="https://ferret-one.akamaized.net/images/6455e45415a7954ed7cfcc51/original.png?utime=1683350612" /> <span class="link-card-v2-site-name">業界最安級GPUクラウド | GPUSOROBAN</span> </div> <div class="link-card-v2-title"> 【Stable Diffusion Web UI】ControlNetの使い方まとめ＋Cannyの紹介 </div> <div class="link-card-v2-content"> この記事では、Stable Diffusion WebUI（AUTOMATIC1111版・Forge版）で、ContorlNetをインストールする方法をまとめて紹介しています。併せてControlNetのモデルの１つであるC ... </div> <img class="link-card-v2-image" src="https://ferret-one.akamaized.net/images/65cacf8c329f5c222f3b298f/large.png?utime=1707790220" /> <a href="https://soroban.highreso.jp/article/article-072"></a> </div> ### ControlNetのインストール まずは、[[Stable Diffusion Web UI]]の `Extensions` タブからインストールをします。 ![[2025-07-27-11-38-38.avif]] ![[2025-07-27-11-43-24.avif]] [[Stable Diffusion Web UI]] の再起動が必要です。 ### IP-Adapter FaceID Plus V2のインストール [[Hugging Face]]から `ip-adapter-faceid-plusv2_sdxl.bin` をダウンロードして `./webui/models/ControlNet/` 配下に配置します。 <div class="link-card-v2"> <div class="link-card-v2-site"> <img class="link-card-v2-site-icon" src="https://huggingface.co/favicon.ico" /> <span class="link-card-v2-site-name">huggingface.co</span> </div> <div class="link-card-v2-title"> h94/IP-Adapter-FaceID at main </div> <div class="link-card-v2-content"> We’re on a journey to advance and democratize artificial intelligence through open source and open science. </div> <img class="link-card-v2-image" src="https://cdn-thumbnails.huggingface.co/social-thumbnails/models/h94/IP-Adapter-FaceID.png" /> <a href="https://huggingface.co/h94/IP-Adapter-FaceID/tree/main"></a> </div> ### LoRAのインストール [[ControlNet]]の[[IP-Adapter FaceID Plus V2]]で使用する[[LoRA]] `ip-adapter-faceid-plusv2_sdxl_lora.safetensors` をダウンロードし、`./webui/models/Lora/` 配下に配置します。 <div class="link-card-v2"> <div class="link-card-v2-site"> <img class="link-card-v2-site-icon" src="https://huggingface.co/favicon.ico" /> <span class="link-card-v2-site-name">huggingface.co</span> </div> <div class="link-card-v2-title"> h94/IP-Adapter-FaceID at main </div> <div class="link-card-v2-content"> We’re on a journey to advance and democratize artificial intelligence through open source and open science. </div> <img class="link-card-v2-image" src="https://cdn-thumbnails.huggingface.co/social-thumbnails/models/h94/IP-Adapter-FaceID.png" /> <a href="https://huggingface.co/h94/IP-Adapter-FaceID/tree/main"></a> </div> ### 顔が認識できない 以下の画像を指定してみたところエラーが出ました。 ![[neovim-chan-face1.webp|256x256]] ```error Exception: Insightface: No face found in image. ``` どうやらアニメ調の画像の場合は顔認識されにくいみたいです...。 <div class="link-card-v2"> <div class="link-card-v2-site"> <img class="link-card-v2-site-icon" src="https://www.ipentec.com/favicon.svg" /> <span class="link-card-v2-site-name">www.ipentec.com</span> </div> <div class="link-card-v2-title"> Instant-ID, IP-Adapter Face-ID の入力画像にアニメ、漫画画像を設定すると "Exception: Insightface: No face found in image." が発生する | iPentec </div> <div class="link-card-v2-content"> Instant-ID の入力画像にアニメ、漫画画像を設定すると "Exception: Insightface: No face found in image." が発生する現象と、対処法、検証結果を紹介します。概要Inst ... </div> <img class="link-card-v2-image" src="https://www.ipentec.com/document/images/document-category/stable-diffusion" /> <a href="https://www.ipentec.com/document/ai-image/stable-diffusion-controlnet-instant-id-error-exception-insightface-no-face-found-in-image"></a> </div> 背景を黒くするだけでは改善されなかったので、[[ChatGPT]]に画像をリアルにしてもらいました。 ![[2025-08-18-00-30-34.avif|256x256]] これで画像生成はできるようになりました。 ### 画像を生成してみる [[Stable Diffusion Web UI]]の[[ControlNet]]から、[[IP-Adapter FaceID Plus V2]]を指定します。 ![[2025-08-18-00-35-21.avif|frame-verticle]] [[Positive Prompt (Stable Diffusion)|Positive Prompt]]の最後に以下を追加します。 ``` <lora:ip-adapter-faceid-plusv2_sdxl_lora:0.8> ``` これで[[Neovimちゃん]]が再現できるはず... と思いきや装備とか服とかが色々違いますね...。顔は以前より近づいたかもしれませんが、キャラクターが幼児化してしまっています。 ![[sd-webui-neovim-chan-ip-adapter-face-id-plus.avif|384x576]] ## プロンプトを調整する 渡せる情報はすべて渡してしまったので、ここからはプロンプトで調整していきます。まずは[[Positive Prompt (Stable Diffusion)|Positive Prompt]]の整備です。 ```bash # 現在のプロンプト anime style, cute girl, green hair, short bob cut, wearing black goggles on her head, bright smile, green scarf, white coat with green accents, double-breasted buttons, black leggings, white boots with green straps, arms open, full body, standing, clean background, <lora:ip-adapter-faceid-plusv2_sdxl_lora:0.8> ``` ### 意味ごとに分類する 1行で書かれたプロンプトは非常に見にくいです。まずは構成ごとにブロック化します。 ```bash # 全体の特徴 anime style, clean background, # 人物の概要 cute girl, bright smile, arms open, full body, standing, # 顔・髪 green hair, short bob cut, wearing black goggles on her head, # 衣服 green scarf, white coat with green accents, double-breasted buttons, black leggings, white boots with green straps, # 情景 # LoRA <lora:ip-adapter-faceid-plusv2_sdxl_lora:0.8> ``` [[シード値 (Stable Diffusion)|シード値]]を変えずに再生成するとほぼ同じ画像ができます。 ### BREAKを追加する プロンプトは最大75[[トークン (Stable Diffusion)|トークン]]からなる[[チャンク (Stable Diffusion)|チャンク]]で構成されており、各[[チャンク (Stable Diffusion)|チャンク]]内においては先頭の[[トークン (Stable Diffusion)|トークン]]ほど生成物に影響を与えます。しかし、75という[[トークン (Stable Diffusion)|トークン]]数を意識して意図したプロンプトをつくるのは至難の業です。 そこで、[[BREAKキーワード (Stable Diffusion)|BREAKキーワード]]を使います。プロンプトに `BREAK` を含めると、以降の[[トークン (Stable Diffusion)|トークン]]を新しい[[チャンク (Stable Diffusion)|チャンク]]としてスタートできます。そのため、ジャンルの異なる[[トークン (Stable Diffusion)|トークン]]の集合前に[[BREAKキーワード (Stable Diffusion)|BREAKキーワード]]を置いておくと、意図が反映される可能性が高まります。 ```bash # 全体の特徴 anime style, clean background, BREAK # 人物の概要 cute girl, bright smile, arms open, full body, standing, BREAK # 顔・髪 green hair, short bob cut, wearing black goggles on her head, BREAK # 衣服 green scarf, white coat with green accents, double-breasted buttons, black leggings, white boots with green straps, BREAK # 情景 # LoRA <lora:ip-adapter-faceid-plusv2_sdxl_lora:0.8> ``` `BREAK` を入れたプロンプトで作成してみました。[[シード値 (Stable Diffusion)|シード値]]は同じです。この効果と断言はできませんが、絵のクオリティが上がっています。 ![[sd-webui-neovim-chan-ip-adapter-face-id-plus-break.avif|384x576]] ### シード値を変える 本当は上記画像の[[シード値 (Stable Diffusion)|シード値]]を使い続けたかったのですが、ここから先のプロセスで難易度が跳ね上がったため、都合のよい別の値を設定しました。 ![[sd-webui-neovim-chan-ip-adapter-face-id-plus-break2.avif|384x576]] | パラメータ名 | 値 | | --------------- | -------------- | | Sampling method | DPM++2M | | Schedule type | Automatic | | Sampling steps | 20 | | Width | 512 | | Height | 768 | | Batch count | 1 | | Batch size | 1 | | CFG Scale | 7 | | Seed | **4154995054** | > [!hint] 銀の弾丸はない > 何事もそうですが、すべての状況で利用できる銀の弾丸な方法は存在しません。アンチパターンこそあるものの、『とりあえずこれをやっておけばOK！』みたいな幻想は捨てたほうがいいと思っています。[[シード値 (Stable Diffusion)|シード値]]を切り替えるのも回避策の1つであるかなと。 ### マフラーの再現度を上げる 緑のマフラーは[[Neovimちゃん]]のトレードマークなので、服が多少変わってしまっても再現したいところです。衣服のブロック先頭にマフラーに関する細かな指定をすることで、強調します。 ```bash # 全体の特徴 anime style, clean background, BREAK # 人物の概要 cute girl, bright smile, arms open, full body, standing, BREAK # 顔・髪 green hair, short bob cut, wearing black goggles on her head, BREAK # [追加・変更] 衣服 a bright green thick knitted scarf wrapped once around the neck, scarf passed through itself in front, forming a small knot, ribbed knit pattern, chunky woolen texture, white coat with green accents, double-breasted buttons, black leggings, white boots with green straps, BREAK # 情景 # LoRA <lora:ip-adapter-faceid-plusv2_sdxl_lora:0.8> ``` ![[sd-webui-neovim-chan-ip-adapter-face-id-plus-break3.avif|384x576]] ### Negative Promptで余計な要素を消す マフラーの再現度は上がりましたが、頭部に謎のオブジェが追加されてしまいました。これはまだマシな方で、マフラーを指定するとかなりの確率でニット帽がセットでついてきてしまいます。状況によって効果のあるアプローチは変わりますが、今回は[[Negative Prompt (Stable Diffusion)|Negative Prompt]]に追加してみました。 ```bash low quality, blurry, extra limbs, missing hands, distorted face, wrong goggles, messy scarf, asymmetrical coat, wrong colors, different hairstyle BREAK, # [追加] 頭の装飾を禁止 beanie, cat ears, animal ears, hats, hood, pom pom hat, winter hat, knitted hat, cap, ``` ![[sd-webui-neovim-chan-ip-adapter-face-id-plus-break-negative.avif|384x576]] #### Negative Promptの影響を侮らない [[Negative Prompt (Stable Diffusion)|Negative Prompt]]は『とりあえずこれを入れておけばOK！』みたいな説明をされていることが多いです... が、[[Negative Prompt (Stable Diffusion)|Negative Prompt]]の影響は侮れません。おまじないのように入れていた[[Negative Prompt (Stable Diffusion)|Negative Prompt]]の意味を理解していなかったことで、それが求める画像のテイストを阻害しているケースにも多く直面しました。 個人的には **[[Negative Prompt (Stable Diffusion)|Negative Prompt]]は最小限に絞って慎重に吟味する** 方がいい気がしています。 ### 袖口・ポケット・裾・縫い目を緑色にする オリジナルの画像では緑色になっていた袖口・ポケット・裾・縫い目の色を反映させるため、[[Positive Prompt (Stable Diffusion)|Positive Prompt]]に追加します。 ```bash # 全体の特徴 anime style, clean background, BREAK # 人物の概要 cute girl, bright smile, arms open, full body, standing, BREAK # 顔・髪 green hair, short bob cut, wearing black goggles on her head, BREAK # 衣服 a bright green thick knitted scarf wrapped once around the neck, scarf passed through itself in front, forming a small knot, ribbed knit pattern, chunky woolen texture, white coat with green accents, double-breasted buttons, # [追加] green accents on cuffs, green pocket trim, green hemline, green seam lines along coat panels, green piping on seams, black leggings, white boots with green straps, BREAK # 情景 # LoRA <lora:ip-adapter-faceid-plusv2_sdxl_lora:0.8> ``` ![[sd-webui-neovim-chan-ip-adapter-face-id-plus-break4.avif|384x576]] 少し他の部分にも緑が浸透していますが、服のデザインとして違和感がなければ気にしなくていいかなと思っています。完璧な再現を目指しすぎると難易度が跳ね上がりますので、適度な妥協はとても大事だと思います。 ### 不要なものを消す 再び不要なものを消します。左腕のワッペンは不要なので[[Negative Prompt (Stable Diffusion)|Negative Prompt]]に追加します。 ```bash low quality, blurry, extra limbs, missing hands, distorted face, wrong goggles, messy scarf, asymmetrical coat, wrong colors, different hairstyle BREAK, beanie, cat ears, animal ears, hats, hood, pom pom hat, winter hat, knitted hat, cap, # [追加] arm badge ``` ![[sd-webui-neovim-chan-ip-adapter-face-id-plus-break5.avif|384x576]] ## 手のクオリティを上げる [[ChatGPT]]と比べると[[Stable Diffusion]]は手が苦手な印象があります。遠目から全体を見るとそこまで違和感なくても、手のみにフォーカスするとご覧の通り。指の本数が少なく溶けかかっていますね。 ![[2025-08-24-09-14-50.avif]] ![[2025-08-24-09-15-03.avif]] ### Hires. fixで解像度を上げる Webで検索すると、『[[Negative Prompt (Stable Diffusion)|Negative Prompt]]を駆使して崩壊を防ぐ』『[[Inpainting]]で修正する』という内容をよく目にしますが、一番効果があるのは[[Hires. fix]]を使うことだと思います。 ![[2025-08-24-09-34-16.avif]] | パラメータ名 | 値 | 備考 | | ------------------ | -------------------- | --------------------- | | Upscaler | R-ESRGAN 4x+ Anime6B | 好み。SwinIR_4x を使うこともある | | Hires steps | 20 | 20以上はほぼ変化がないため | | Denoising strength | 0.5 | 元画像との整合性とクオリティのバランス的に | | Upscale by | 2 | 縦1536にしたいので | 生成された画像です。微妙に表情が変わってますが、比較しなければ分からないほど微々たるものなので、大抵のケースは許容できると思います。 ![[2025-08-24-09-40-33.avif|384x576]] 手の部分にフォーカスしてみます。 ![[2025-08-24-09-42-23.avif|252x257]] ![[2025-08-24-09-42-42.avif|210x185]] 比較してみると、指の本数や溶け具合が改善されています。 | Hires. fix なし | Hires. fix あり | | ----------------------------- | -------------------------------------- | | ![[2025-08-24-09-14-50.avif\|254x268]] | ![[2025-08-24-09-42-23.avif\|252x257]] | | ![[2025-08-24-09-15-03.avif\|210x206]] | ![[2025-08-24-09-42-42.avif\|210x185]] | > [!hint] [[Hires. fix]]は構図を決めてから使う > [[Hires. fix]]を使うとマシンの負荷が上がり、生成時間も数倍かかります。気に入らない構図の画像を綺麗にしても意味がありません。まずは[[Hires. fix]]なしで [[Batch count (Stable Diffusion)|Batch count]] を上げて気に入った構図を見つけたら、[[シード値 (Stable Diffusion)|シード値]]を固定し、[[Hires. fix]]あり・[[Batch count (Stable Diffusion)|Batch count]] 1で清書するのがいいと思います。 ### Sampling stepsを増やす [[Sampling steps (Stable Diffusion)|Sampling steps]] 20は少ないので、30に増やします。 | パラメータ名 | 値 | | --------------- | ---------- | | Sampling method | DPM++2M | | Schedule type | Automatic | | Sampling steps | **30** | | Width | 512 | | Height | 768 | | Batch count | 1 | | Batch size | 1 | | CFG Scale | 7 | | Seed | 4154995054 | 画像全体は大きく変わらないので、手の部分だけ比べてみます。右手の方が変化が大きいので左手は割愛します。せっかくなので40の場合も比較してみました。 | steps | Hires. fix あり | 気になる点 | | ----- | ----------------------------- | ------------------------- | | 20 | ![[2025-08-24-09-42-23.avif]] | ぼやけて手が溶けている | | 30 | ![[2025-08-24-10-08-26.avif]] | 親指の形が明らかに変。<br>小指も欠損している。 | | 40 | ![[2025-08-24-10-07-48.avif]] | 親指と薬指が不自然 | 30にするとクオリティは上がりましたが、親指の形が明らかに変だったり、小指の先端が不十分です。40は親指がより自然になったものの、謎のシミがついていたり、薬指や小指周辺に違和感があります。 ### Inpaintingでピンポイントに修復する 修復するエリアがここまで絞れれば、あとは[[Inpainting]]でなんとかなります。[[txt2img]]で生成した結果下のメニューから 🎨 のアイコンをクリックすると、そのまま[[img2img]]が開かれます。 ![[2025-08-24-13-17-06.avif]] [[Positive Prompt (Stable Diffusion)|Positive Prompt]]と[[Negative Prompt (Stable Diffusion)|Negative Prompt]]を選択し、修正したい範囲 (右手) をマスクします。 ![[2025-08-24-13-14-53.avif]] [[Positive Prompt (Stable Diffusion)|Positive Prompt]]は書き直しました。そのままにすると、手以外のすべてのプロンプト内容を読み取ってホラーになります...😱。マスクした範囲は手だけなので、自然な手や指、特に親指を強調した指示にしました。 ```bash # positive prompt anime style, natural hand, natural finger, (natural thumb:1.3) ``` [[Negative Prompt (Stable Diffusion)|Negative Prompt]]は変えていません。もっと少なくてもいい気はしますが、悪影響なければ面倒なのでそのままにしました。 ```bash # negative prompt low quality, blurry, extra limbs, missing hands, distorted face, wrong goggles, messy scarf, asymmetrical coat, wrong colors, different hairstyle BREAK, beanie, cat ears, animal ears, hats, hood, pom pom hat, winter hat, knitted hat, cap, ``` 他のパラメータもかなり大事です。 ![[2025-08-24-13-22-38.avif]] 以下のパラメーターは適切に指定しないと永遠に期待する結果は得られないと思います。 | パラメータ名 | 値 | 備考 | | ----------------- | ----------- | -------------- | | Masked content | original | 元画像を尊重する | | Inpaint area | Only masked | マスクした領域のみを修復する | | Resize by > Scale | 1 | 元画像と同じサイズにする | 以下のパラメーターは数値を微調整して期待する結果に近づける必要があります。正解がないので根気がいります。 | パラメータ名 | 値 | 備考 | | ------------------ | ---- | --------------- | | Sampling steps | 30 | 元と同じステップ | | Denoising strength | 0.65 | 元画像とどれだけ変化をつけるか | `Denoising strength` は小さいと元画像からの変化が小さく、大きいと変化が大きくなります。一般的には 0.4 ~ 0.7 くらいが適切と言われていますが、今回は親指の形状を大きく変える必要があったため大きめの `0.65` に落ち着きました。 結果はこのようになりました。(10回くらい試行しました) ![[2025-08-24-13-30-43.avif]] 親指は髪の後ろに隠れています。[[Inpainting]]をした影響で髪の連続性に違和感はありますが、手や指の違和感よりは気づきにくいと思います。繰り返しになりますが、**AIだけで完璧を目指すのには限界があるので、適度な妥協が非常に大事**だと思っています。 ### 全体画像 手を修正した画像の全体を貼っておきます。 ![[2025-08-24-13-35-07.avif|384x576]] ## カバー画像をつくる ここまでは[[Neovimちゃん]]の再現をしてきましたが、縦長の画像は記事のカバー画像には使えません。以下の情報をもとにベストなサイズを決めます。 - [[OGP]]画像は `1200 x 630` がベストと言われている - 縦 x 1.9 = 横 の比率が良い - [[Hires. fix]]は64の倍数がよい - [[SDXL]]の適正解像度は `1024 x 1024 = 1048576` 以上から `960 x 512` または `1280 x 670` の画像を生成し、それぞれ2倍、1.5倍にスケールすることにしました。 ※ 今回採用した解像度は紹介されていませんが、画面サイズについての説明は以下のサイトが分かりやすかったです <div class="link-card-v2"> <div class="link-card-v2-site"> <img class="link-card-v2-site-icon" src="https://romptn.com/article/wp-content/uploads/2024/03/cropped-roptn_logo_%E9%80%8F%E9%81%8E-32x32.png" /> <span class="link-card-v2-site-name">romptn Magazine</span> </div> <div class="link-card-v2-title"> 【SDXL】おすすめの画像サイズ(解像度)とは？最適な画質の設定方法を解説！ </div> <div class="link-card-v2-content"> SDXL最適サイズ(解像度)のについて徹底解説！基本設定から推奨サイズ一覧、アスペクト比の調整方法、高解像度化のコツまで解説。美しい画像生成のために知っておくべき設定と、よくあるトラブルの対処法を網羅。 ... </div> <img class="link-card-v2-image" src="https://romptn.com/article/wp-content/uploads/2025/03/%E6%96%B0%E3%82%B5%E3%83%A0%E3%83%8D_%E5%8E%9F%E6%9C%AC2-2-1-2.jpg" /> <a href="https://romptn.com/article/54914"></a> </div> ### 同じような服装とシンプルな背景で サイズだけ `960 x 512` に変更してから、他のパラメータは以前と同じで生成し、[[Hires. fix]]で2倍にしました。 ![[2025-08-24-18-38-25.avif]] [[Positive Prompt (Stable Diffusion)|Positive Prompt]]は少し変えています。背景の指定を追加したのと、一部反映されなかった装備を強調して反映されるようにしました。このへんは[[シード値 (Stable Diffusion)|シード値]]やプロンプトの内容、画像サイズ、他あらゆる要素が絡んでくるので、[[LoRA]]などで強く学習させない限りは運の要素も大きい気がします。 ```bash # positive prompt anime style, # [追加] [clean backgroundは削除] background is like a terminal on macbook pro, long shot, BREAK cute girl, bright smile, arms open, full body, standing, BREAK # [変更] ゴーグルが表示されなかったので weight 1.2で強調 green hair, short bob cut, (wearing black goggles on her head:1.2), BREAK # [変更] マフラーが安定しなかったので weight 1.2で強調 (a bright green thick knitted scarf wrapped once around the neck:1.2), scarf passed through itself in front, forming a small knot, ribbed knit pattern, chunky woolen texture, white coat with green accents, double-breasted buttons, green accents on cuffs, green pocket trim, green hemline, green seam lines along coat panels, green piping on seams, black leggings, white boots with green straps, BREAK <lora:ip-adapter-faceid-plusv2_sdxl_lora:0.8> ``` [[Negative Prompt (Stable Diffusion)|Negative Prompt]]は変更していません。 ```bash # negative prompt low quality, blurry, extra limbs, missing hands, distorted face, wrong goggles, messy scarf, asymmetrical coat, wrong colors, different hairstyle BREAK, beanie, cat ears, animal ears, hats, hood, pom pom hat, winter hat, knitted hat, cap, arm badge ``` ### お祭りっぽいやつ せっかく夏なので、お祭りっぽいカバー画像も作ってみました。サイズは `1280 x 670` です。メインの人物以外にも書き込みたい情報が多いときは、サイズが大きい方が安定して出力される気がしています。 ![[2025-08-24-18-52-44.avif]] [[Positive Prompt (Stable Diffusion)|Positive Prompt]]では服に関する大半を削除し、先頭に今回必要な指示を記載しました。似せなければいけない服が指定されているわけではないため、雰囲気さえあっていればOKなので楽でした。 ```bash # positive prompt # Chat GPTに叩きを作ってもらって自分で調整. back view, green yukata, (looking around curiously:1.5) をつけることでなんとかお祭回っている感のある構図に anime style, long shot, back view, wearing green yukata, walking through a japanese summer festival, (looking around curiously:1.5), lively night stalls, glowing paper lanterns, festival atmosphere, goldfish scooping stall, warm lights, bustling crowd, joyful mood, BREAK cute girl, full body, BREAK # [green eyes 追加] 目がお祭りの赤色に引っ張られるので # [1.2] ゴーグルをかけさせるため強調 green eyes, green hair, short bob cut, (wearing black goggles on her head:1.2), BREAK # [1.2] マフラーをつけさせるため強調 (a bright green thick knitted scarf wrapped once around the neck:1.2), scarf passed through itself in front, forming a small knot, ribbed knit pattern, chunky woolen texture, BREAK <lora:ip-adapter-faceid-plusv2_sdxl_lora:0.8> ``` [[Negative Prompt (Stable Diffusion)|Negative Prompt]]は本質的な変更点はありません。 ```bash # negative prompt low quality, blurry, extra limbs, missing hands, distorted face, wrong goggles, messy scarf, asymmetrical coat, wrong colors, different hairstyle BREAK, # これはなくても大丈夫な気がする... いつもの衣装を安定させるためのプロンプトの名残 military uniform, navy uniform, officer coat, epaulette, armband, shoulder patch, gold trim, medals, rank insignia, BREAK beanie, cat ears, animal ears, hats, hood, pom pom hat, winter hat, knitted hat, cap ``` [[Hires. fix]]は1.5倍にしました。また、生成された画像の背景にて、明らかに位置がおかしい人や金魚がいたため、その部分だけ[[Inpainting]]で修復しました。 ![[2025-08-24-19-00-53.avif|frame]] *左端の金魚と人、右端の金魚をマスク* [[#Inpaintingでピンポイントに修復する]] で紹介した方法と唯一違うのは、**Masked contentが `fill`** であるということです。今回は **修復前の画像情報は一切不要** であり、**他の背景に溶け込むこと** が求められているため `original` は選びませんでした。 ![[2025-08-24-19-01-55.avif]] ## おわりに 絵や[[Stable Diffusion]]は素人のエンジニアが、[[Stable Diffusion Web UI]]でカバー画像を作成できるようになるまでの記録を紹介しました。 エンジニアリングと画像生成、必要な知識は全然違いますが、[[AI]]に対するアプローチ(そして恐らく[[AI]]関係なく...)はエンジニアリングのそれに近しいなという感想です。 具体的には以下の点が大事だと思いました。 - 全体から固めていき、細部は後で調整する - 適切な学習情報、適切なプロンプトを指定する - [[AI]]に完璧を求めず90点くらいを目指す - 最後の仕上げには人間の確認とスキルが必須 また、[[AI]]の生成物は**その道のプロ**が見れば一瞬で多数の違和感に気づくものだなと思いました。各々の部品では高いクオリティを維持していても、考えることや調和させる対象が広がるにつれて、それらを破綻なく適合していくことは難易度が跳ね上がるなと。少なくとも[[AI]]**だけ**でやろうとするなら。 ソースコードに例えると、『個々のメソッド実装はテストも含めてほぼ完璧だが、全体の設計や今後の保守性を考えると優れているとは言えない』というものです。 絵も同様に、『個々のオブジェクトはしっかり描けていても、それらが混ざりあったときの整合性をとるのは難しいのではないか...』という気がしています。**複数の人物やモチーフが登場する期待通りの絵を生成するのが難しい** と言われているのがまさにそれかなと。(そう考えると、それができる[[ChatGPT]]は本当にすごい... 改めて) とはいえ、私は本格的に[[Stable Diffusion Web UI]]を弄り始めてまだ2週間のヒヨッコです。まだまだ知らないことは多いですし、[[LoRA]]を使って服を学習させる試みは近い内にチャレンジしてみたいと思っています。 自分の趣味に活かせて、[[AI]]の学習における基礎も学べる[[Stable Diffusion Web UI]]が利用できることに感謝をしつつ、エンジニアリングやドキュメンテーションとあわせて高みを目指していければと思っています。