Flux.1 schnellでの Lora学習
Flux.1 schnell に対応したモデルは civitai.com などに多数存在します。 それらを使うことで、全体にジブリ風にしたりとか、 キャラクタのバリエーションを増やしたりとかいうことはできますが、 オリジナルなキャラクタで画を作ることはできません。 ネットで調べると Windows の世界では sd-scripts と Windows 対応インターフェースによって 比較的簡単にこれが実現できるようです。 しかし、それを Linux で再現しようとすると意味不明な箇所が多く現れ、 早々にあきらめざるをえませんでした。
そうしたときに目についたのが、fluxgym というものです。 これに従ってやってみると、割と簡単に Lora モデルを作ることができました。 [参考1]に書いたように、キャラクタ画像が必要です。 ぼくは、HimawariMix-v8 にある特徴的なプロンプトを与え、 ControlNet の openpose で体の向きをいろいろ変えたキャラクタ画像を 15枚ばかり用意し、 fluxgym に入力しました(後に特徴的な画像 6枚もあれば十分と判明します)。 以下、画像生成で使った条件のメモです。
1024x1024, DPM++2M, Karras
Positive(共通):
masterpiece, anime, simple design, plain, unadorned,
Negative(共通):
shoes, bad fingers, bad hands, extra digit,
姿勢:
facing forward,
profile,
sitting sideways,
back view,
crouching,
dancing,fluxgym は比較的簡単に導入できるとはいうものの、いくつか引っかかる点がありました。 まず、sd-scripts の requirements.txt を次のように直さないと、動きません。
huggingface-hub==0.25.0また、
pip install --pre torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121が失敗するので、
pip install "optimum-quanto<0.2.7"をやってから実行する必要があります。 また、huggingface から schnell がダウンロードできないといわれるので、再びModelのダウンロードに失敗に従い、新しいトークンをセットし、コマンドラインからログインしようとしましたが、失敗してしまいました。 このあたりはよくも悪くも試行錯誤が必要です。 そうした手間はかけたくないという人は現時点での導入はあきらめたほうがいいかもしれません。
モデル 1人ぶんの Lora を作るのに最低 30分かかりました。 こうして作ったのが「家庭教師黒木一馬ただ今テキスト修行中」に登場するルミと黒木一馬の 2キャラクタです。
そして、この 2人を、Lora で呼び出したプロンプトが以下です。
<lora:kuroki-schnell:0.9>
<lora:rumi-schnell:0.9>
anime, in the studying room
kuroki in navy jacket and glasses is sitting at the desk.
rumi in school uniform is sitting at the other side of the desk.
kuroki teaches rumi.その結果、次のような画像を得ます(使えない NG画像も多数吐き出されます)。
目の色とか、多少の不満はあるものの、まあ妥協できなくはない画像です。 どうしても、Lora で 2キャラクターを混在させると、一方は他方の特徴の影響を受けます (髪の色とか、眼鏡とか、服の色とか)。 SD1.5 はもう悲惨なので、schnell はそれと比べれば天国みたいなものなので、 これは甘受するしかないでしょう。 また、プロンプトも タグ式、CLIP 式といろいろやってみましたが。 schnell では CLIP 式のほうがよい結果が得られるようです。 当分はこれでいくことになるだろうと思います。
fluxgym での作業の実際
cd ~/fluxgym
python -m venv env
source env/bin/activate
./setup.sh
〜ここでブラウザ上で作業〜
deactivateブラウザ上(192.168.x.xxx:7680)での作業の詳細メモ。
The name of LoRA of your LoRA, Trigger word: 【Loraに与える名前】
Base model: flux-schnell
Sample Image Prompts: (例)【Loraに与える名前】 is on a beach
他変えなくて可画像 1.png - 6.png 以外に、1.txt - 6.txt(同内容) を Caption にアップし 【Loraに与える名前】.safetensors を作成します(以下 1.txt の例)。
【Loraに与える名前】, masterpiece, simple design, plain, unadorned, full body, white socks, blue jeans, simple white blouse,
SD Forge の models/Lora に入れて使ってみます。 【Loraの名前】-000012.safetensors が一番いい状態なので、これを rumi.safetensors などといった最終的なものにします。 flux1-schnell-safetensors 内で使うより、 animeproFLUX_fp8E4m3fn.safetensors 内で使ったほうが結果がいいようです。
また、後日判明しましたが、複数の Lora を使う場合、そこに与える 1.0 とか 0.9 とかいった数値は 合計して 1.0 前後になるよう調整したほうがいいようです。 参考までに合計が 1.8 の場合と、1.0 の場合のプロンプトと結果を載せておきます (いずれも 5枚生成したうちの状態がいいもの)。
コメント 記事が気に入ったらいいねしてね！ 
0 
17
参考1: ラーニング・AI画像#2 Stable Diffusion で使う Lora モデルづくり
🕍 同ジャンル最新記事(-7件)
