Black Forest Labs új AI-modellje, a FLUX.3 Image Klein, már fut a Diffusersben
A FLUX.3 Image Klein új elrendezésvezérlést kínál, ahol a felhasználó megadhatja, hol jelenjenek meg a kép elemei. Az új modell már elérhető a Hugging Face-en.
A moduláris Diffusers folyamat-ként érkező FLUX.3 Image Klein komponensei könnyen cserélhetők vagy bővíthetők, miközben a Hugging Face space-en már kipróbálható, a GitHubon pedig elérhetők a telepítési útmutatók.
Elrendezésvezérlés és checkpointek
Az elrendezésvezérlés funkció lehetővé teszi a felhasználók számára, hogy megadják, hol helyezkedjenek el a kép elemei, vagy mely részeket szeretnék áthelyezni egy referenciaképből. Ezt promptba írt „bounding boxok” segítségével tehetik meg, amelyek megadják a kívánt régiókat és azok leírását. A modell két nyílt checkpointtal érhető el: a „distilled” verzió gyors, míg a „base” verzió alaposabb generálást tesz lehetővé.
Hardverigények és finomhangolás
A „distilled” checkpointtal egy 1024 × 1024 pixeles kép körülbelül 2 másodperc alatt generálható le egy H100 GPU-n. Az NVFP4 és FP8 kvantált súlyok lehetővé teszik a kisebb GPU-kon való futtatást is. A modellhez LoRA tréning szkriptek is tartoznak, amelyekkel finomhangolható mind a szöveg-kép, mind a kép-szerkesztési funkció.
A modell képes teljes jelenetleírások alapján képeket generálni, beleértve a témát, a hátteret, a világítást, a kompozíciót és a stílust. Kép-kép generálásnál referenciaképek megadásával a promptban leírhatók a kívánt változtatások. Az elrendezésvezérléshez JSON listában adhatók meg a régiók, azok azonosítójával, dobozával és leírásával, amelyeket a promptban is meg kell említeni.
A Black Forest Labs a „base” checkpointhoz 50 inferencia lépést, míg a „distilled” checkpointhoz alapértelmezetten 16 lépést javasol. A kvantált verziók kisebb GPU-kon való teljesítményét független tesztek nem erősítették meg, de a fejlesztők szerint lehetővé teszik a szélesebb körű hozzáférést.