Biológiai modellek finomhangolása 1 % paraméterrel – bevezeti az NVIDIA a LoRA‑t
A fejlesztők egyetlen RTX 6000 Blackwell munkaállomáson, mindössze 1 % paraméter módosításával finomhangolhatják az ESM2‑3B és Evo2‑1B modelleket – a BioNeMo Recipes most már elérhető.
LoRA lehetővé teszi, hogy a milliárd‑paraméteres biológiai alapmodelleket csak a paramétereik körülbelül 1 %-át frissítve finomhangolják, miközben a teljesítmény a csúcskategóriában marad — írja az NVIDIA Developer Blog.
Paraméterhatékony finomhangolás
A módszer a betanított hátteret befagyasztja, és csak kis, alacsony rangú adaptermátrixokat tanít, ezáltal csökkentve a memória- és számítási igényt. A BioNeMo Recipes lépésről‑lépésre bemutatja, a PyTorch és a Hugging Face keretrendszerekre építve.
Kapcsolódó: gyorsabb robottanulás
Fehérje‑struktúra‑predikció és DNS‑splicelés‑osztályozás
Az ESM2‑3B modell LoRA‑val finomhangolva 84,80 %/74,30 % Q3/Q8 pontosságot ér el a Porter 6 referencia mellett, és a teljes edzést egy RTX 6000 Blackwell GPU-n kevesebb mint egy óra alatt befejezi, miközben a feldolgozási sebesség 5,5‑ször nő. Az Evo2‑1B modell esetén a LoRA‑adapterek az attention, MLP és Hyena‑mixer rétegeken keresztül a splice‑site osztályozási pontosságot 52,3 %-ról 96,6 %-ra emelik, mindössze 1,42 % paraméter módosításával.
Kapcsolódó: lineáris skálázás
Fejlesztői eszköztár
A BioNeMo Recipes integrálja az NVIDIA Transformer Engine‑t és a szekvencia‑csomagolást, így a felhasználók a legújabb optimalizációs technikákat használhatják anélkül, hogy a kód bonyolult lenne. A BioNeMo Recipes az NVIDIA weboldalán érhető el, és azonnal letölthető minden fejlesztő számára az RTX 6000 Blackwell munkaállomáson.
Kapcsolódó: sebességnövekedés