Biológiai modellek finomhangolása 1% paraméterrel, bevezeti az NVIDIA a LoRA-t
A fejlesztők egyetlen RTX 6000 Blackwell munkaállomáson, mindössze 1 % paraméter módosításával finomhangolhatják az ESM2-3B és Evo2-1B modelleket – a BioNeMo Recipes most már elérhető.
LoRA lehetővé teszi, hogy a milliárd-paraméteres biológiai alapmodelleket csak a paramétereik körülbelül 1 %-át frissítve finomhangolják, miközben a teljesítmény a csúcskategóriában marad — írja az NVIDIA Developer Blog.
Paraméterhatékony finomhangolás
A módszer a betanított hátteret befagyasztja, és csak kis, alacsony rangú adaptermátrixokat tanít, ezáltal csökkentve a memória- és számítási igényt. A BioNeMo Recipes lépésről-lépésre bemutatja, a PyTorch és a Hugging Face keretrendszerekre építve.
Kapcsolódó: gyorsabb robottanulás
Fehérje-struktúra-predikció és DNS-splicelés-osztályozás
Az ESM2-3B modell LoRA-val finomhangolva 84,80 %/74,30 % Q3/Q8 pontosságot ér el a Porter 6 referencia mellett, és a teljes edzést egy RTX 6000 Blackwell GPU-n kevesebb mint egy óra alatt befejezi, miközben a feldolgozási sebesség 5,5-ször nő. Az Evo2-1B modell esetén a LoRA-adapterek az attention, MLP és Hyena-mixer rétegeken keresztül a splice-site osztályozási pontosságot 52,3 %-ról 96,6 %-ra emelik, mindössze 1,42 % paraméter módosításával.
Kapcsolódó: lineáris skálázás
Fejlesztői eszköztár
A BioNeMo Recipes integrálja az NVIDIA Transformer Engine-t és a szekvencia-csomagolást, így a felhasználók a legújabb optimalizációs technikákat használhatják anélkül, hogy a kód bonyolult lenne. A BioNeMo Recipes az NVIDIA weboldalán érhető el, és azonnal letölthető minden fejlesztő számára az RTX 6000 Blackwell munkaállomáson.
Kapcsolódó: sebességnövekedés