NVIDIA Model Optimizer: 60 millió FLOP-os modell Optimalizálása FastNAS Pruninggal
Az NVIDIA Model Optimizerral és FastNAS Pruninggal optimalizált modell a CIFAR-10 adathalmazon 20-120 építési körrel és 12-120 finomhangolási körrel készül.
NVIDIA Model Optimizerrel egy teljesen végponttól végpontig terjedő folyamat-t építettek a CIFAR-10 adathalmazon. A folyamat 60 millió FLOP-ra szűkítve, 20–120 tréningkörrel és 12–120 finomhangolási körrel futtatható a Google Colab GPU-jain. A ResNet architektúrát alapértelmezettként használva 0,93-ra emelt pontosságot értek el a baseline-n, majd FastNAS pruning-mal 30 %-os FLOP-csökkenést hajtottak végre. (MarkTechPost)
A FastNAS egy olyan pruning-eljárás, amely az FLOP-korlátok alapján szűri ki a felesleges rétegeket. Az NVIDIA Model Optimizer képes a finomhangolás után visszaállítani a pontosságot, így a csökkentett modell 0,91-re emelkedett a CIFAR-10-en. A folyamat lépései között szerepel a környezet beállítása, az adathalmaz előkészítése, a ResNet definiálása, a FastNAS alkalmazása és a finomhangolás.
A folyamat 20 epoch-os alapértelmezett tréningtel indul, de a teljes kísérlet 120 epoch-ig terjedhet. A finomhangolás is 12–120 epoch között mozog, az FLOP-korlát 60 millió, ami a modellek méretének jelentős csökkentését eredményezi. A teljes folyamatot egyetlen Python-fájlban, a "nvidia_model_optimizer_fastnas_pipeline_marktechpost.py" nevű notebookban találhatók.
Az NVIDIA Model Optimizer nemcsak a pruning-t, hanem a finomhangolást is támogatja, így a fejlesztők egyetlen eszközzel tudnak modelleket optimalizálni és előkészíteni a telepítés-re. A folyamat a Google Colab környezetében fut, ami azt jelenti, hogy a GPU erőforrásokhoz könnyen hozzáférhetnek a kutatók.
Mi a következő lépés? A dokumentációban szereplő kódszámok alapján a következő iterációban a 60 millió FLOP-os cél mellett még magasabb pontosság elérése a cél, vagy akár az FLOP-korlát csökkentése 30 millióra.