Az A-LEMS öt rétegű folyamat-jával mérik az energiafelhasználást célonként
Az új mérőszám lehetővé teszi, hogy a több lépéses AI feladatok energiaigényét a sikeres célok alapján számolják.
Csak egy modell-hívás vagy tréning futtatás energiafelhasználását mérik a jelenlegi teljesítménytesztek, ami a klasszikus egylépéses munkafolyamatokra van optimalizálva — írja az arXiv. (ArXiv AI)
A mélytanulás energiaigényének új dimenziója
Az ügynök AI rendszerek egy felhasználói cél eléréséhez több hívást, eszköz-interakciót és esetleges újrapróbálkozást igényelnek, ezért az invokációszám inkább implementációs artefaktus, nem feladattulajdonság. Úgy tűnik, a jelenlegi mérőszámok félrevezető képet adnak a valós energiaigényről.
A célzott energiafelhasználás mérése
Az A-LEMS (Agentic LLM Energy Measurement System) az energia-számlálást a 'Energy per Successful Goal' (EpG) egységre cseréli, amely a teljes munkafolyamat energiafelhasználását összegzi, beleértve a sikertelen próbálkozásokat is, majd a sikeresen befejezett célok számával normalizálja. A szerzők szerint ez a megközelítés pontosabban tükrözi a tényleges energiafelhasználást.
Az A-LEMS öt rétegű folyamat-ja RAPL-jelek alapján gyűjti az energiaadatokat, ami 2024-ben a cél-szintű energiajelentések alapjául szolgálhat az IBM és a Google által fejlesztett AI rendszerekben.