Bolygóméretű műholdas elemzést hoz az AI2 új platformja

A platform alapját az OlmoEarth modellek adják, amelyeket körülbelül 10 terabájt multimodális műholdas adaton tanítottak be. A kormányzati és non-profit szervezetek számára kifejlesztett megoldás az erdőirtás monitorozásától a tűzveszély-becslésig számos területen használható. (Allen AI (AI2))

A platform három szakaszra bontja az adatfeldolgozást, optimalizálva a hardverhasználatot. Az adatgyűjtést és előkészítést CPU-k végzik, az inferenciát GPU-k, míg az utófeldolgozást ismét CPU-k. Ez a megközelítés biztosítja, hogy a legdrágább hardverek, a GPU-k, ne végezzenek kevésbé számításigényes feladatokat.

Adatfeldolgozás nagy léptékben

A geospaciális elemzés jelentősen eltér az átlagos ML-feladatoktól. Míg egy LLM egy bekezdésnyi szöveget másodpercek alatt dolgoz fel, egy műholdas adatfeldolgozási feladat terabájtnyi adatot mozgathat meg órákon keresztül. Az adatok származhatnak több szolgáltatótól, eltérő vetületekkel és felbontásokkal, és felhő vagy más zavaró tényezők is nehezíthetik a feldolgozást. Az OlmoEarth Platform ezt úgy kezeli, hogy saját metadatex-indexet tart fenn, így elkerülve a külső szolgáltatások túlterhelését.

Párhuzamos feldolgozás és költséghatékonyság

Az OlmoEarth Run, a platform végrehajtó rétege, a feldolgozandó földrajzi területet particionálja, majd ezeket kisebb ablakokra bontja. Egy kontinensméretű futtatás több ezer számítási példányt vehet igénybe. Egy észak-amerikai tűzveszély-térkép generálása során például 19 600 CPU és 994 GPU dolgozott párhuzamosan, ami egy becsült 4737 órás soros számítást mintegy 30,5 órára csökkentett, 155-szörös gyorsulást eredményezve.

A platform a Skylight és EarthRanger rendszerekben szerzett tapasztalatokra épít, biztosítva a megbízhatóságot és a költséghatékonyságot. A feldolgozási költség mindössze néhány fillér per négyzetkilométer.