A Mistral AI új idősoros modellje, a Timestral, felülmúlja a Google-t

A Timestral modellek a legfrissebb hírek szerint a GIFT-Eval, TIME és fev-bench benchmarkokon is kiemelkedő eredményeket értek el. A 209M-es modell a Google TimesFM-3 és a Falcon-2.0 modelleket is maga mögé utasította kevesebb paraméterrel. A 28M-es változat pedig a Chronos-2 modellt múlja felül, amely hozzávetőleg négyszer nagyobb. (MarkTechPost)

Benchmark-eredmények és versenytársak

A Timestral egy idősoros alapmodell (TSFM), amelyet nagy és változatos adathalmazon tanítottak be. Képes olyan adatokon is előrejelzéseket készíteni, amelyeket korábban nem látott. Ezzel szemben a hagyományos eszközök, mint az ARIMA, általában csak egy-egy sorozatot tudnak kezelni, míg a PatchTST mélytanulási modellek általában minden új adatkészleten a nulláról indulnak.

Technikai architektúra és paraméterek

A Timestral négy fő technikai újítást vezet be: a leválasztott horizont-előrejelzést (DHF), amely lehetővé teszi a tanult előrejelző tokenek számára, hogy a teljes előzményt olvassák; a kovariánciára érzékeny figyelmet, amely megakadályozza a jövőbeli adatszivárgást; a szintetikus adatokra épülő tanítást, amely trendeket, szezonalitást és nemlineáris kapcsolatokat is figyelembe vesz; valamint egy kétlépcsős tanítási folyamatot.

A 209M-es modell 837 MB helyet foglal FP32 formátumban, és akár 32 768 időlépéses kontextust is képes kezelni. Egyetlen előrehaladás akár 1024 lépést is előrejelezhet. Hosszabb távú előrejelzésekhez blokkokban dolgozik, és minden blokk mediánját használja fel a következő kontextusaként.

A Mistral AI nyílt súlyokkal és inference kóddal teszi elérhetővé a Timestral modelleket, lehetővé téve a fejlesztők számára, hogy valószínűségi előrejelzéseket futtassanak standard CPU-kon. A legmagasabb pontszámot a fev-bench SQL teszten érte el 50,39-es értékkel, ami magasabb, mint a TimesFM-3 48,99-es eredménye.