Flint több mint 150 token/másodpercet generál RTX Spark-on
Az Apple M4 Pro-n 125 token/másodperc, az Nvidia RTX Spark-on 150 token/másodperc a Flint modellnek — a helyi kódolás sebessége ezzel meghaladja a hasonló méretű sűrű modelleket.
A Flint 40 milliárd paraméteres, 2,5 milliárd aktív paraméterrel működik tokenenként, ami a modell hatékonyságát növeli — írja a The Decoder.
Mire képes a Flint modell
A Recursive szerint a Flint az SWE-Bench Pro v2, Terminal-Bench 2.1 és SWE-Bench Verified benchmarkokon a legjobb eredményt érte el az 50 milliárd paraméter alatti MoE modellek között, miközben a 125–150 token/másodperc sebességgel meghaladja a hasonló méretű sűrű modelleket.
Fejlesztés és automatizáció
A modell négy hónap alatt készült, köszönhetően a Recursive belső AI-rendszerének, az Eureka Machine-nek, amely önállóan javasolta, építette és tesztelte a változatokat, beleértve az architektúra- és kvantálási döntéseket.
Az Eureka Machine négy bites kimeneti réteggel kvantálta a modellt, és speciális számítási magokat hozott létre az Apple Silicon (M4, M5) és az Nvidia RTX Spark platformokra; ez teszi lehetővé a 125-150 token/másodperc gyorsaságot.
A Flint nyílt forráskódú, Apache 2.0 licenc alatt érhető el a Hugging Face-on, támogatja az 512 000 tokenes kontextusablakot, és futtatható llama.cpp, Ollama, LM Studio, vLLM és SGLang környezetekkel, továbbá a Recursive saját rec inferencia-motorja optimalizálja az Apple Silicon-on való futtatást.
A modell nagyobb, összetett feladatoknál több irányítást igényel, ezért a Recursive javasolja a feladatok kisebb lépésekre bontását; a startup 2026. májusban került a nyilvánosság elé, és 650 millió dolláros befektetést kapott a 4,65 milliárd dolláros értékelés mellett.