Saját GPU-kból épít OpenAI-kompatibilis API-t a Mesh LLM

A Mesh LLM egy új megoldás, amely lehetővé teszi a felhasználók számára, hogy saját GPU-ikat és memóriájukat egy hálózatba kapcsolva, egyetlen OpenAI-kompatibilis API-ként használhassák fel nagy nyelvi modellek futtatására. A rendszer célja, hogy decentralizált alternatívát kínáljon a hagyományos, felhőalapú AI-szolgáltatásokkal szemben, több kontrollt és alacsonyabb költségeket biztosítva. (Hacker News)

A technológia az iroh nevű könyvtárra épül, amely egy decentralizált hálózatot hoz létre. Minden csomópont egy iroh végpontot futtat, amely nyilvános kulcsú azonosítóval rendelkezik. Az iroh kezeli a NAT-traversal-t és a QUIC-kapcsolatokat, így központi szerver nélkül is képes közvetlen, hitelesített kommunikációt biztosítani a csomópontok között. Két iroh relé biztosítja a redundanciát és a kapcsolódási lehetőséget olyan esetekben is, amikor a csomópontok nem tudnak közvetlenül kommunikálni.

Kapcsolódó: AI homelab gyorsítása

A modellfutás technikai megvalósítása

A Mesh LLM jelenleg több mint 40 különböző modellt támogat, a laptopokon elférő félmilliárd paraméteres modellektől kezdve a 235 milliárd paraméteres mixture-of-experts óriásokig. A nagyobb modellek esetében a „Skippy” nevű funkció rétegek szerinti felosztással több gépen futtatja a modellt, amelyek egymásnak továbbítják az adatokat. Az OpenAI kliens mindezt nem érzékeli, továbbra is csak a localhost-tal kommunikál.

Kapcsolódó: Saját LLM építése

A telepítés és jövő tervei

A rendszer telepítése egyszerű, a szoftver mindössze 18 MB. A felhasználók csatlakozhatnak a nyilvános hálózathoz, vagy privát telepítéseket is konfigurálhatnak. A tervek között szerepel egy mobilalkalmazás kiadása is, amely az iroh Swift SDK-jára épül, és az ACP (Agent Communication Protocol) szabványt is támogatni fogja.

Kapcsolódó: AI modellek Ruby API-n keresztül

A Mesh LLM a peer-to-peer megközelítést erősíti, csökkentve a zárt szerverek és a gyártó lock-in hatását. A projekt nyílt forráskódú, és már több százezer eszközön fut élesben.

Kapcsolódó: AI modellek specifikációi