3499 dolláros AI-géppel csökkenti a felhőköltségeket a Ghost

A fejlesztők, akik naponta futtatnak AI-ügynököket, jelentős API-használati díjakat halmozhatnak fel. A Ghost arra fogad, hogy egyesek inkább fizetnek 3499 dollárt előre egy olyan számítógépért, amely helyben dolgozza fel az AI-kéréseket, csökkentve ezzel a felhőszolgáltatásoktól való függőséget.

A startup október 5-én lépett ki az ismeretlenségből, 11 millió dollárnyi seed-finanszírozást gyűjtve, Andreessen Horowitz vezetésével. Új terméke, a Core, egy képernyő nélküli, személyi AI-számítógép, amelyet arra terveztek, hogy dedikált hardveren futtasson nyelvi modelleket és ügynököket. Az, hogy képes-e helyettesíteni a meglévő AI-előfizetéseket, attól függ, mennyi fizetett felhőhasználatot tudnak a felhasználók helyi modellekre átvinni — közölte a The Neuron.

Mennyit ér 3499 dollár?

A Core egy NVIDIA RTX PRO 4000 Blackwell SFF Edition GPU-n fut, 24 GB dedikált GDDR7 memóriával. Tartalmaz továbbá egy AMD Ryzen 5 7600 processzort és 64 GB DDR5 rendszermemóriát, valamint egy 1 TB-os SSD-t a helyi tároláshoz. A GPU memóriája határozza meg, mely modellek futtathatók teljes egészében a grafikus kártyán, míg nagyobb modellek esetén kompromisszumokat kell kötni a pontosság vagy a feldolgozási sebesség terén.

A Ghost beállítási útmutatója szerint a felhasználók egy, a helyi hálózatukon futó kísérőalkalmazáson keresztül párosítják a Core-t egy számítógéppel. Onnan kiválaszthatnak egy AI-modellt, és csatlakoztathatnak információforrásokat, például e-maileket vagy dokumentumokat. A Ghost szerint szoftverük ezt az információt használja fel állandó memória építésére, így az ügynökök emlékezhetnek korábbi interakciókra, és csatlakoztatott fiókokon keresztül feladatokat hajthatnak végre.

A fejlesztők számára az OpenAI Responses API-val való kompatibilitás lehetővé teheti, hogy a meglévő alkalmazások helyi modelleknek küldjenek kéréseket a felhőszolgáltatók helyett. Az API-kompatibilitás azonban nem garantálja az összes funkció vagy alkalmazás támogatását.

Milyen gyors a Ghost Core helyi AI-ja?

A Ghost azt állítja, hogy a Core több mint 87 tokent generál másodpercenként a Qwen 3.8-27B, egy 27 milliárd paraméteres nyelvi modell használatával. A tokenek a szöveg egységei, így az érték azt jelzi, milyen gyorsan állít elő választ a modell a generálás megkezdése után.

A jelentett teljesítményteszt még nem kapott független megerősítést. A közzétett leírásból fontos tesztelési részletek is hiányoznak, beleértve a modell kvantálását és a prompt hosszát, amelyek mind befolyásolhatják a teljesítményt. A kimeneti sebesség csak az ügynök munkájának egy részét méri.

Egy olyan feladat, amely több lépéses érvelést vagy külső eszközök hívását igényli, lényegesen tovább tarthat, mint egy egyszerű szöveges válasz. Független értékeléseknek mérniük kellene a feladatok teljesítését és a pontosságot, hogy megállapítsák, hogyan viszonyul a Core a felhőben üzemeltetett alternatívákhoz.

Megtakaríthat a helyi AI pénzt?

A helyi következtetés kiküszöböli a tokenenkénti API-díjakat az olyan kérések esetében, amelyeket teljes egészében a Core-on dolgoznak fel. Azoknak a fejlesztőknek, akik rendszeresen fizetnek a nagy mennyiségű modellhasználatért, ezek az elkerült díjak végül megtéríthetik a számítógép vásárlási árát.

Vegyen figyelembe két hipotetikus forgatókönyvet. Ha a Core havi 200 dollár API-díjat váltana ki, a 3499 dolláros vásárlás nagyjából 18 hónap alatt térülne meg. 100 dollár havi díj mellett a visszatérítési időszak körülbelül 35 hónapra hosszabbodna. Egyik becslés sem tartalmazza az áram- vagy karbantartási költségeket, és mindkettő feltételezi, hogy a Core képes helyettesíteni a fizetett használat teljes összegét.

A fix árú előfizetések más számítást jelentenek. Egy hipotetikus havi 20 dolláros chatbot-előfizetés törlése 240 dollárt takarítana meg évente, így a Core vásárlási árának megtérülése közel 15 évig tartana az üzemeltetési költségek előtt. Azok a felhasználók, akik továbbra is ugyanazt a felhőcsomagot fizetik, nem tapasztalnak csökkenést ezen az előfizetési számlán, még akkor sem, ha helyben dolgoztak fel néhány kérést.

A modell teljesítménye tovább bonyolítja a gazdasági számításokat. Egy helyi modell elegendő lehet dokumentum-összefoglalókhoz, de további javításokat igényelhet komplex kód hibakeresésekor vagy több lépéses elemzés elvégzésekor. Ha a felhasználóknak nehéz kéréseket kell visszaküldeniük fizetős felhőmodellekhez, tényleges megtakarításuk alacsonyabb lesz.

A gyakori API-felhasználók számára a Core alternatívát kínálhat a visszatérő következtetési díjak helyett. Az alkalmi chatbot-felhasználók számára a kezdeti hardverköltség felülmúlhatja az éves előfizetési díjakat.

A helyi AI adatvédelmi előnyöket kínál, korlátokkal

A modellek helyben történő futtatása csökkentheti a külső AI-szolgáltatóknak továbbított személyes információk mennyiségét. A Ghost adatvédelmi irányelvei szerint a beszélgetések és a memória-feldolgozás a Core-on marad, és a vállalat nem használ távoli AI-modelleket ezeknek a funkcióknak a helyettesítésére.