Az Nvidia ingyenes eszköze helyi AI-szuperkomputert épít otthoni gépekből

Az Nvidia bemutatta új, Personal AI Router (PAIR) nevű ingyenes eszközét, amely összekapcsolja az otthoni számítógépeket helyi AI-inferencia feladatok futtatására. A szoftver az Ollama és az LM Studio eszközeivel dolgozik együtt, és az inaktív gépek számítási kapacitását használja ki, hogy ne zavarja a felhasználó éppen futó munkáját. (The Verge)

A PAIR nem egy fizikai router, hanem egy nyílt forráskódú szoftver. Az eszköz felismeri a hálózaton található kompatibilis számítógépeket, összekapcsolja őket, és felkészíti őket az AI-munkafolyamatok futtatására.

Bár elsősorban Nvidia GeForce RTX 20-as sorozatú vagy újabb GPU-kkal, RTX Pro GPU-kkal és DGX Spark rendszerekkel működik, az Apple M4 vagy újabb chipjeivel szerelt gépek is támogatottak. Az alulhasznált számítási kapacitás kihasználása különösen hasznos lehet az összetett feladatokat kisebb részekre bontó ügynökalapú munkafolyamatokban, mivel ez csökkenti az egyetlen GPU-ra nehezedő terhelést.

Seth Schneider, az Nvidia termékmenedzsere becslése szerint egy több géppel rendelkező háztartás akár 165 teraflops alulhasznált számítási kapacitással is rendelkezhet. Ez az energiafogyasztás figyelembevételével is „kincsesbánya” – fogalmazott Schneider. A PAIR biztonságát egy hatjegyű párosító kód és a kétirányú, titkosított kommunikációt biztosító mTLS (mutual Transport Layer Security) garantálja.

A PAIR béta verziója már elérhető Windows, Linux és macOS rendszereken. Az Nvidia emellett bejelentette, hogy három népszerű AI-ügynök alkalmazás – a Perplexity Portable Computer, a Hermes Agent és az OpenClaw – Windows alatt egyszerűsített, helyi telepítést tesz lehetővé Nvidia GPU-kkal, mindössze néhány kattintással.