Otthoni AI-központot épít jdagostino használt GPU-kból
Egy fejlesztő használt AMD V620 GPU-kat és karanténalkatrészeket használt fel otthoni AI-szerver építéséhez, elkerülve a felhőszolgáltatásokat. A cél egy személyes, vezérelhető AI-kódolási asszisztens létrehozása.
A fejlesztő nem bízik a felhőszolgáltatásokban, saját, otthoni AI-adatközpontot szeretne létrehozni. A számítógépalatrészek jelenlegi hiánya és a költséghatékonyság miatt a rendszer építéséhez „szemétből” és használt komponensekből kell kiindulnia. (Hacker News)
GPU-k e-hulladékból
A fő szükséglet a nagy teljesítményű GPU-k beszerzése, amelyek párhuzamos mátrixműveleteket végeznek. Mivel az AI-munkaterhelésre alkalmas hardverek jelenleg rendkívül drágák, jdagostino használt AMD V620 GPU-kat vásárolt eBay-en e-hulladék-viszonteladóktól.
Ezek a kártyák eredetileg a felhőalapú játékokhoz készültek, de a technológia megbukott a késleltetési problémák miatt. Az AMD V620-asoknak nincs kimenetük, és szerverhűtést igényelnek, de 32GB VRAM-mal rendelkeznek. A fejlesztő szerint ezek a kártyák „tulajdonképpen újszerűnek” tűnnek, és bár rossz hírük van az AI-feladatok terén, olcsón beszerezhetők voltak.
Az alaplap és a CPU
A GPU-k összekötéséhez egy X299-es platformú alaplapot használt fel, amelyen négy PCIe x16 foglalat található, elegendő helyet biztosítva négy GPU egymás mellé helyezéséhez. A processzor egy Intel Core i9 10900X, amelyet a fejlesztő a valaha volt legrosszabb Intel CPU-nak tart. Ez a chip az AMD Ryzen processzoraihoz képest elavult volt, de pont emiatt most olcsó.
Memória, tápellátás és hűtés
Az RAM-ot és az SSD-t más számítógépekből mentette át. A tápellátáshoz egy 1600W-os tápegységet választott, amely elegendő négy GPU és a processzor együttes indításához. Mivel a GPU-knak nincs saját ventilátoruk, a fejlesztő egyedi hűtési megoldást tervezett: 3D-nyomtatott burkolatot készített, amely két 80mm-es, 10 000 RPM-es szerverventilátort rögzít két kártyához. Ezek a ventilátorok rendkívül hangosak.
Üzembe helyezés és tesztelés
A rendszer első indításakor BIOS-beállításokat kellett módosítani (Resizable BAR és MMIO High Size engedélyezése), hogy mind a négy GPU felismerésre kerüljön. Ubuntu telepítése után jdagostino a llama.cpp inference szerverrel tesztelte a Gemma4 modellt, amely egy kártyán kényelmesen elfér. Ezután kipróbálta a Deepseek V4 Flash modellt, amely bár lassú volt, elfér a rendszeren. A ventilátorok hangja miatt a fejlesztő fülvédőt viselt az üzembe helyezés során.