Titkosított számítási infrastruktúrát vezet be az NVIDIA, hogy védje az AI-modelleket

Az NVIDIA bejelentette titkosított számítási megoldásainak bővítését, új lehetőségeket teremtve a legfejlettebb AI-modelleket fejlesztők számára. Az új Confidential Bare Metal opció lehetővé teszi a felhasználók számára, hogy érzékeny munkaterheléseiket dedikált, harmadik féltől származó infrastruktúrán futtassák, miközben teljes körűen ellenőrzik modelljeiket és adataikat. Az NVIDIA új platformbiztonsági vezérlőket is bevezet, amelyek védik az adatokat szállítás közben, mérik a platform integritását és hardveres szintű hozzáférési korlátozásokat érvényesítenek — közölte az NVIDIA Blog.

A Confidential Bare Metal az NVIDIA titkosított számítási portfóliójának legújabb eleme, amely a korábbi Confidential Containers és Confidential Virtual Machines mellett kínál új lehetőséget. Ez a megoldás lehetővé teszi a fejlesztők számára, hogy saját szoftver stackjüket futtassák NVIDIA gyorsított számítási infrastruktúrán, függetlenül attól, hogy az harmadik féltől származó felhőben, neocloudban vagy vállalati infrastruktúrán üzemel. Az NVIDIA Grace Blackwell és Rubin rendszerekre is kiterjesztett támogatás, valamint az NVIDIA DSX OS-sel való integráció tovább erősíti a kínálatot.

A Cohere már tervezi a Confidential Bare Metal integrálását a Model Vault platformjába, kihasználva az NVIDIA titkosított számítási környezeteit a GPU-alapú modellek és adatok védelmére. „A vállalatok megbíznak a Cohere-ben, hogy biztonságos és bizalmas platformot biztosítunk a következtetéshez” — mondta Phil Blunsom, a Cohere technológiai igazgatója. „Az NVIDIA titkosított számítási megoldásaival a Cohere Model Vaultban hardveralapú biztonságot nyújtunk közvetlenül a GPU-nak, védve az ügyféladatokat memóriában és az összeköttetéseken keresztül a végrehajtás során.”

A Google Cloud is támogatja a Confidential Bare Metal megoldást az NVIDIA GB300 NVL72 rendszerekkel működő A4X Max példányain. „A Google Cloud a Confidential Bare Metal megoldást kínálja az AI-laborok számára hardveresen izolált, nem virtualizált számítási környezetekkel és végponttól végpontig tartó titkosítási védelemmel” — nyilatkozta Andrés Lagar-Cavilla, a Google Cloud vezető mérnöke. „Az NVIDIA titkosított számítási megoldásaival épített A4X példányaink megőrzik a felhasználói adatok magánéletét, védik a modell szellemi tulajdonát, és csúcsminőségű kiszolgálási teljesítményt nyújtanak.”

Az NVIDIA titkosított számítási megoldásai immár az NVIDIA Grace Blackwell NVL72 és az x86-alapú NVIDIA HGX Rubin NVL8 és NVIDIA DGX Rubin NVL8 rendszereket is támogatják. Számos partner, köztük a CoreWeave, a Firmus, a GMI Cloud, a Google Cloud, az IREN, a Lambda, a Microsoft Azure Infrastructure, a Nebius, az Nscale és a Vultr, támogatja az NVIDIA titkosított számítási telepítéseket, míg globális rendszerszintű partnerek, mint a Cisco, a Dell Technologies és a HPE, ezeket a képességeket NVIDIA-minősített rendszerekkel egészítik ki.