Gyorsabb, olcsóbb AI-keresést épít a Box az Nvidia Nemotronjával

A Box csütörtöki fejlesztői konferenciáján bemutatott egy új funkciót, amely az Nvidia Nemotron beágyazási rendszerét építi a termék magjába. A Box Content Retrieval nevű szolgáltatás a Nemotron által létrehozott beágyazott metaadatokra támaszkodva teszi lehetővé, hogy az agentek hatékonyabban válaszoljanak a lekérdezésekre. A Box szerint a felhasználók gyorsabb, pontosabb és olcsóbb válaszokat kapnak – írja a TechCrunch.

Kari Briski, az Nvidia generatív AI szoftverekért felelős alelnöke a TechCrunchnak azt mondta, hogy a lekérdezések várhatóan négyszer gyorsabban futnak le, 20%-kal kevesebb hibát vétenek és 90%-kal kevesebb tokent használnak fel. Ezek a számok a várakozást tükrözik, nem független méréseket.

Hogyan működik a rendszer

Aaron Levie, a Box vezérigazgatója szerint a funkció alapjaiban változtatja meg a keresést: az agentnek nem kell minden dokumentumot végigolvasnia, a rendszer a lekérdezéshez vagy a feladathoz leginkább illő részleteket küldi vissza. A Nemotron beágyazásai a kulcsszavak helyett mögöttes fogalmakat térképeznek fel, így a keresőeszköz akkor is megtalálja a kapcsolódó jogi témákat, ha a megfogalmazás vagy a nyelv más.

A funkció az Nvidia Nemotron Embed projektjére épül, amely nyílt súlyú beágyazási modelleket kínál az automatizált keresőrendszerekhez. A Nemotron modellek szabadon elérhetők, a rendszer azonban nagymértékben támaszkodik a Box meglévő metaadat- és jogosultságkezelésére, ezért azt nehéz lenne nulláról újraépíteni. Levie szerint ez egyetlen egyszerű API-ba sűríti több technológia munkáját.

Kinek és mikor

A funkció a Box Enterprise Advanced ügyfelei számára lesz elérhető, a bevezetés a jövő év elején kezdődik. A Box szerint különösen aktív agentek mellett lesz hasznos; például ügyvédek gyorsabban találhatnak meg releváns záradékokat és korábbi precedenseket. A Nemotron a júliusi kiadásával az RTEB teljesítményteszten, amely a visszakeresés minőségét méri, az élre került.