ÉlőUtoljára: 1 perceMa: 4
Alkalmazásokfrissítve: 01:15

Csak akkor tölti be az eszközöket a Gemini API, amikor szükség van rájuk

A Tool Retrieval funkció csak akkor tölti be az eszközök paraméterséméit, amikor a feladat ténylegesen szükségli, így kisebb lesz a bemeneti tokenszám és a késleltetés.

Csak akkor tölti be az eszközöket a Gemini API, amikor szükség van rájuk
Fotó: James Harrison / Unsplash
forrás: Google AI Blog·AI Forradalom szerk.·
Megosztás

A Google előzetes (preview) állapotban bevezette a Tool Retrieval funkciót a Gemini API Interactions felületén, amely a nagy eszközkönyvtárakkal dolgozó AI-agenteknek segít. A cég közlése szerint a rendszer nem küldi el minden kérésben a teljes eszközkészletet, hanem az eszközök paraméterségémáit csak akkor tölti be, amikor a modell kéri őket — a Google AI Blogja írja.

A problémát a nagy eszközszám okozza. Ha egy agent tucatnyi vagy akár több száz eszközhöz fér hozzá, minden kérésben elküldött teljes paraméterséma gyorsan növeli a bemeneti tokenek számát, lassítja a választ, és a jelöltlista bővülésével rontja az eszközválasztás pontosságát. A Tool Retrieval ezt úgy kezeli, hogy az agent a teljes könyvtárat „készenléti” állapotban tartja, a konkrét feladathoz pedig csak a szükséges részleteket tölti be.

Hogyan működik

A funkció bekapcsolásához a kérésbe egy tool_search eszközt kell felvenni, a visszatartani kívánt eszközöknél pedig a defer_loading: true beállítást kell megadni. A modell így is látja minden halasztott eszköz nevét és leírását, de a paraméterségémák nem kerülnek a kontextusba. Amikor a modellnek szüksége van egy eszközre, név szerint kéri azt; az API betölti a teljes sémát, és a modell ugyanabban a kérésben hívja meg a függvényt.

A Google példájában egy visszatérítési eszköz (issue_refund) szerepel, amelyet a modell egyetlen API-hívásban keres meg, betölt és meghív. A három lépés — a keresés, a séma betöltése és a függvényhívás — megjelenik az interaction.steps mezőben, így a fejlesztők nyomon követhetik, mely eszközöket vette figyelembe a modell. A Google szerint a keresés a szerveroldalon fut, így indexet nem kell építeni vagy üzemeltetni; a kódban csak az új eszközt és a halasztási jelzőt kell hozzáadni.

A cég szerint a gyakran használt eszközök betöltve maradhatnak, a ritkábbakat pedig érdemes halasztani. A funkció együtt működik a prefix-gyorsítótárazással is: a halasztott sémák nem kerülnek a prompt elejére, így a gyorsítótárazott előtag a fordulók között változatlan marad. Távoli MCP-szerverekkel is használható: ha az mcp_server eszköznél van defer_loading: true, a szerver minden eszközét igény szerint tölti be a rendszer.

Saját eszközregiszter esetén

Aki saját eszközregisztert, beágyazási indexet vagy felhasználónkénti jogosultsági szűrést használ, a tool_search eszközt "execution": "client" beállítással deklarálhatja. Ebben az esetben a keresést az alkalmazás futtatja, ami kérésenként egy plusz körutazást jelent. Ilyenkor az eszközöket nem kell előre deklarálni, így új eszközök is elérhetők lehetnek a beszélgetés közben, például amikor a felhasználó egy új integrációt csatlakoztat.

Árazás és támogatott modellek

A Tool Retrieval-nak nincs külön díja: a bemeneti és kimeneti tokenek a hívott modell szokásos díjai szerint számlázódnak. A tool_search bekapcsolása kis, fix mennyiségű bemeneti tokent ad hozzá, a modell által betöltött sémák pedig a beszélgetés hátralevő részében bemenetként számítanak — ugyanúgy, mint az előre deklarált eszközök.

A megtakarítás akkor jelentkezik, ha a sosem betöltött sémák mennyisége meghaladja a betöltöttekét, ami nagy könyvtáraknál jellemzően így van. A Google szerint érdemes a saját forgalmon mérni az eredményt. A funkció a Gemini 3.6-tól kezdődő modellekkel működik, beleértve az összes Gemini 4 modellt, az Interactions API-ban.

A dokumentáció és a példakódok a Google fejlesztői felületén érhetők el; a Google a Discord-csatornáján gyűjti a visszajelzéseket. A funkció előzetes állapota miatt a viselkedés és az elérhetőség még változhat, a Google pedig a Gemini 4 modelleket említi a támogatottak között.

Háttér: Gemini magyarul: mi fér bele az ingyenes keretbe

tetszett a cikk? oszd meg →
Megosztás

Tetszik az oldal? Támogasd a fejlesztést

Az AI Forradalom egy automatizált pipeline: napi adatgyűjtés, LLM-feldolgozás és infrastruktúra fenntartása valódi költségekkel jár. Ha értékesnek találod a tömör, naprakész AI-összefoglalókat, egy kávé sokat segít.

☕ Támogatom