Költséghatékonyabb AI-ügynököket ígér az AWS nyílt forráskódú eszköze

Az AWS Strands Agents Team bemutatta a Strands Harness nevű, nyílt forráskódú keretrendszert, amely a nagy nyelvi modellek (LLM) futtatásának költségeit hivatott csökkenteni. A csapat közlése szerint a keretrendszer 28%-kal alacsonyabb tokenköltséget eredményezhet a versenytársakhoz képest, miközben a pontosság megközelítőleg azonos marad a legnépszerűbb modellek, mint a Claude vagy a GPT esetében – írja a MarkTechPost.

A Strands Harness egy általános célú ügynök-keretrendszer, amely helyileg vagy felhőszolgáltatóknál futtatható. Python és TypeScript nyelveken érhető el Apache 2.0 licenc alatt, és egyetlen kódsorral indítható. A rendszer célja, hogy hidat képezzen az ügynökök prototípusainak fejlesztése és a production környezetbe való integrációja között. A keretrendszer alapértelmezett beállításokkal rendelkezik a hurok, az eszközök, a kontextuskezelés, a memória és a hibaelhárítás terén.

Hatékonyság és pontosság

A Strands Agents csapat által végzett elosztott teljesítményteszt tesztek alapján a Strands Harness 28%-kal alacsonyabb költséget ért el hat különböző teljesítményteszten, miközben a pontosság „közel azonos” maradt. A tesztek során olyan modelleket használtak, mint a Claude Opus 5, amely a Strands Harness-szel közel 85%-os pontszámot ért el. A Terminal-Bench 2.1 teszten a Claude Fable 5 modellel futtatva a Strands Harness 77%-kal kevesebbe került, mint a Claude Code, miközben magasabb pontszámot ért el.

A költséghatékonyság hajtóerői

A hatékonyság főként a prompt caching és a kontextuskezelési alapértelmezéseknek köszönhető. A rendszer automatikusan 1500 token felett csonkolja az eszközök eredményeit, és 85% feletti kontextushasználat esetén elindítja a tömörítést. A kontextushelyreállítás a hurokban fut, ha az ablak túlcsordul. Ezek a mechanizmusok jelentősen hozzájárulnak a tokenhatékonysághoz és a pontossághoz.

Elérhetőség és használat

A Strands Harness telepítése pip install strands-harness vagy npm install @strands-agents/harness paranccsal végezhető el. A felhasználók közvetlenül választhatnak modellt, vagy mutathatnak a helyi Ollama modellekre. A rendszer támogatja az Amazon Bedrock, Anthropic, OpenAI, Google, Ollama és LiteLLM platformokat. A Strands CLI segítségével pedig egyszerű angol nyelvű parancsokkal prototipizálhatók ügynökök, amelyek végül Python vagy TypeScript kóddá exportálhatók.