Az Anthropic új funkciója felgyorsítja a Claude válaszait, 35%-kal csökkenti a várakozási időt
Az Anthropic új béta funkciója, a message threads, 35%-kal csökkenti a válaszidőt a Claude API-ban hosszú ülések esetén, miközben az árak és kvóták változatlanok maradnak.
Az Anthropic bejelentette a message threads nyilvános béta verziójának elérhetőségét a Claude API-hoz. Az új funkció lehetővé teszi az AI-agentek számára, hogy a teljes beszélgetést csak egyszer küldjék el, majd utána csak az új üzeneteket. Ez az Anthropic szerint körülbelül 35%-kal csökkenti a várakozási időt a Claude válasza előtt, különösen hosszú ülések esetén. (TNW)
A fejlesztők által épített AI-agentek korábban minden kérésnél az addigi teljes beszélgetést elküldték. Amikor ez a történet több százezer tokenre nőtt, a teljes tartalom újraküldése jelentős késedelmet okozott, mielőtt a Claude elindította volna a válaszadást. Az új threads funkcióval az agent egyszer küldi el a teljes beszélgetést, majd utána csak az új üzeneteket és Claude utolsó válaszának azonosítóját. Az Anthropic már a Claude Code, a cég kódgeneráló agentjének legtöbb felhasználója számára bekapcsolta a funkciót.
Gyorsabb válaszok, változatlan költségek
Az 500 000 és 1 millió token közötti kérések esetén a válaszidő körülbelül 35%-kal csökkent — állítja az Anthropic. A funkció elsősorban az időt takarítja meg, nem a pénzt, mivel a Claude továbbra is a teljes beszélgetést dolgozza fel minden fordulóban. Az árak és a sebességkorlátok változatlanok maradtak. Az Anthropic szeptemberben egyébként 75%-kal csökkentette a gyorsítótár (cache) árait, mivel a hosszú ügynökülések növelik az AI-számlákat.
Biztonság és elérhetőség
A threads memóriában tárolódnak, titkosítva vannak, és soha nem íródnak le lemezre. Öt perccel az utolsó kérés után lejárnak, így a fejlesztőknek saját másolatot kell készíteniük minden beszélgetésről. Az Anthropic közölte, hogy a threads nem jogosultak a cég nulla adatmegőrzési vagy HIPAA egészségügyi adat-beállításaira. A béta verzió minden Claude modellen elérhető, az Anthropic saját platformján, valamint az AWS, a Microsoft Foundry és a Google Cloud felhőin keresztül. A funkció az Opus 5.5 modell szeptemberi kiadását követi.