GPT-6 új gyorsítótár-rendszere csökkenti a válaszidőt és a költségeket
Az OpenAI GPT-6 új prompt-cache rendszere magasabb találati arányt, 30 perces kedvezményablakot és új fejlesztői eszközöket kínál a gyorsabb és olcsóbb működéshez.
A rendszerhez új eszközök is érkeztek: a Prompt Caching Dashboard és a prompt caching diagnostics tool segítik a fejlesztőket a gyorsítótár teljesítményének monitorozásában, a hibák diagnosztizálásában és a gyorsítótár optimalizálásában. Mario Rodriguez, a cég termékvezetője szerint a prompt-cache használatával több mint 50%-kal csökkent a friss feldolgozást igénylő tokenek aránya a GitHub Copilot esetében.
Fejlesztői lehetőségek és beállítások
A fejlesztők mostantól explicit cache breakpointokat használhatnak, hogy kiválaszthassák, mely előzményeket ismételnének meg. A GPT-6 modelleken a „reasoning effort” is állítható anélkül, hogy a gyorsítótár megtörne. Az OpenAI útmutatója részletezi, hogyan lehet a gyorsítótárat stabilan tartani a változó eszközök és utasítások mellett, illetve hogyan lehet előmelegíteni a gyorsítótárat a válaszidő csökkentése érdekében.
Implementáció és költségmegtakarítás
A felhasználói visszajelzések alapján a rendszer jelentős költségcsökkentést hoz. A Strawberry Browser, a Manus és a Wordsmith nevű alkalmazások is sikeresen implementálták az új funkciókat, amelyek révén a cache hit rate 83-85%-ról 90% fölé emelkedett, csökkentve az inferenciás költségeket.