Az NVIDIA új Rust proxy-ja kezeli a több LLM közötti forgalmat

Az NVIDIA bemutatta a Switchyard nevű Rust proxy-t és könyvtárat, amely az LLM-forgalom kezelésére szolgál. A megoldás képes az OpenAI és az Anthropic API-k közötti fordításra, valamint az operatív metrikák rögzítésére. A szoftver Apache 2.0 licenc alatt érhető el, dokumentációja a docs.nvidia.com/nemo/switchyard címen található. (MarkTechPost)

A Switchyard célja, hogy hidat képezzen a különböző LLM-szolgáltatók között, megoldva azt a problémát, hogy a kódolási ügynökök gyakran eltérő API-kat használnak. Például a Claude Code az Anthropic Messages API-t, míg a Codex CLI az OpenAI API-t használja. Ha egy csapat egy adott modellre szeretne építeni, de az más API-n keresztül érhető el, a Switchyard átveszi a fordítási feladatot.

Hogyan működik a Switchyard?

A kliensek megtartják a saját API-jukat. A Switchyard dekódolja a beérkező kérést szolgáltató-semleges Rust típusokká, majd egy útválasztási algoritmus segítségével kiválasztja a megfelelő backendet. Ezt követően a kérést a kiválasztott backend saját formátumára kódolja, elküldi, majd a válaszokat, beleértve a streameket is, a kliens által elvárt formátumba fordítja. A szerver három bejövő formátumot fogad el: OpenAI Chat Completions, OpenAI Responses és Anthropic Messages. Ezek bármelyike bármelyik útvonalat célozhatja, és minden konfigurált LLM-kliens a saját upstream formátumát választja.

Útválasztási algoritmusok és telepítés

A Switchyard négyféle útválasztási típust támogat: passthrough (minden kérést egy célhoz küld), random (véletlenszerűen osztja el a forgalmat súlyozással), llm_classifier (egy osztályozó célhívásával dönt a gyenge vagy erős cél kiválasztásáról) és stage_router (eszközeredményeket és ügynöki haladási jelzéseket használva választ célt).

A szoftver telepíthető binárisan a crates.io-ról vagy launcherként a PyPI-ról. Az NVIDIA pre-alpha és kísérleti státuszba sorolta a Switchyard-ot, figyelmeztetve, hogy nem alkalmas éles használatra, és az API-k, valamint algoritmusok jelentősen változhatnak a v1.0 előtt. Az eszköz Prometheus metrikákat is exponál az OpenTelemetry-n keresztül.

A Switchyard a fejlesztők és AI-csapatok számára értékes eszköz lehet, különösen azok számára, akik több LLM-platformot használnak. Az NVIDIA tervei szerint a szoftver segíti a rugalmasabb és hatékonyabb LLM-integrációt, bár a jelenlegi kísérleti státusz miatt óvatos megközelítést igényel. A projekt jelenlegi verziója a v1.0 előtti fázisban van.