Kinference néven nyílt forráskódú vezérlősíkot adott ki a Buoyant

A Linkerd mögött álló Buoyant kiadta a Kinference nevű nyílt forráskódú projektet, amely inferencia-vezérlősíkot ad a Kubernetes és a vLLM köré. A rendszer a vLLM-munkafolyamatok előtt ül, és eldönti, melyik kérés hova kerül. Egy rétegben kezeli a routing-szabályokat, a tokenkorlátokat, a KV-cache-tudatos terheléselosztást és a bérlőnkénti metrikákat – írja a MarkTechPost.

A projekt Apache 2.0 licenc alatt érhető el a GitHubon, jelenlegi verziója a v0.1.0-alpha.7. Rustban íródott, és öt Kubernetes CRD-n keresztül konfigurálható. Azoknak a csapatoknak szól, amelyek több belső ügyfélnek szolgálnak ki sok, nyílt súlyú modellt.

Hogyan működik

A rendszer két részből áll: egy forgalomkapuból és egy inferencia-kezelőből. A kezelő gRPC-felületet biztosít, amely a kéréshez a kiválasztott végpontot és adott esetben a módosított törzset adja vissza. A kapu oldalán a Buoyant Gateway szolgál párként. A Kinference a vLLM KV-cache-eseményeit és motormetrikáit figyeli, a cache-események feldolgozásához pedig jelenleg az NVIDIA dynamo-kv-router crate-jét használja.

A szabályok deklaratívak: tenant, kért modell, GPU-készlet állapota és szemantikai címkék alapján döntenek. A projekt oldala öt mintát mutat be. Az egyik szerint az egyszerű utasítások kisebb modellhez kerülnek, kivéve, ha a cache-átfedés a nagy modellt gyorsabbá teszi. Másik példa: PII-címke esetén a külső szolgáltatók kikerülnek, és a rendszer elutasítja a kérést. A szabályok git-ben élnek, és a kinfctl CLI-vel offline is ellenőrizhetők.

teljesítményteszt

A Buoyant a sima Kubernetes-terheléselosztással hasonlította össze a rendszert: mindkét változat három vLLM-podot használt, podonként egy L40S GPU-val, a modell Qwen3.8-27B-FP8 volt. A kiindulási alap egy ClusterIP-szolgáltatás, amely kapcsolatonként véletlenszerűen választ podot.

Megosztott prefixű terhelésnél a medián TTFT 6,88 másodpercről 0,31 másodpercre esett, ami nagyjából 95%-os csökkenés. Több körös forgalomnál 1,70 másodpercről 0,59 másodpercre, körülbelül 65%-kal javult. Prefix nélküli kontrollforgalomnál nem volt érdemi különbség (6,92 s szemben 6,83 s). A csúcsteljesítmény megosztott prefixnél 103,0 és 14,0 kérés/perc között alakult, ez mintegy 7,4-szeres különbség. Mindezek az eredmények a Buoyant saját adatai.

Versenytársak és állapot

A Kinference elsősorban az irányítási funkcióival – szabályok, aliasok, külső szolgáltatóra való átterhelés, bérlői elszámolás – tűnik ki. A teljesítményben az llm-d és az NVIDIA Dynamo előnyben van a nyers kiszolgálás, a szétválasztott prefill/decode és a motortámogatás terén. A Kinference jelenleg alfa: a sebességkorlátozás, az osztályozók és az Anthropic API-támogatás még nincs kész.