ÉlőUtoljára: 18 perceMa: 9
Üzlet & Startupfrissítve: 07:15

Gyorsabb és megbízhatóbb modellkiszolgálást ígér a Hugging Face és az OpenRouter

A rendszer 2025 januárjában indult négy partnerrel, a Fal, a Replicate, a SambaNova és a Together AI szolgáltatóival, és eddig egy szolgáltatót jelölt ki minden kérésre.

Gyorsabb és megbízhatóbb modellkiszolgálást ígér a Hugging Face és az OpenRouter
Fotó: Domaintechnik / Unsplash
forrás: The New Stack·AI Forradalom szerk.·
Megosztás

A Hugging Face és az OpenRouter partnerségéről hétfőn jelentettek be közleményt. Az együttműködés keretében a Hugging Face az OpenRouter infrastruktúráját használja majd arra, hogy a nyelvimodell-kéréseket harmadik fél szolgáltatóihoz irányítsa, figyelembe véve az árakat, a teljesítményt és a megbízhatóságot – írja a The New Stack.

Mi változik a kérések útválasztásában?

A Hugging Face eddig saját útválasztó rendszert használt, amelyet az Inference Providers szolgáltatás részeként vezettek be. A szolgáltatás négy szolgáltatóval indult: a Fal, a Replicate, a SambaNova és a Together AI volt az első partner. A rendszer egy adott kérés kiszolgálására egy szolgáltatót választott, és ha az adott szolgáltatóval probléma adódott, a kérés meghiúsult.

Az OpenRouter bevonásával a kérés automatikusan másik szolgáltatóhoz kerülhet. Ennek következtében a fejlesztőknek kevesebb sikertelen kéréssel kell szembesülniük – állítja a The New Stack.

Együttműködés a versenytársak között

Clément Delangue, a Hugging Face társalapítója és vezérigazgatója szerint az együttműködés azt mutatja, hogyan segítheti az AI-cégek közötti kooperáció a nyílt súlyú modellek elérhetőségét, miközben mindegyik cég a saját erősségeire koncentrál. A LinkedInen azt írta: „Túl sokan kezelik az AI-t nulla összegű versenyfutásként. A nyílt forráskód ezzel ellentétesen jár sikerrel: az együttműködés a verseny helyett!” Hozzátette: „A Hugging Face a tárolást és az együttműködést végzi, az OpenRouter az inferenciát.”

Stripe-tulajdonban az OpenRouter

A bejelentés alig egy héttel azután született, hogy a Stripe lezárta az OpenRouter felvásárlását. Az üzletet augusztusban jelentették be, a hírek szerint több mint 7 milliárd dollár értékben. A Hugging Face eközben az Nvidia felvásárlásának folyamatában van, amely közel 13 milliárd dollárra rúg.

A Hugging Face az egyedi szolgáltatói kulcsokat megszünteti. Az OpenRouter integrációja már élesben működik, jelenleg 38 AI-labor 160 modelljét éri el. A fejlesztőknek így nem kell saját útválasztó rendszert fenntartaniuk, a Hugging Face modelloldalain továbbra is közvetlenül lehet csevegni a modellekkel.

Az új felület lehetővé teszi, hogy a felhasználók ár, sebesség és üzemidő szerint hasonlítsák össze a szolgáltatókat. Az OpenRouter-felhasználók kéréseik naplóit a Hugging Face Storage Buckets szolgáltatásába is küldhetik, ahol a promptokat és válaszokat vizsgálhatják, értékelő adathalmazokat építhetnek belőlük, illetve finomhangolásra készíthetik elő a modelleket.

Mi jön még?

A Hugging Face azt tervezi, hogy a fejlesztők OpenRouter-fiókjukat közvetlenül összeköthetik a Hugging Face-szel, és az integráció több AI-feladatra is kiterjed. Az időpontról egyik fejlesztéssel kapcsolatban sem közöltek információt. A bejelentés óta a Stripe-tulajdonú OpenRouter 160 modellje már a Hugging Face felületén is elérhető.

Forrás

Feldolgozott sajtóforrás·The New Stack

Eredeti cikk megnyitása →

Ez a cikk a fenti sajtóforrás alapján készült AI-összefoglalóval.

tetszett a cikk? oszd meg →
Megosztás

Tetszik az oldal? Támogasd a fejlesztést

Az AI Forradalom egy automatizált pipeline: napi adatgyűjtés, LLM-feldolgozás és infrastruktúra fenntartása valódi költségekkel jár. Ha értékesnek találod a tömör, naprakész AI-összefoglalókat, egy kávé sokat segít.

☕ Támogatom