ÉlőUtoljára: 1 perceMa: 22
Modellek & LLMfrissítve: 14:15

Szuperdrága lehet az AI, ha a kevésbé elterjedt nyelveken használják

A(z) Bitport beszámolója szerint a Rest of World adatai alapján a legdrágább nyelvek akár ötszörösét kerülhetik ki a legolcsóbbaknak a húsz legnépszerűbb nyelv között, kétszáz nyelv vizsgálatakor pedig tizenhétszeres költségkülönbséget is mértek.

Szuperdrága lehet az AI, ha a kevésbé elterjedt nyelveken használják
Fotó: Martin Dubé / Unsplash
forrás: Bitport·AI Forradalom szerk.·
Megosztás

A különbség a tokenizálás és az internetes jelenlét együttes következménye: a modellek bizonyos nyelvekhez sokkal több tokent használnak, mert ezekből kevesebb szöveg található a neten. A Coalition for Language Equity in AI Research (CLEAR) tanulmánya szerint még a húsz legnépszerűbb nyelv között is mérhetők eltérések, amelyek a legdrágább és a legolcsóbb nyelv között akár ötszörös különbséget jelenthetnek. (Bitport)

Költségkülönbségek a nyelvek között

Kétszáz nyelv vizsgálatakor akár tizenhétszeres költségkülönbség is előfordult. A magasabb tokenszám nagyobb késleltetést és csökkent effektív kontextuskapacitást jelent, ami a korlátozottabb számítási kapacitású és rosszabb internetkapcsolatú régiókban különösen érezhető.

A latin betűs írás a tokenizálás miatt előnyben van a burmai, tibeti vagy khmer nyelvekkel szemben, amelyeket a tokenizátorok ritkábban bontanak értelmezhető egységekre. A vizsgált modellek ezekkel a nyelvekkel küzdöttek a legnagyobb hátránnyal.

Lehetséges megoldások az adathiány ellen

A megoldás részben az adatok fejlesztése lehet: a Gates Alapítvány által támogatott, az indiai IISc-vel együttműködő RESPIN projekt például több tucat dialektus anyanyelvi beszélőitől gyűjt szövegeket. A CLEAR szerint azonban a betanítás önmagában nem elég. Egy szakértő szerint a tokenárak csökkenése enyhítheti a közvetlen költséghatást, a tokenizációs rés megszüntetése viszont tudatos tervezést igényel az AI-fejlesztőktől.

Forrás

Feldolgozott sajtóforrás·Bitport

Eredeti cikk megnyitása →

Ez a cikk a fenti sajtóforrás alapján készült AI-összefoglalóval.

tetszett a cikk? oszd meg →
Megosztás

Tetszik az oldal? Támogasd a fejlesztést

Az AI Forradalom egy automatizált pipeline: napi adatgyűjtés, LLM-feldolgozás és infrastruktúra fenntartása valódi költségekkel jár. Ha értékesnek találod a tömör, naprakész AI-összefoglalókat, egy kávé sokat segít.

☕ Támogatom