Szuperdrága lehet az AI, ha a kevésbé elterjedt nyelveken használják
A(z) Bitport beszámolója szerint a Rest of World adatai alapján a legdrágább nyelvek akár ötszörösét kerülhetik ki a legolcsóbbaknak a húsz legnépszerűbb nyelv között, kétszáz nyelv vizsgálatakor pedig tizenhétszeres költségkülönbséget is mértek.

A különbség a tokenizálás és az internetes jelenlét együttes következménye: a modellek bizonyos nyelvekhez sokkal több tokent használnak, mert ezekből kevesebb szöveg található a neten. A Coalition for Language Equity in AI Research (CLEAR) tanulmánya szerint még a húsz legnépszerűbb nyelv között is mérhetők eltérések, amelyek a legdrágább és a legolcsóbb nyelv között akár ötszörös különbséget jelenthetnek. (Bitport)
Költségkülönbségek a nyelvek között
Kétszáz nyelv vizsgálatakor akár tizenhétszeres költségkülönbség is előfordult. A magasabb tokenszám nagyobb késleltetést és csökkent effektív kontextuskapacitást jelent, ami a korlátozottabb számítási kapacitású és rosszabb internetkapcsolatú régiókban különösen érezhető.
A latin betűs írás a tokenizálás miatt előnyben van a burmai, tibeti vagy khmer nyelvekkel szemben, amelyeket a tokenizátorok ritkábban bontanak értelmezhető egységekre. A vizsgált modellek ezekkel a nyelvekkel küzdöttek a legnagyobb hátránnyal.
Lehetséges megoldások az adathiány ellen
A megoldás részben az adatok fejlesztése lehet: a Gates Alapítvány által támogatott, az indiai IISc-vel együttműködő RESPIN projekt például több tucat dialektus anyanyelvi beszélőitől gyűjt szövegeket. A CLEAR szerint azonban a betanítás önmagában nem elég. Egy szakértő szerint a tokenárak csökkenése enyhítheti a közvetlen költséghatást, a tokenizációs rés megszüntetése viszont tudatos tervezést igényel az AI-fejlesztőktől.