Gemini 2.5 Flash 21,13%-os hibával felülmúlja a GPT modelleket Slack-tudásbecslésben
A kutatók azt mutatták, hogy a nagy nyelvi modellek képesek a munkavállalók szakértelmét becsülni több tízezer Slack-üzenet elemzésével, és a Gemini 2.5 Flash a legkisebb hibát érte el.
27 188 Slack üzenetet elemeztek a kutatók 43 felhasználótól, és 27 önértékelő résztvevő adataival mértek a modellek pontosságát — közölte a tanulmány. (ArXiv NLP)
Szervezeti hatékonyság és tudásláthatóság
Az, hogy egy cég pontosan tudja, ki milyen tudással rendelkezik, kulcsfontosságú a feladatkiosztás és a termelékenység optimalizálása szempontjából.
Zero-shot becslés a kommunikációs naplókból
A modellcsaládok zero-shot módon készítenek becsléseket a Slack-logok alapján, anélkül, hogy előzetes finomhangolásra lenne szükség, és összesen hét modellt teszteltek, köztük a Gemini, Claude és több GPT-változatot.
Az eredmények szerint a Gemini 2.5 Flash a legkisebb átlagos abszolút hibát (MAE 21,13 %) érte el, míg a GPT-modellek jelentősen nagyobb eltérést mutattak.
Az elemzés továbbá kimutatta, hogy az üzenetek mennyisége csak gyengén befolyásolja a becslés pontosságát, így a nagyobb szövegállomány önmagában nem javítja a modell teljesítményét.
A tanulmány rámutat, hogy a módszer működőképes, de a gyakorlati alkalmazáshoz elengedhetetlen a privacy-megőrző megoldás és a struktúra-tudatos reprezentáció, amelyet a Google DeepMind csapata 2026. júniusában tervez továbbfejleszteni.