Klasszikus NLP-vel is nyerhetők szerzőazonosítási versenyek — mutatja a Kaggle-kísérlet

A szerzőazonosítás jó tesztfelület az NLP-modellek számára, mert nemcsak azt vizsgálja, mit mond egy mondat, hanem azt is, hogyan írják. A Kaggle Spooky Author Identification versenye erre kínál kompakt kihívást: egyetlen mondat alapján kell eldönteni, hogy Edgar Allan Poe (EAP), Mary Wollstonecraft Shelley (MWS) vagy H. P. Lovecraft (HPL) írta-e. Egyszerű kulcsszavak nem elegendőek, mivel a szerzők hasonló témákról írnak, mint félelem, misztérium, halál vagy a természetfeletti. A fontos nyomok inkább stilisztikaiak: funkcionális szavak, írásjelek, karakterek, mondaminták vagy a mondatépítés módja. (Towards Data Science)

Nahid Ahmadvand egy sorozatban épített fel egyre képességebb klasszikus modelleket: egy gyors Vowpal Wabbit (VW) szavas alapmodellt, egy gazdagabb VW modellt írásjelekkel és karakter-ngramokkal, egy finomhangolt TF-IDF ensemble-t, egy stacked sparse-text ensemble-t kimenő előrejelzésekkel, valamint egy kisebb reprezentációs felmérést, amely összehasonlította a sparse-t, BM25-öt, Word2Vec-et és FastTextet. A cél nemcsak a pontszám javítása volt, hanem annak megértése is, mely reprezentációk segítettek, mely metrikák javultak, és milyen kiértékelési beállításokból származtak az eredmények.

Kapcsolódó: AI-generált vélemények leleplezése

Adat és kiértékelés

Az adathalmaz 19 579 címkézett és 8 392 címkézetlen teszts mondatot tartalmaz. Az osztályeloszlás enyhén imbalanszírozott, az EAP teszi ki a legtöbb példát, a HPL a legkevesebbet. A modellek helyi összehasonlításához egyetlen, rétegzett 70/30-as train-validation felosztást használtak, fix véletlen maggal. Három fő metrikát vizsgáltak: az Accuracyt (pontosság), a Macro-F1-et (kiegyensúlyozott teljesítmény az egyes szerzők között) és a Multiclass log loss-t (a Kaggle hivatalos metrikája, amely az előrejelzett valószínűségek minőségét értékeli).

Kapcsolódó: Gemini 2.5 teljesítménye

1. Szó-alapú Vowpal Wabbit alapmodell

A Vowpal Wabbit (VW) gyorsasága, a sparse adatok jó kezelése és a lineáris modellekhez való illeszkedése miatt esett rá a választás. A VW online lineáris modelleket tanít, a funkciókat fix feature space-be hash-eli, és One-Against-All módon kezeli a többosztályú osztályozást. Az első alapmodellhez csak kisbetűs, legalább három karakter hosszú szavakat használtak. A 70/30-as felosztáson az alapmodell erős kiindulási pontot jelentett, ami egy gyors, lineáris modellnél egyszerű szó- és bigram funkciókkal már jó eredménynek számított.

Kapcsolódó: Ritka tokenek gyorsítása

2. Gazdagabb VW: stílus-érzékeny funkciók hozzáadása

A szerzőazonosítás több, mint témák osztályozása; a modellnek hozzáférést kell biztosítani az írásstílust tükröző jelzésekhez is. A gazdagabb VW modellnél a bemenetet három névtérbe (namespace) választották szét: |w a szavaknak (beleértve a rövid funkcionális szavakat), |p az írásjeleknek, és |c a karakter-ngramoknak. Ez a modell több futást és valamivel nagyobb hash teret használt, mint az alapmodell. Az írásjelek és a karakter-szintű struktúra hozzáadása javította az Accuracyt és a Macro-F1-et az alapmodellhez képest, ami azt jelzi, hogy a modell képes volt megragadni a stílusbeli különbségeket a sima szavak használatán túl is.

Kapcsolódó: Kétsávos bemenetszűrés