162 eseményt azonosítottak a kutatók a Korán-memorizációs átiratokban
A kutatók 100 Korán-recitációs felvétel elemzése során 348 egységet és 162 eseményt azonosítottak, megkülönböztetve a hibákat az ismétlésektől és az elfogadott helyesírási különbségektől.
Az emberi annotáció során 100 felvételt vizsgáltak meg, összesen 348 pontozott egységet és 162 lokalizált eseményt azonosítva tíz kombinált címke segítségével. Egy egyszerű különbségalapú (diff) módszerrel label-aware F1 0,525 és lokalizációs F1 0,826 eredményt értek el. (ArXiv NLP)
Annnotációs felületek ellenőrzése
Az adapter szókoordinátáinak javítása lehetővé tette mind az öt annotált ismétlési esemény helyes azonosítását. Ez rávilágít arra, hogy az annotációs felületeket ellenőrizni kell az alapvető hibák elemzése előtt.
Pilot tesztelés és kihívások
Egy előzetes, nyolc darab, egyenként 20 perces futtatásból álló pilot tesztben három kódügynök és nyolc modell vett részt. A label-aware F1 0,143 és 0,892 között szóródott. Hat futtatás során a 972 aranyesemény-példány közül 970 kapott átfedő jóslatot, ami arra utal, hogy a fő kihívás nem a detektálás, hanem a konvenciók, mint a span-terjedelem és az igazgatás által meghatározott címkebetűzések.
Hét a 162 eseményből hat azonos napon futtatott hat futtatást is legyőzött, ebből öt egy ortográfiai szabály miatt volt nehéz. A legerősebb futtatás is ugyanazokat az eseményeket hagyta ki. A pilot csak az algoritmus feladatának felét mérte, mivel az annotációk nem építés előtt történtek. A kutatók szerint a jövőbeli munkák a konvenciók és a span-terjedelem pontosítására fókuszálnak majd, különösen az ortográfiai szabályok miatt nehéz esetek kezelésében. A tesztben részt vevő nyolc modell közül a legjobbak 0,892-es label-aware F1 pontszámot értek el.