15 órás LLM-képzést indít Sebastian Raschka, így működnek a modellek
A kurzus a "Build a Large Language Model (From Scratch)" című könyvéhez készült kiegészítő anyagokból nőtte ki magát, és önálló tartalomként is kiválóan funkcionál.
Tizenöt órás, átfogó képzést indít Sebastian Raschka, a népszerű „Build a Large Language Model (From Scratch)” című könyv szerzője. A kurzus a nulláról építi fel az LLM-eket, a Python környezet beállításától a finomhangolásig, összesen hét videós modulban. (Ahead of AI)
A kurzus célja, hogy a résztvevők mélyrehatóan megértsék az LLM-ek működését, nem csupán elméletben, hanem gyakorlati kódolási feladatokon keresztül. Raschka szerint ez a leghatékonyabb módja a tanulásnak, ahogy egy gokart megépítése is jobban bevezet az autók működésébe, mint egy bonyolult Forma-1-es versenygép.
A képzés többek között a szöveges adatok előkészítését, a tokenizálást és a byte pair encodingot tárgyalja. Kiemelt szerepet kap az attention mechanizmusok kódolása is, amely az LLM-ek „motorját” adja, beleértve az öndiffúziót, a kauzális figyelmet és a multi-head attentiont.
Az LLM-ek építőkövei
A kurzus részletesen bemutatja az LLM architektúra felépítését és előzetes betanítását címkézetlen adatokon. A finomhangolás két videóban is megjelenik: először egy általános osztályozási feladaton (spam-szűrés), majd az instrukciókövető finomhangolás részleteivel.
A fejlődés iránya
Raschka korábbi cikkeiben már bemutatta a KV-cache működését, ami az LLM-ek hatékony inferenciájához elengedhetetlen, és a Qwen3 nyílt forráskódú modell implementálását is. A fizetős előfizetők egy extra, 2,5 órás bónusz videót is kapnak, amely az LLM-ek fejlődését tekinti át 2018-tól 2025-ig, különös tekintettel a Llama 4 kiadására, 2025-ben.