Helyi AI-modellekkel strukturálhatók az okosotthoni adatok — Gemma 4 és Pydantic

A helyi LLM-ek vonzó lehetőséget kínálnak az AI-alkalmazások fejlesztéséhez, mivel lehetővé teszik az érzékeny adatok helyben tartását és csökkentik a felhő API-któl való függőséget. Ezek a modellek gyakran egy nagyobb munkafolyamat részei, így válaszaikat más komponenseknek kell fogyasztaniuk. Ilyen helyzetekben a szabad formátumú szöveg nehezen kezelhető, ezért elengedhetetlen a kiszámítható struktúrájú kimenet elérése. Ezt a célt szolgálja a Strukturált Kimenet (Structured Output), amely előre definiált séma alapján korlátozza az LLM generálását, így a könnyen feldolgozható Python objektumokat ad vissza. (Towards Data Science)

A cikk egy okosotthoni esettanulmányon keresztül mutatja be a módszert, ahol a Gemma 4 modellt, az Ollama futtatókörnyezetet és a Pydantic-ot használják a séma definiálására és validálására. A felhasználó kérdésére — „Most vagy később fusson a mosogatógép?” — a helyi LLM a háztartási jegyzetekből kinyeri a szükséges információkat, miközben eltávolítja a személyes adatokat. Ezt a tisztított objektumot tovább lehet küldeni egy képzettebb felhő LLM-nek.

A Pydantic séma definiálása

A cél egy olyan strukturált objektum létrehozása, amely tartalmazza az aktuális időt, a kérdésben említett eszközt, a vezérlési kapacitást és az áramárakat. Emellett szükség van az ütemezést igénylő eszközökre, azok futási idejére és időbeli követelményeire. Ezt Pydantic modellek segítségével lehet reprezentálni, beleértve a `SchedulingContext` és a `DeviceToSchedule` osztályokat, amelyek egy beágyazott sémát alkotnak.

Helyi LLM és Ollama beállítása

A folyamat megkezdése előtt telepíteni és futtatni kell az Ollama-t. Windows rendszereken a `winget install Ollama.Ollama` paranccsal, macOS és Linux rendszereken pedig a `curl -fsSL https://ollama.com/install.sh | sh` paranccsal végezhető el. Az Ollama telepítése után a Gemma 4 modell, pontosabban annak `gemma4:e4b` változata tölthető le (`ollama pull gemma4:e4b`). A szükséges Python csomagok, az Ollama kliens és a Pydantic, a `pip install ollama pydantic` paranccsal telepíthetők.

Strukturált kimenet előállítása

A Pydantic modellek segítségével definiált séma összekapcsolható a helyi modellel. A `ollama.chat` függvény használatával a Pydantic modell JSON sémája átadható az Ollama-nak a `format` argumentumon keresztül. A válasz ezután a `model_validate_json()` függvénnyel parsálható vissza Pydantic objektummá, ami megkönnyíti a további feldolgozást. A Gemma 4-nek adott utasítás arra irányul, hogy a forrásanyagot strukturált ütemezési kontextussá alakítsa át, anélkül, hogy döntést hozna az ütemezésről.

A folyamat eredményeként a Gemma 4 érvényes JSON-t adott vissza, amelyet a Pydantic sikeresen feldolgozott `SchedulingContext` objektummá. Azonban a robotporszívó adatainak pontatlansága rávilágít arra, hogy a modell kimenete nem mindig tökéletes, és további validációra vagy finomhangolásra lehet szükség.