Rendkívül egyszerűen magyarázza meg a gráfalapú AI-t a Towards Data Science

A neurális hálózatok forradalmasították az AI-t, de alapértelmezetten nem veszik figyelembe az input adatok közötti kapcsolatokat. Ezért fejlesztették ki a gráfon alapuló neurális hálózatokat (GNN), amelyek képesek kihasználni a gráfstruktúrákban rejlő kontextust. A GNN-ek új, eddig nem látott struktúrájú gráfokra is alkalmazhatók, például antibiotikum-felfedezésre, vagy csomópontok, élek, illetve maguk a gráfok osztályozására is használhatók — írja a Towards Data Science.

A GNN-ek lényegében a konvolúciós neurális hálózatok (CNN) ötletét adaptálják a gráfokra. Míg a CNN-ek egy képpontot és annak szomszédait vizsgálják, addig a GNN-ek egy csomópontot és annak szomszédait veszik figyelembe, majd ezekből képeznek új, módosított jellemzőket. Ez a megközelítés azért is hatékony, mert a gráfok általánosításként tekinthetők a képekre, ahol minden elem (pixel vagy csomópont) lokálisan kapcsolódik más elemekhez.

Hány réteg kell egy GNN-hez?

Egy tipikus GNN általában 2 és 4 réteg közötti mélységgel rendelkezik. A több réteg használatát általában kerülik, mivel az „oversmoothing” problémához vezethet, ahol a csomópontok jellemzői túlságosan hasonlóvá válnak. Minden egyes réteg a megelőző réteg jellemzőit transzformálja, figyelembe véve a szomszédok aggregált információit. Ez a folyamat párhuzamosan történik minden csomóponton, és a végeredményül kapott jellemzővektorok alakja eltérhet a bemeneti vektorokétól.

Az update-szabály és a normalizálás

Az update-szabály leírásához szükség van az adjacency mátrixra (A), amely a csomópontok közötti kapcsolatokat jelöli, a feature mátrixra (H), ahol minden sor egy csomópont jellemzővektora, és egy tanulható lineáris transzformációra (W). Az A és H mátrixok szorzata (AH) megadja a szomszédok jellemzőinek összegét. Ezt követően az eredményt megszorozzuk a W mátrixszal, majd egy nemlineáris transzformációt (σ, pl. ReLU) alkalmazunk.

A képlet: H' = σ(AHW). A probléma orvoslására az A mátrix főátlójába egyeseket adnak, hogy a csomópont saját magát is figyelembe vegye. A jellemzők skálájának változását normalizálással (D mátrix segítségével, amely a csomópontok számát tartalmazza) vagy szimmetrikus normalizálással (Kipf & Welling, ICLR 2017) javítják.