Láthatóvá és szerkeszthetővé teszi az LLM-kontextust a ThoughtDAG
Az eszköz prototípusa 87 üzenetes beszélgetésben 1284 tokent kezel, egy irreleváns rész törlésével pedig 47 token takarítható meg, ami pontosabbá teszi a modellt.
A kontextuskezelés eddig rejtett döntés volt a nagy nyelvi modellek (LLM) esetében. A chenxiachan.github.io által bemutatott ThoughtDAG nevű új eszköz ezt a problémát orvosolja — írja a Hacker News.
A rendszer a kiválasztott ősök alapján építi fel az üzenetszekvenciát, így a kontextus forrásai nyomon követhetőek maradnak.
A kontextus vizuális szerkesztése
A ThoughtDAG egy grafikus felületet biztosít, ahol a felhasználók láthatják és szerkeszthetik az LLM-ek beszélgetéseinek kontextusát. Ez azt jelenti, hogy a felhasználó pontosan megtekintheti, mely információk kerülnek a modellhez, mielőtt a generálná a választ.
A rendszer egyik fő előnye, hogy a kontextus vizuálisan megjelenik. A felhasználó láthatja az „éleket”, amelyek a különböző forrásokat és a beszélgetés előzményeit kötik össze. Egy élt törlésével a kontextus token száma csökken, és a modell válasza is megváltozik. Például egy 87 üzenetből álló beszélgetésben, amely 1284 tokent használt, egy irreleváns „vacsoradetour” elhagyásával 47 token takarítható meg, és a válasz is pontosabbá válik.
A ThoughtDAG protokoll működése
A ThoughtDAG protokollja lehetővé teszi a kontextus szerkesztését. A felhasználó dönthet arról, mi kerüljön be és mi ne a modell kérésébe. A grafikon maga a generálás előtti kontextus, amely látható, szerkeszthető és ellenőrizhető.