Az AMD Lemonadeja: gyors, nyílt forráskódú LLM szerver GPU-val és NPU-val
Több mint 2.1 ezer csillagot gyűjtött össze a Lemonade projekt a GitHubon, ahol a fejlesztők és a felhasználók együttműködnek a további fejlesztésen.
Az AMD kiadta a Lemonade-t, egy 2 MB-os C++ backend-tel rendelkező, OpenAI API kompatibilis LLM szervert, amely 1 perc alatt telepíthető Windows, Linux és macOS rendszereken. A projekt 2.1 k csillagot szerzett a GitHubon, és 117 felhasználó van Discordon. (Hacker News)
A Lemonade célja a helyi AI gyors, szabad és privát futtatása. A szerver támogatja a GPU-t és az NPU-t, így akár 128 GB egységes RAM-mal is képes betölteni a gpt-oss-120b vagy a Qwen-Coder-Next modelleket, miközben a --no-mmap kapcsolóval akár 64-nél nagyobb kontextust is kezelhet.
Technikailag a Lemonade több motorral is kompatibilis: llama.cpp, Ryzen AI SW, FastFlowLM és mások. Támogatja a párhuzamos modellek futtatását és egyetlen egységes API-t kínál a chat, vizuális, képalkotó, transzkripció és beszédfelhasználáshoz.
A projekt integrálva van Open WebUI, n8n, Gaia, Infinity Arcade, GitHub Copilot, OpenHands, Dify, Deep Tutor, Iterate.ai és a Marketplace-ben található több száz alkalmazással, ami azonnali használatra ad lehetőséget.
Jelenleg a legfrissebb kiadás továbbra is fejlesztés alatt áll. A következő frissítésekben várható a cross-platform beta további stabilizálása és az NPU támogatásának bővítése.