A nagy nyelvi modellek (LLM-ek) a mesterséges intelligencia speciális ágát képviselik: a természetes nyelvi feldolgozásra összpontosítanak. Ezek a modellek, élükön a GPT-vel képesek szövegeket megérteni, elemezni és létrehozni. Korszerű változataik több tíz- vagy akár százmilliárd paramétert is felhasználnak válaszaik generálásához. Nem véletlen, hogy óriási számítási teljesítményt, hatalmas adatközpontokat igényelnek – fel is róják gyakran, hogy mennyire nem kímélik a környezetet.

Azonban a nagy nyelvi modelleknek nem is kell annyira nagynak lenniük ahhoz, hogy működjenek. Vannak korlátozott hardveres, fogyasztói PC-kre tervezett LLM-ek is, sőt, egy találékony szoftvermérnök, a YouTuber Binh valami még kisebbet és hordozhatóbbat tervezett, és egy kicsi USB-meghajtóra helyezett egy „nagy” nyelvi modellt.

YouTube/Build with Binh

Ez a flash-drive azonban nem szokványos – magyarázza a Hackaday. Egyedi 3D-nyomtatott tokjában egy apró Raspberry Pi Zero W számítógép található. Ezen a szerény hardveren fut a llama.cpp, a Meta LLaMA modelljének könnyű változata. Ez így egyszerűnek hangzik, azonban a szoftver működésbe hozása cseppet sem volt egyszerű a Raspberry Pi-n. A llama.cpp legújabb verziója ugyanis ARMv8 processzorokhoz készült, míg a Raspberry Pi Zero W a régebbi ARMv6 utasításkészletet futtatta. Ezért gondosan el kellett távolítania az ARMv8 optimalizálását, azaz meg kellett változtatni a forráskódot.

Ezzel azonban még nem volt vége a munkának. Arról is gondoskodni kellett, hogy az LLM bármilyen számítógépen, illesztőprogramok nélkül fusson, és viszonylag egyszerűen lehessen használni. Binh ezt az akadályt is sikerrel vette, és az LLM használatához nem kell mást tennie, mint csatlakoztatni az USB-meghajtót, létrehozni egy üres szövegfájlt, amit el kell nevezni. A modell ezután automatikusan generál szöveget és elmenti a fájlba. Mivel az LLM-mel pusztán a fájlrendszeren keresztül lehet kommunikálni, így elérhetővé válhat telefonon, táblagépen vagy tévén, amennyiben az eszköz rendelkezik USB-porttal és fájlkezelővel.

Ez a megoldás persze messze nem olyan gyors, mint azok, amelyek mögött felhőalapú számítástechnika áll, viszont nagyszerű bizonyítéka a koncepciónak. Binh szerint ez az első plug-and-play USB-alapú LLM a világon, és ebben valószínűleg igaza van. Az igazsághoz persze hozzátartozik, hogy jelenleg nem kínál valós használati esetet, mivel nagyon lassú, viszont a megoldás rávilágít arra, hogy milyen lehet a beágyazott LLM a jövőben. Az egyszerűségen és a hordozhatóságon kívüli nagy előnye, hogy míg a nagy modellek rengeteg energiát igényelnek, ami hozzájárul a szén-dioxid-kibocsátáshoz, az ilyen kisebb, hatékonyabb modellek csökkenthetik ezt a karbonlábnyomot.

Ha máskor is tudni szeretne hasonló dolgokról, lájkolja a HVG Tech rovatának Facebook-oldalát.