Helyi AI a saját gépeden: így futtass nyelvi modellt Ollamával, előfizetés és felhő nélkül

A nagy nyelvi modellekről a legtöbben úgy gondolkodunk, mint egy weboldalról: beírod a kérdést, valahol egy távoli adatközpontban kiszámolják a választ, és visszaküldik. Pedig egy nyelvi modell valójában egy fájl, amelyet megfelelő programmal a saját gépeden is futtathatsz. Nem kell hozzá előfizetés, nem kell internet, és amit beírsz, az nem hagyja el a számítógépedet.

Ez ma már nem csak kutatóknak és fejlesztőknek való mulatság. Az olyan eszközökkel, mint az Ollama vagy az LM Studio, néhány kattintással vagy egyetlen paranccsal elindíthatsz egy modellt egy átlagos, néhány éves gépen is. Csodát azért ne várj: a helyben futtatható modellek kisebbek és gyengébbek a nagy felhős szolgáltatások csúcsmodelljeinél, és a hardvered erősen meghatározza, mire számíthatsz. Ebben az útmutatóban végigvesszük, miért érdemes belevágni, milyen gép kell hozzá, mely programokkal indulhatsz el, hogyan válassz modellt, és hol vannak a korlátok. A mesterséges intelligenciával kapcsolatos további cikkeinket az AI rovatban találod.

Miért futtatnál modellt a saját gépeden?

Adatvédelem

Ez a leggyakoribb és legerősebb érv. Amit egy felhős csevegőbe beírsz, az egy cég szerverére kerül, és a szolgáltatás feltételeitől függ, mi történik vele. Ha helyben futtatod a modellt, a kérdés és a válasz is a gépeden marad. Ez sokat számít, ha szerződéseket, egészségügyi leleteket, ügyféladatokat, belső céges dokumentumokat vagy egyszerűen a saját naplódat szeretnéd feldolgoztatni. A helyi futtatás nem old meg minden adatvédelmi kérdést, de azt az egyet igen, hogy az adat nem kerül harmadik félhez.

Offline működés

A letöltött modell internet nélkül is működik: vonaton, repülőn, nyaralóban, vagy egy olyan gépen, amelyet biztonsági okból szándékosan nem kötsz hálózatra.

Költség és kiszámíthatóság

A helyi modell használatáért nem fizetsz előfizetést vagy használatarányos díjat, csak a villanyszámlát és persze a hardvert. Ha már megvan a megfelelő géped, a kísérletezés ingyen van. Ha viszont csak emiatt vennél drága videokártyát, számolj utána: alkalmi használatra egy előfizetés szinte biztosan olcsóbb. Előny az is, hogy a modell nem változik meg a hátad mögött. Amit letöltöttél, az fél év múlva is ugyanúgy fog viselkedni, ami automatizált feladatoknál kifejezetten hasznos.

Tanulás és szabadság

Ha érteni szeretnéd, hogyan működnek ezek a rendszerek, nincs jobb módszer annál, mint amikor magad állítod be a rendszerpromptot, a kontextusablak méretét vagy a mintavételezési hőmérsékletet, és látod, mi változik. Fejlesztőként pedig egy helyi modell olyan API-t ad, amelyet korlátok nélkül hívogathatsz a saját programjaidból.

Mi történik a gépeden? Alapfogalmak röviden

Néhány fogalom, amellyel mindenhol találkozni fogsz:

• Modell és súlyok: a modell lényegében számok (paraméterek, súlyok) hatalmas táblázata. A méretét a paraméterek számával szokás megadni, milliárdban: egy „8B” modell nagyjából nyolcmilliárd paramétert tartalmaz. Általánosságban minél több a paraméter, annál többet tud a modell, és annál több memória kell a futtatásához.
• Inferencia: a modell futtatása, vagyis a válasz kiszámítása. A tanítás sok nagyságrenddel drágább, azt otthon nem fogod elvégezni, az inferencia viszont elérhető.
• Token: a modell nem betűkkel és nem szavakkal dolgozik, hanem szódarabokkal. A sebességet token per másodpercben mérik. A magyar szöveg jellemzően több tokenre esik szét, mint az angol, ezért ugyanaz a mondat magyarul valamivel lassabban készül el.
• Kontextusablak: ennyi tokent tud a modell egyszerre „fejben tartani”: a beszélgetés előzményeit, a beillesztett dokumentumot és a készülő választ együtt. A nagyobb kontextus több memóriát igényel.
• Kvantálás: a súlyok pontosságának csökkentése, hogy a modell kevesebb helyet foglaljon. Erről alább részletesen írunk, mert ettől lesz az egész otthon is megvalósítható.

Milyen gép kell hozzá?

A legfontosabb szabály: a modellnek el kell férnie a memóriában, és az számít, hogy melyikben.

Videokártya és VRAM

A nyelvi modellek futtatása rengeteg párhuzamos számítás, amiben a videokártyák jók. Ha a modell teljes egészében befér a videokártya memóriájába (VRAM), a válasz gyorsan, folyamatosan érkezik. Ha nem fér be, a futtatóprogram a modell egy részét a rendszermemóriába teszi, és azt a processzor számolja: ez működik, csak érezhetően lassabb. A gyakorlatban ezért nem a kártya nyers sebessége, hanem a VRAM mérete a szűk keresztmetszet. Egy régebbi, de sok memóriás kártya helyi modellekhez gyakran hasznosabb, mint egy újabb, gyorsabb, de kevés memóriával szerelt.

A szoftveres támogatás az NVIDIA kártyákon a legkiforrottabb, de a futtatóprogramok az AMD és az Intel kártyáit is kezelik. Ha a géped vásárlásán vagy bővítésén gondolkodsz, a PC & Hardver rovat cikkei segítenek.

Apple-gépek

Az Apple saját processzoros Macjei külön kategóriát képviselnek, mert egyesített memóriát használnak: a processzor és a grafikus mag ugyanazon a memórián osztozik. Ez azt jelenti, hogy egy sok memóriával rendelt Mac olyan nagy modelleket is be tud tölteni, amelyekhez PC-n drága videokártya kellene. A sebesség nem éri el a csúcskategóriás dedikált kártyákét, de a csendes, kis fogyasztású működés miatt a Macek népszerűek erre a célra.

Csak processzor

Videokártya nélkül is elindulhatsz. A kisebb modellek egy modern processzoron, elegendő rendszermemóriával használható sebességgel futnak, főleg rövid kérdésekre. Hosszú dokumentumok feldolgozásánál viszont hamar elfogy a türelem.

Ökölszabályok a memóriához

A pontos igény a modelltől, a kvantálástól és a kontextus méretétől függ, ezért az alábbiakat nagyságrendi tájékozódásnak vedd, a leggyakoribb, 4 bites kvantálással számolva:

• Kis modellek (nagyjából 1–4 milliárd paraméter): pár gigabájt memória elég, akár egy átlagos laptopon is futnak. Egyszerű összefoglalásra, átfogalmazásra, osztályozásra jók.
• Közepes modellek (7–9 milliárd paraméter): körülbelül 5–6 GB szabad memóriával érdemes számolni, vagyis egy 8 GB-os videokártyán kényelmesen elférnek. Sok hétköznapi feladatra ez a legjobb kompromisszum.
• Nagyobb modellek (12–14 milliárd paraméter): 9–10 GB körüli igény, ide már 12 GB-os kártya vagy 16 GB-os egyesített memória való.
• Nagy modellek (30 milliárd paraméter körül): nagyjából 20 GB vagy több, ez 24 GB-os videokártyát vagy sok memóriás Macet jelent.
• Ennél is nagyobbak: több videokártya vagy nagyon sok egyesített memória kell hozzájuk, ami már inkább munkaállomás, mint otthoni gép.

A modellfájl mérete jó kiindulópont: ha a letöltendő fájl 5 GB, akkor ennél valamivel több szabad memóriára lesz szükséged, mert a kontextus is helyet foglal. Tárhelyből is hagyj bőven, néhány kipróbált modell hamar több tíz gigabájtot tesz ki, és gyors SSD-ről sokkal gyorsabban töltődnek be.

Kvantálás és GGUF: így fér el a modell

A modellek súlyait eredetileg 16 vagy 32 bites lebegőpontos számokként tárolják. A kvantálás ezt a pontosságot csökkenti, például 8, 5 vagy 4 bitre. A fájl mérete és a memóriaigény ezzel arányosan csökken, a minőség pedig meglepően keveset romlik: a 4 bites változatok a legtöbb hétköznapi feladatnál alig maradnak el az eredetitől. Ez alatt (3 vagy 2 biten) viszont a romlás már érezhető.

A kvantált modellek legelterjedtebb fájlformátuma a GGUF, amely a llama.cpp projektből nőtt ki. Egyetlen fájlban tartalmazza a súlyokat és a futtatáshoz szükséges metaadatokat. A Hugging Face GGUF-ról szóló dokumentációja részletesen bemutatja a formátumot. A fájlnevekben olyan jelöléseket látsz majd, mint a Q4_K_M, a Q5_K_M vagy a Q8_0. A Q utáni szám a bitek számára utal, a betűk a kvantálási módszer változatát jelölik.

Gyakorlati tanácsok:

• Ha nem tudod, mit válassz, a Q4_K_M szokott a jó alapértelmezés lenni: kis méret, még jó minőség.
• Ha bőven van memóriád, a Q5 vagy Q6 változat valamivel pontosabb.
• Általában jobban jársz egy nagyobb modell 4 bites változatával, mint egy kisebb modell 8 bitesével, ha mindkettő befér.

Az Ollama és az LM Studio ezt a döntést nagyrészt leveszi a válladról, mert alapból egy észszerű kvantálást tölt le, de érdemes tudni, mi van a háttérben.

Ollama: a leggyorsabb út az első válaszig

Az Ollama nyílt forráskódú program, amely a modellek letöltését, tárolását és futtatását egyetlen eszközbe csomagolja. Elérhető Windowsra, macOS-re és Linuxra. A logikája a konténerkezelőkére emlékeztet: megnevezel egy modellt, a program letölti, és futtatja.

Telepítés után a terminálban egyetlen paranccsal indíthatsz beszélgetést:

• ollama run <modellnév>: letölti a modellt, ha még nincs meg, és elindít egy csevegést a terminálban.
• ollama pull <modellnév>: csak letölti a modellt.
• ollama list: megmutatja a letöltött modelleket és a méretüket.
• ollama ps: megmutatja, mi fut éppen, és hogy a videokártyán vagy a processzoron.
• ollama rm <modellnév>: törli a modellt, ha kell a hely.

A választható modelleket az Ollama modellkönyvtárában böngészheted, ahol a méretváltozatok és a kvantálások is látszanak. Az Ollama a háttérben egy helyi szolgáltatást futtat, amely alapértelmezés szerint a gép 11434-es portján érhető el, és API-t kínál más programoknak. Ez az, ami igazán hasznossá teszi: szövegszerkesztő-bővítmények, jegyzetelők, kódszerkesztők és saját szkriptek is rá tudnak csatlakozni. A részleteket a hivatalos dokumentáció írja le, a forráskód pedig a projekt GitHub-oldalán érhető el.

Az Ollama Linuxon is jól használható, a videokártya-illesztőprogramok beállítása viszont ott több odafigyelést igényelhet. Ha a Linux mint asztali rendszer érdekel, a linuxos játékról szóló útmutatónkban a grafikus illesztőprogramok kérdését is érintjük.

LM Studio, llama.cpp és társaik

LM Studio

Ha nem szereted a terminált, az LM Studio a kényelmesebb választás. Ez egy grafikus asztali alkalmazás Windowsra, macOS-re és Linuxra: beépített modellkeresővel, csevegőfelülettel és jól látható beállításokkal. Letöltés előtt megmutatja, hogy az adott modellváltozat várhatóan elfér-e a gépedben, ami kezdőként sokat segít. Csúszkával állíthatod, hogy a modell mekkora része kerüljön a videokártyára, és egy kattintással helyi API-kiszolgálót is indíthatsz. Az LM Studio nem nyílt forráskódú; a felhasználási feltételeit érdemes megnézned, főleg ha munkahelyi környezetben használnád.

llama.cpp

A llama.cpp az a nyílt forráskódú motor, amelyre az egész helyi futtatás épül, és amelyet a kényelmesebb programok közül több is használ a háttérben. Parancssori eszközöket és egy beépített kiszolgálót ad, amely saját webes felületet és API-t is tartalmaz. Akkor érdemes közvetlenül ezt használnod, ha a lehető legtöbb beállítást szeretnéd a kezedben tartani, a legfrissebb fejlesztéseket azonnal ki akarod próbálni, vagy szokatlan hardveren dolgozol. Cserébe több a kézimunka: neked kell letöltened a GGUF fájlt, és megadnod a paramétereket.

Jan és más alternatívák

A Jan nyílt forráskódú asztali alkalmazás, amely az LM Studióhoz hasonlóan grafikus felületet ad a helyi modellekhez. A választék bő és gyorsan változik, de az elv mindenhol ugyanaz: a program letölt egy modellfájlt, betölti a memóriába, és csevegőfelületet vagy API-t ad hozzá.

Open WebUI: böngészős felület az egész családnak

Az Ollama terminálos csevegése kipróbálásra jó, mindennapi használatra kevésbé kényelmes. Az Open WebUI egy saját gépen futtatható webes felület, amely az Ollamához (és más, kompatibilis API-t kínáló kiszolgálókhoz) csatlakozik, és a megszokott csevegős élményt adja: beszélgetési előzmények, modellválasztó, fájlfeltöltés, felhasználói fiókok. A telepítés legegyszerűbb módja a konténeres futtatás; ha még nem dolgoztál ilyennel, a Docker bevezető dokumentációja jó kiindulópont.

Az Open WebUI egyik hasznos képessége, hogy dokumentumokat tölthetsz fel, és a modell azok tartalma alapján válaszol. Ez a visszakeresésre épülő megoldás: a program a dokumentumból megkeresi a kérdéshez illő részleteket, és ezeket adja a modell elé. Így a modell olyan anyagról is tud beszélni, amelyet a tanítása során soha nem látott, például a saját jegyzeteidről.

Ha a felületet a háztartás több tagja is használná, egy állandóan bekapcsolt gépre érdemes telepíteni, és a helyi hálózaton belül elérhetővé tenni. Arra viszont nagyon figyelj, hogy se az Open WebUI, se az Ollama portja ne legyen védelem nélkül kint az interneten. Erre a biztonsági résznél visszatérünk.

Hogyan válassz modellt?

A modellkínálat hónapról hónapra változik, ezért konkrét verziók ajánlása helyett szempontokat adunk. Mire ezt olvasod, szinte biztosan megjelent valami újabb annál, mint amit ma példaként felhozhatnánk.

• Méret: a legnagyobb olyan modellt válaszd, amely kvantálva kényelmesen befér a memóriádba, és még marad hely a kontextusnak. Ha a válasz kínosan lassan csorog, lépj egy mérettel lejjebb.
• Feladat: vannak általános csevegőmodellek, kifejezetten programozásra hangolt modellek, képet is értelmező modellek, és úgynevezett gondolkodó modellek, amelyek válasz előtt hosszabban „érvelnek”. A beágyazó (embedding) modellek külön kategória: ezek nem szöveget írnak, hanem a dokumentumkereséshez készítenek számsorokat.
• Nyelv: a magyar nyelvtudás modellenként nagyon eltér. A kisebb modellek gyakran értenek magyarul, de ragozási hibákkal, magyartalan szerkezetekkel válaszolnak. A nagyobb, többnyelvű modellek általában jobbak. Ezt csak kipróbálással tudod eldönteni: tedd fel ugyanazt a néhány magyar kérdést mindegyiknek, és hasonlítsd össze.
• Licenc: a „nyílt” jelző sok mindent takarhat. Egyes modellek megengedő nyílt forráskódú licenccel jelennek meg, mások saját, korlátozásokat tartalmazó feltételekkel, amelyek például a kereskedelmi felhasználást szabályozzák. Ha a modellt munkához használnád, olvasd el a licencét. A fogalmak tisztázásához az Open Source Initiative nyílt forráskódú MI-ről szóló definíciója ad támpontot.
• Forrás: a modelleket megbízható helyről töltsd le: a futtatóprogram saját könyvtárából vagy a Hugging Face modelltárából, ott is lehetőleg az eredeti kiadótól vagy ismert, sokak által használt feltöltőtől.

A legismertebb, szabadon letölthető modellcsaládok nagy technológiai cégektől és kutatólaboroktól származnak: ilyen például a Meta Llama, a Google Gemma, a Microsoft Phi, az Alibaba Qwen és a Mistral modelljei. Mindegyikből több méret létezik, így szinte bármilyen géphez találsz megfelelőt.

Jó módszer: válassz két-három, a gépedbe beférő modellt, és teszteld őket a saját, valódi feladataidon. A nyilvános ranglisták hasznosak tájékozódásnak, de azt, hogy neked melyik válik be, csak a saját kérdéseid mutatják meg.

Mire jó, és mire nem?

A helyi modellek a következő feladatokban jók, akár közepes gépen is:

• hosszabb szövegek összefoglalása, vázlatolása;
• e-mailek, jegyzetek átfogalmazása, stílusjavítás;
• fordítási nyersanyag készítése, amelyet aztán átnézel;
• adatok kinyerése és rendszerezése szövegből;
• programozási segítség: magyarázat, kisebb függvények, hibakeresési ötletek;
• keresés és kérdezés a saját dokumentumaidban;
• ötletelés, vázlatkészítés.

A korlátokkal viszont érdemes előre tisztában lenni:

• Gyengébbek a csúcsmodelleknél. A nagy felhős modellek sok nagyságrenddel több számítási kapacitáson futnak. Összetett érvelésben, hosszú kódbázisok kezelésében, árnyalt szövegalkotásban a különbség érezhető.
• Ugyanúgy tévednek. A helyi modell is magabiztosan állíthat valótlanságot. A kisebb modellek jellemzően gyakrabban. Tényeket, számokat, jogi és egészségügyi kérdéseket mindig ellenőrizz más forrásból.
• Nem ismerik a friss eseményeket. A tudásuk a tanításuk idejéig tart, és alapból nem keresnek az interneten. Ezt kiegészítő eszközökkel lehet pótolni, de az már külön beállítást igényel.
• Korlátos a kontextus. Egy teljes könyvet nem tudsz egyben beadni egy kis memóriájú gépen. A dokumentumkeresős megoldások ezen segítenek, de nem tökéletesek.
• Zaj, hő, fogyasztás. Válaszgenerálás közben a videokártya teljes terhelésen dolgozik. Laptopon ez gyorsan meríti az akkut, és felpörgeti a ventilátort.

Biztonság: a helyi sem jelent automatikusan biztonságosat

A helyi futtatás az adatvédelmi kockázatok nagy részét megszünteti, de néhány dologra neked kell figyelned. A témában a Biztonság rovat cikkei is hasznosak lehetnek.

• Ne tedd ki a szolgáltatást az internetre. A helyi modellkiszolgálók API-ja alapesetben nem kér hitelesítést, mert arra tervezték, hogy csak a saját gépedről érd el. Ha a routeren porttovábbítással kiengeded, bárki használhatja a gépedet. Ha távolról is el szeretnéd érni, használj VPN-t, a webes felületen pedig erős jelszót.
• Csak megbízható forrásból tölts le. A GGUF formátum adatot tartalmaz, nem futtatható kódot, ami biztonságosabb a régebbi formátumoknál, de a futtatóprogramokban is előfordulhatnak hibák. Tartsd őket frissen.
• Nézd meg a telemetriát. A modell helyben fut, de maga az alkalmazás küldhet használati statisztikát vagy kereshet frissítést. Ha ez számít, nézd át a beállításokat.
• A modell kimenete nem megbízható bemenet. Ha a modell válaszát automatikusan más programnak adod tovább, vagy eszközöket (fájlkezelést, parancsfuttatást) adsz a kezébe, kezeld ugyanolyan óvatosan, mint bármilyen külső forrásból érkező adatot.
• Céges adatnál egyeztess. Attól, hogy a modell a munkahelyi laptopodon fut, még vonatkozhatnak rá belső szabályok. Mielőtt ügyféladatot adnál neki, kérdezd meg az informatikai vagy adatvédelmi felelőst.

Első lépések: egy lehetséges útvonal

1. Nézd meg, mid van. Mennyi a rendszermemória, van-e dedikált videokártya, és mennyi a VRAM-ja? Ez dönti el, mekkora modellel érdemes kezdeni.
2. Telepítsd az Ollamát vagy az LM Studiót. Ha jóban vagy a terminállal, az Ollama a gyorsabb, ha grafikus felületet szeretnél, az LM Studio.
3. Kezdj egy kis modellel. Egy néhány gigabájtos modell perceken belül letöltődik, és megmutatja, hogy minden működik. Csak utána próbálkozz nagyobbal.
4. Ellenőrizd, hol fut. Nézd meg, hogy a modell a videokártyára került-e. Ha a válasz nagyon lassú, valószínűleg nem fért be, és a processzor számol.
5. Próbáld ki a saját feladataidon. Adj neki egy valódi e-mailt összefoglalásra vagy egy valódi kódrészletet magyarázatra, és nézd meg, elég jó-e.
6. Ha bevált, építs rá. Telepíts webes felületet, kösd össze a jegyzetelőddel vagy a kódszerkesztőddel, és próbáld ki a dokumentumkeresést.

Gyakori kérdések

Elég hozzá egy átlagos laptop?

Kis modellekhez igen, ha van legalább 16 GB memóriája. Csodát ne várj tőle, de összefoglalásra és átfogalmazásra használható lesz.

Tanul a modell abból, amit beírok?

Nem. A futtatás közben a modell súlyai nem változnak. A beszélgetés előzményeit a kezelőprogram tárolja a gépeden, és ezeket bármikor törölheted.

Kiváltja az előfizetésemet?

A felhasználástól függ. Egyszerűbb, ismétlődő és bizalmas feladatokra igen. Ha a legjobb minőségre, friss információkra vagy nagyon hosszú anyagok feldolgozására van szükséged, a felhős csúcsmodellek továbbra is előnyben vannak. Sokan a kettőt együtt használják: az érzékeny adatokkal a helyi modell dolgozik, a többivel a felhős.

Legális ez?

A nyilvánosan közzétett modellek letöltése és futtatása a licencük keretei között igen. A licencet akkor érdemes alaposan elolvasnod, ha a modellt üzleti célra használnád, vagy tovább is adnád.

Összefoglaló

A saját gépen futó nyelvi modell ma már elérhető technológia: egy ingyenes program és néhány gigabájtnyi letöltés választ el tőle. A legnagyobb előnye az adatvédelem és a függetlenség, a legnagyobb korlátja a hardver és a felhős csúcsmodellektől elmaradó minőség. Ha tudod, mennyi memóriád van, érted a kvantálás lényegét, és megbízható forrásból választasz modellt, egy délután alatt működő rendszert rakhatsz össze. Kezdd kicsiben, teszteld a saját feladataidon, és csak akkor költs hardverre, ha már látod, mire használnád.