A fórum tagjai között épített már valaki AI szervert házilag olcsón? Egyre többet hibáznak a "nagy" AI-k és már bevallom elég volt etetni őket. Annyiba kerül lassan, mint egy saját szerver.

Először nem árt tisztázni a felhasználást. Egy otthoni LLM általános kérdezz-felelekre, kutatásra, alkotásra, komolyabb szoftverírásra nem lesz alkalmas, nyomába sem fog érni a felhős modelleknek sebességben vagy képességekben. Mindkettő számít.

Viszont egyszerűbb, ismétlődőbb feladatokra igen, pl. asszisztensnek az otthoni gépedre; diktálásra, folyamatok automatizálására, keresgélésre az Interneten vagy akár kódsorok kiegészítésére. Lassan kialakul ez is, hogy nem csak egy nagy LLM-ben, hanem több kisebb, konkrét feladatokra alkalmazott LLM-ben is fogunk gondolkodni.

Nálam nagy memória van, de egy mini-PC gyors, de átlagosnak számító processzorral. Elég folyamatosan jön a szöveg a modellből, de 3-5 perc egy kérdésre egy válasz. Sokat lehetne javítani, de még nem látom, hogy mit lenne érdemes nemcsak megvenni, hanem pár év után, mikor elavult, újra megvenni és így tovább. Ha a teljes költséget számolod, nem olyan rossz dolog az előfizetés. Visszaesések lehetségesek, mikor úgy érzed, hogy romlott valami, de összességében nem lehet akkora visszalépés. Az összeg nyilván nem mindegy.

Olcsó biztosan nem lesz olyasmi, amit éppen a világ nagy része próbál így vagy úgy használni vagy megszerezni magának... Azt másfél évvel ezelőtt kellett volna megtenni, sőt megint hw-drágulási hullám előtt állunk.

Igazad van, és mégse!
Nagyon jól kell tudni promtolni! Meg kell neki mondani, mit csináljon és hogyan! És ami a legfontosabb, hogy mit NE csináljon! A feladatokat kisebb részre kell osztani, modulárisan felépíteni a feladatot, a modulokat külön csiszoltatni vele.

Nekem saját gépen megy, 20 magos proci 32Gddr5 ram 16G vga, ollama-t felteszed és kiválasztod melyik modelt szeretnéd használni és mehet a játék.

Meg a MacMinit is sokan használják erre, mert a vram ugyanaz mint a rendes, tehát jó sok, és "annyira nem drága". Akinek kell ugye..

Mire képes egy ilyen lokálisan futó AI szerver? Pl. tud-e magyarul megadott instrukciók alapján, bármilyen nyelvű weboldalakon információkat keresni - és megtalálni? Képes azoknak az információknak a kiszűrésére amelyek lefedik a kérdés lényegét?

Na ez engem is érdekelne. Illetve hogy mennyit fogyaszt.

Említettem, hogy ilyen általános kérdésre nincs jó válasz.

Ami tudható: ugyanaz a környezet képes otthon is modellt futtatni, ill. a felhős modellekkel is kommunikálni. És ugyanúgy csatolhatók hozzá ügynökök a helyi gépen, mint a felhős szolgáltatóknál. A "csatolás" olyan, mint bármilyen TCP/IP kliens-szerver architektúra esetén, vagyis meg kell mondani, milyen címen található egy ügynök vagy egy konkrét eszköz.

Ilyen szerverféle az Ollama, ami képes a fentiekre. Arra pedig ráültethető egy GUI szerverféle, és annak segítségével böngészőből, egy lokális címen elérhető az Ollama, vagyis a saját modellünk. Elsőre pont úgy néz ki, mint egy felhős chatfelület, mint a Claude vagy a ChatGPT. Elmenti a korábbi beszélgetéseket stb., csak van admin panelünk is, ahol mindenfélét állítani, hozzáadni lehet.

---
Most már az ügynökök is LLM-ek; egész hierarchiákat lehet belőlük szervezni munkák szétosztására, elvégzésére, csak az ügynök kicsit konkrétabb eszköz, annak vannak belül tooljai, scriptjei, jogosultságai, memóriája, munkafolyamata, több benne a hagyományos értelemben vett kód.

Pl. ha a fő modell keresni akar az Interneten, akkor létezik egy közös protokoll, az MCP, ahogy hozzászól egy ilyen ügynökhöz, ami konkrétan tudja, hogyan kell keresni az interneten, vannak hozzá programjai, sőt röptében is írhat olyanokat adott feladathoz. De még olyan ügynök is lehetséges, ami nem HTTP API-n keresztül kommunikál egy keresőszerverrel, hanem egy adott weboldalon képes a UI-elemeket nyomkodni és elolvasni, és úgy adatokat szerezni - sokat írnak és van köztük nyílt, ingyenes is.

(Az MCP mellett további kulcsszavak: A2A és AG-UI.)

Bár alapból persze egy-két könyvtárra korlátozódik a tevékenységük, az otthoni gépre jobban is rá lehet engedni egy-egy ügynököt, pl. képes egészen bonyolult kereséseket tartalom alapján is elvégezni, vagy reggel átnézni az e-mail-eket és összefoglalót írni belőlük hozzácsapva a napi időjárás-jelentést, de pl. csak akkor, ha egy adott kritériumnak megfelel az időjárás stb. A statisztikák szerint nagyon sokan használják már erre is a hasonló rendszereket, csak ezért említettem meg. De a feladat alján lehetnek hétköznapi tevékenységek is: pl. képek konvertálása valamilyen programmal stb.

Hogy mire elég egy modell, az egyfolytában változik. 20-30 GB-osokkal próbálkozom - egyszer sikerült egy jó nagy memóriájú gépet vennem, úgyhogy hely, az van, fogyasztani meg nem is képes sokat... Éppen most tesztelem, hogy egy régi processzor egy újabb GeForce kártyával mennyivel gyorsabb vagy egyáltalán gyorsabb-e, mint egy újabb processzor 3D kártya nélkül (ahhoz a géphez nem tudom csatlakoztatni), el fogom mondani.

Nincs általános tanácsom, de ahogy elhangzott, az enyém kódkiegészítésre alkalmas, kódírásra viszont csak sokkal kisebb mértékben, inkább csak játéknak - nincs verseny az itthoni és a felhős eszközök közt. De az LLM használatán is rengeteg múlik: előre megtervezett szoftvert sokkal hatékonyabban készít az AI a vibe coding használatánál, csak ahhoz több tudás kell, jobban elképzelni a részleteket, előre kell sok időt belefektetni.

Nálam több percig is eltart, mire egy válasz megérkezik, de ez már alapos megrágását jelenti a problémának. Sokszor a gondolkodásában (ami közben jól követhető, mert kiíratható) több az információ, mint a végeredményben... A számítási sebesség kevés lehet egy alaposabb "érveléshez", ezért sokkal jobban jár az ember a felhős szolgáltatókkal - amíg meg tudja fizetni. Nagyon az elején tartunk abban, hogy kiderüljön, mi és hogyan fenntartható.

A modell méretén az múlik, hogy a kisebbnek nagyobb a pontatlansága, a másik pedig a sebesség. A modellek otthoni futtatását a tömörítés tette lehetővé, aminek persze ára van. Otthon helyszűke miatt kevesebb biten kell tárolni a betanított összefüggéseket, mivel az egésznek egyszerre a RAM-ban kell lennie, ezért romlik a felbontás, nehezebben kerül elő a legmegfelelőbb szó a válaszban stb.

Persze ha van idő kivárni egy-egy választ, az sokat segít. Lehet dobálózni ilyenekkel, hogy kontextusablak, hogy mekkora darabokra, max. hány tokenre kell egy feladatot lebontani, de szerintem a sebesség miatt otthon úgysem lehet kihasználni a lehetőségeket. A ChatGPT 4, ha jól emlékszem, 300 ezer processzormagon futott és hol van az már - persze nem egy ember használta, csak jól hangzik...

Mindenesetre elképesztő, hogy néhány gigabájtba mi minden képes beleférni. Internet-hozzáférés nélkül is szinte mindenről van egy-egy modellben valamennyi információ, nem is olyan kevés. A vektoros, sokdimenziós tárolása az összefüggéseknek, összeillő szavaknak is egyfajta tömörítés, bár nem úgy, ahogy érteni szoktuk, elég misztikus.

A sebességet úgy mérik, hogy hány tokent képes a modell másodpercenként feldolgozni. Ezek hétről hétre változnak, javulnak ugyanazon a hardware-en is, ezt tapasztaltam. Ami nagyon kihat a minőségre. Pár hónappal ezelőtt ugyanannak a modellnek eggyel korábbi változata alig elfogadhatóan tudott magyarul beszélni, a mostani pedig könnyedén teszi ugyanazt.

Tehát: igen, egy átlagos gépen is lehet egy modellel magyarul beszélni egészen jó eredménnyel és akármit is lehet kérdezni tőle, viszont számolni kell a lassúságával, hát még ha ki is kell nyúlnia a webre. Egyelőre mintha sártengerben kellene maratont futni. Ezért nem haladok jobban a lokális tapasztalatokkal. Az ügynökök csatlakoztatása viszont nem gond. Sőt, még lokális magyar text-to-speech engine-t is csatlakoztattam (matatonic/openedai-speech), egészen jól kiolvassa a válaszokat. : -) Nálam csak néhány token/másodperccel megy a rendszer, mivel még nem határoztam el magam, mennyire fejlesszem a hardware-t, így nehéz megmondani, "normál" költséggel meddig lehet most eljutni.

Szia! én offline használom, de ha kiengedem akkor azt is tudja használni, arduino programok írását, javítását offline megírja magyar utasítások alapján. Nem olyan gyors mint az online verziók de nekem elég.

Kb így csinálja.

Úgy látom hwben sem kell túlságosan rá hallgatni. Az a 330ohm a 100 éves halovány ledekhez passzolt, a mai ledekhez inkáb kohm nagyságrend stimmel.

Nem volt érdeklődés, de azért elmondom: végül is a 8 GB-os GeForce kártyát és 16 GB RAM-ot tartalmazó régebbi gép memóriáját szépen egymás után megtöltötte az Ollama egy pont 24 GB körüli modellel (Qwen 3.6), így egy kicsit fürgébb lett a kb. háromszor gyorsabb, de csak CPU-t tartalmazó (+IGP-s) gépemnél.

Egyes táblázatokban szépen látszik, meddig lehet eljutni és milyen áron: minél nagyobb 3D-s kártya a jó, vagy akár több is, minél nagyobb memóriával. Ebből már a fogyasztást is meg lehet saccolni, bár ez a rendszer nem tudott 100 százalékon pörögni. És akkor a néhány soros Arduino programoknál többel is meg lehet próbálkozni. Persze lehet, hogy a jövő héten vagy a jövő hónapban megint más lesz a helyzet.

Pedig figyelem a témát, igaz csendben.
Sajnos a RAM és videókártya árak nagyon elszálltak, sőt az SSD árak is.
Nekem 24GB RAM (nem mai, DDR3...) és egy 2GB-os GTX 750Ti (ez se mai) kártyám van.
A RAM még talán elég lenne valamire, de a kártya gondolom semmire. Másikat meg nem akarok venni, szóval egyelőre csak csendes megfigyelő vagyok.

ha nem csak annyit mondasz neki hogy találjon ki magától valamit, akkor amit megadsz lp milyen leded van, már is azzal kalkulál..

Akkor régebbi kripto bányász gépet érdemes lenne AI-ra venni?