A Lokális LM korlátait tudtommal nem tudod átlépni, hacsak nem fizetős API kulcsos felhős model-t használsz. Letölthető model pont azért van, mert az a "Tied" lesz, használhatod korlátlanul, cenzúrázatlanul.
Viszont! A Ram-ot a CPU kezeli, ami veszettül lassú! Az szinte mindegy, mennyi van a gépben, 8Gb is lehet(ne - de azzal meg már az OP rendszer sem megy ) A 2Gb VRam-od iszonyat kevés, azzal meg sem próbálnám. Percekbe telik, mire válasz jön, mert csak szeletekben tudná feldolgozni a modelt (és közben Ram-ba vagy virtuális memóriába ment) - emiatt még lassabb lenne...
Amolyan ökölszabályként elmondtahó talán, hogy egy 7B-s model már egészen használható, de ahhoz a model mérete legyen legalább a VRam, +a gépnek is kell.12Gb-os kártyával már elérheted az online minőséget; persze lassabb lesz, de korlátozás nélküli. Az ollama.com-on tudod megnézni a model-eket, amik letölthetőek - van nyílt és vannak licenszelhető (fizetős) is, rá tudsz nézni, melyik mire jó. Mistral egy jó kezdet lehet, ingyenes, 7B, 8-al talán de 12Gb VRammal simán fut. Programozni inkább Qwen...

Ollama van fent, de mondom, nem "mertem" használni, a nem létező videókártya miatt! Erre meg most nem akarok költeni. Én is oda jutottam, hogy minimum 12GB, de inkább több. Most a Openrouter ingyenes modelljeit igyekszem használni, csak kompatibilitási problémák akadnak néha.

Most rákérdeztem a ChatGPT-nél (bár ez fizetős) és azt mondja hogy van tanult információja és azok összefüggései (nyilván), és ha úgy érzi akkor neten hozzákeres azonnal. Amúgy amikor volt ez az utolsó SpaceX fellövés, rékerestem a felszálló tömegre meg egyéb paraméterekre, konkrétan arra a fellövésre hogy mi a legfrissebb amiról tud, és azt válaszolta meg amit éppen élőben néztem YTB. Szóval ez nem tudom honnan jött hogy egy éves adathalmaz..
Tippelem hogy teljesen laikusként programoztattál le valamit, vagy nagyon általánosságban fogalmaztad meg amit akartál. Nekem a saját pár éve félig megírt (némelyik forrásfájl többtízezer soros) projektemet olyan szinten írja tovább, hogy az összes plusz eljárást totál átlátom, ha úgy érzi külön fájlokba rakja és becsatolja a projektbe, teljesen magyar neveked ad eljárásneveknek, és ugyanígy magyar változóneveket, és komponensneveket használ, felkommenteli hogy épp mi az, abszolút ugyanabban a stílusban írja ahogyan én írtam évekkel ezelôtt. És amiket nulláról írt nekem (amiket írtam lentebb) projekteket, azok sem tűnnek követhetetlen zagyvaságnak.
Az hogy kinek melyik jobb, szerintem kicsit hit kérdése is, kb. szerintem a FB. sem volt jobb a maga idejében mint a magyar megfelelői (pl. németeknél is volt egy nagyon futó saját kedvenc, az is kihalt), de mindig lesz egy aktuális kedvence az embereknek. Sokszor nem a minőség vagy ergonómia dönt (sok berendezés már rég a feledés homályába került volna ha az ergonómia számítana, de a márkanév eladja a mai napig) hanem a szerencse. Elég arra gondolni hogy tíz(?) éve YTB egyik legtöbbet pörgött videója egy élire állított kenyérszelet volt egy konyhapulton, ami egy idő után eldőlt!