A fórum tagjai között épített már valaki AI szervert házilag olcsón? Egyre többet hibáznak a "nagy" AI-k és már bevallom elég volt etetni őket. Annyiba kerül lassan, mint egy saját szerver.

Igazad van, és mégse!
Nagyon jól kell tudni promtolni! Meg kell neki mondani, mit csináljon és hogyan! És ami a legfontosabb, hogy mit NE csináljon! A feladatokat kisebb részre kell osztani, modulárisan felépíteni a feladatot, a modulokat külön csiszoltatni vele.

Nekem saját gépen megy, 20 magos proci 32Gddr5 ram 16G vga, ollama-t felteszed és kiválasztod melyik modelt szeretnéd használni és mehet a játék.

Meg a MacMinit is sokan használják erre, mert a vram ugyanaz mint a rendes, tehát jó sok, és "annyira nem drága". Akinek kell ugye..

Mire képes egy ilyen lokálisan futó AI szerver? Pl. tud-e magyarul megadott instrukciók alapján, bármilyen nyelvű weboldalakon információkat keresni - és megtalálni? Képes azoknak az információknak a kiszűrésére amelyek lefedik a kérdés lényegét?

Na ez engem is érdekelne. Illetve hogy mennyit fogyaszt.

Szia! én offline használom, de ha kiengedem akkor azt is tudja használni, arduino programok írását, javítását offline megírja magyar utasítások alapján. Nem olyan gyors mint az online verziók de nekem elég.

Kb így csinálja.

Úgy látom hwben sem kell túlságosan rá hallgatni. Az a 330ohm a 100 éves halovány ledekhez passzolt, a mai ledekhez inkáb kohm nagyságrend stimmel.

Pedig figyelem a témát, igaz csendben.
Sajnos a RAM és videókártya árak nagyon elszálltak, sőt az SSD árak is.
Nekem 24GB RAM (nem mai, DDR3...) és egy 2GB-os GTX 750Ti (ez se mai) kártyám van.
A RAM még talán elég lenne valamire, de a kártya gondolom semmire. Másikat meg nem akarok venni, szóval egyelőre csak csendes megfigyelő vagyok.

ha nem csak annyit mondasz neki hogy találjon ki magától valamit, akkor amit megadsz lp milyen leded van, már is azzal kalkulál..

Akkor régebbi kripto bányász gépet érdemes lenne AI-ra venni?