A fórum tagjai között épített már valaki AI szervert házilag olcsón? Egyre többet hibáznak a "nagy" AI-k és már bevallom elég volt etetni őket. Annyiba kerül lassan, mint egy saját szerver.

Először nem árt tisztázni a felhasználást. Egy otthoni LLM általános kérdezz-felelekre, kutatásra, alkotásra, komolyabb szoftverírásra nem lesz alkalmas, nyomába sem fog érni a felhős modelleknek sebességben vagy képességekben. Mindkettő számít.

Viszont egyszerűbb, ismétlődőbb feladatokra igen, pl. asszisztensnek az otthoni gépedre; diktálásra, folyamatok automatizálására, keresgélésre az Interneten vagy akár kódsorok kiegészítésére. Lassan kialakul ez is, hogy nem csak egy nagy LLM-ben, hanem több kisebb, konkrét feladatokra alkalmazott LLM-ben is fogunk gondolkodni.

Nálam nagy memória van, de egy mini-PC gyors, de átlagosnak számító processzorral. Elég folyamatosan jön a szöveg a modellből, de 3-5 perc egy kérdésre egy válasz. Sokat lehetne javítani, de még nem látom, hogy mit lenne érdemes nemcsak megvenni, hanem pár év után, mikor elavult, újra megvenni és így tovább. Ha a teljes költséget számolod, nem olyan rossz dolog az előfizetés. Visszaesések lehetségesek, mikor úgy érzed, hogy romlott valami, de összességében nem lehet akkora visszalépés. Az összeg nyilván nem mindegy.

Olcsó biztosan nem lesz olyasmi, amit éppen a világ nagy része próbál így vagy úgy használni vagy megszerezni magának... Azt másfél évvel ezelőtt kellett volna megtenni, sőt megint hw-drágulási hullám előtt állunk.

Igazad van, és mégse!
Nagyon jól kell tudni promtolni! Meg kell neki mondani, mit csináljon és hogyan! És ami a legfontosabb, hogy mit NE csináljon! A feladatokat kisebb részre kell osztani, modulárisan felépíteni a feladatot, a modulokat külön csiszoltatni vele.

Nekem saját gépen megy, 20 magos proci 32Gddr5 ram 16G vga, ollama-t felteszed és kiválasztod melyik modelt szeretnéd használni és mehet a játék.