„ChatGPT" ir „Claude" veikia per serverius JAV. Kiekviena užklausa keliauja ten ir atgal. Nuo 2025 m. yra alternatyva: modeliai, kurie veikia tiesiai ant jūsų kompiuterio.
Kas yra Ollama
Ollama yra nemokama programa (ollama.com). Paleidžia kalbos modelius lokaliai, veikia su „Mac", „Windows" ir „Linux". Diegiasi per 3 minutes.
Ką galima paleisti:
- Llama 3.2 (Meta) — 3B arba 8B versija. Veikia su MacBook Air ir 8 GB RAM.
- Mistral 7B — greitesnis, su anglų kalba tvarkosi gerai.
- Gemma 3 (Google) — 4B versija, skirta mažiems įrenginiams.
- Qwen 2.5 (Alibaba) — 7B versija, tvarko kodą.
Ko reikia
MacBook su 8 GB RAM (M1/M2/M3) užtenka 3–8 mlrd. parametrų modeliams. Su 16 GB galima naudoti 13 mlrd. parametrų modelius. Skirtumas jaučiamas.
„Apple Silicon" čipams Ollama naudoja GPU, todėl greitis žymiai didesnis nei Windows kompiuteriuose su tokiu pačiu RAM kiekiu.
Kada naudoti
Teisiniai tekstai, medicininiai duomenys: niekas neišeina už kompiuterio. Darbas lėktuve ar kaime be ryšio. Kodo ar teksto testavimas be API mokesčių. Tiesiog privatumo reikalas: nėra istorijos, nėra saugomų pokalbių kitur.
Ribos
Lokalūs modeliai nesiekia „GPT-4o" ar „Claude Sonnet" lygio. Sudėtingi klausimai, daugiakalbystė, subtilus kontekstas — komerciniai modeliai vis dar geresni. Bet paprastiems tekstams, kodui, suvestinėms skirtumas nebedidelis.