Ollama ile yapay zekâyı kendi bilgisayarında çalıştır

Bulut tabanlı sohbet asistanları pratik ama her yazdığın bir sunucuya gidiyor. Hassas bir belgeyle çalışıyorsan ya da sadece merak ediyorsan, modeli kendi bilgisayarında çalıştırmak artık çok kolay. Bu rehberde ücretsiz ve açık kaynak bir araç olan Ollama'yı kullanacağız.

Ne gerekiyor?

• macOS, Windows ya da Linux çalışan bir bilgisayar
• En az 8 GB RAM (küçük modeller için). 16 GB ve üstü daha rahat bir deneyim sunar.
• Model başına birkaç GB boş disk alanı

Pi'nin notu: Ekran kartın varsa modeller çok daha hızlı çalışır, ama şart değil. Apple Silicon (M serisi) Mac'ler bu iş için oldukça iyidir.

1. Ollama'yı kur

Resmî siteden (ollama.com) işletim sistemine uygun kurulum dosyasını indir ve kur. Kurulumdan sonra terminali (Windows'ta PowerShell) aç ve şunu yaz:

ollama --version

Bir sürüm numarası görüyorsan hazırsın.

2. İlk modelini indir ve çalıştır

Küçük ve hızlı bir modelle başlamak en iyisi:

ollama run llama3.2

İlk çalıştırmada model indirilir; bu birkaç dakika sürebilir. Ardından doğrudan sohbet etmeye başlayabilirsin. Çıkmak için /bye yaz.

3. Modelleri yönet

ollama list
ollama pull qwen2.5
ollama rm llama3.2

list yüklü modelleri, pull yeni model indirmeyi, rm silmeyi sağlar. Hangi modellerin bulunduğunu Ollama'nın model kütüphanesinden görebilirsin.

4. Daha rahat bir arayüz istiyorsan

Terminal sana göre değilse, Ollama'ya bağlanan tarayıcı tabanlı arayüzler var. En bilineni Open WebUI. Bunu 3 açık kaynak proje yazımızda anlattık.

Hangi modeli seçmeliyim?

1. 8 GB RAM: 1–3 milyar parametreli küçük modeller
2. 16 GB RAM: 7–8 milyar parametreli modeller (günlük işler için iyi denge)
3. 32 GB ve üstü: Daha büyük ve yetenekli modeller

Türkçe performansı modelden modele değişir. Birkaç modeli aynı soruyla deneyip karşılaştırmak en sağlıklı yöntem.