Ollama Nedir? Yerel Yapay Zeka Host Etme Rehberi

Ollama Nedir ve Neden Yerel Yapay Zeka Host Etmelisiniz?

Ollama, sunucunuzda yerel olarak büyük dil modelleri (LLM) çalıştırmanıza olanak tanıyan açık kaynaklı bir yazılım platformudur. 2023 yılında piyasaya sürülen Ollama, yapay zeka altyapı çözümleri arasında hızla popülerlik kazanmıştır. Mistral, Llama 3, CodeLlama ve Gemma gibi popüler modelleri tek bir komutla indirebilir ve çalıştırabilirsiniz.

Gartner'ın 2024 raporuna göre, kurumsal yapay zeka kullanımının %67'si gizlilik endişeleri nedeniyle yerel çözümleri tercih etmektedir. Ollama tam da bu ihtiyaca yanıt vererek, verilerinizi hiçbir bulut servisine göndermeden yerel ortamda yapay zeka işlemleri yapmanızı sağlar.

Ollama'ın Temel Özellikleri

• Tek Komutlu Kurulum: macOS, Linux ve Windows'ta dakikalar içinde kurulum
• Geniş Model Desteği: 100'den fazla açık kaynak model desteği
• API Entegrasyonu: OpenAI uyumlu API ile kolay entegrasyon
• GPU Hızlandırma: NVIDIA ve AMD GPU'larda CUDA desteği
• Minimal Kaynak Kullanımı: Optimize edilmiş inference motoru

Sunucu Gereksinimleri ve Donanım

Ollama'yı verimli kullanmak için donanım gereksinimlerini doğru belirlemek kritik öneme sahiptir. Aşağıdaki tablo, farklı model boyutları için önerilen donanım konfigürasyonlarını göstermektedir:

Model Boyutu	Önerilen RAM	GPU Gereksinimi	Depolama Alanı
7B parametre	16 GB	8 GB VRAM (RTX 3070+)	10-15 GB
13B parametre	32 GB	12 GB VRAM (RTX 4080+)	25-30 GB
70B parametre	64+ GB	24+ GB VRAM (A100/H100)	150+ GB

Eğer henüz bir bulut sunucu veya VDS sunucunuz yoksa, Ollama için optimize edilmiş GPU sunucularını değerlendirebilirsiniz.

İşletim Sistemi Desteği

Ollama, Linux dağıtımlarında en iyi performansı sunar. Ubuntu 20.04+, Debian 11+ ve Rocky Linux 9+ üzerinde sorunsuz çalışır. macOS ve Windows WSL2 üzerinde de desteklenmektedir.

Ollama Kurulum Adımları

1. Adım: Linux'ta Kurulum

Terminali açın ve aşağıdaki komutu çalıştırın:

curl -fsSL https://ollama.com/install.sh | sh

Bu komut, Ollama'yı sisteminize indirir ve kurulumu otomatik olarak tamamlar. Kurulum tamamlandıktan sonra versiyon kontrolü yapabilirsiniz:

ollama --version

2. Adım: Model İndirme

Kurulum tamamlandıktan sonra, istediğiniz modeli indirebilirsiniz. Başlangıç için llama3 modeli önerilir:

ollama pull llama3

Diğer popüler modeller için:

ollama pull mistral    # Hızlı ve verimli
ollama pull codellama  # Kod yazımı için optimize
ollama pull gemma      # Google'ın modeli

3. Adım: Modeli Çalıştırma

İndirdiğiniz modeli interaktif modda çalıştırmak için:

ollama run llama3

Artık modelle sohbet edebilirsiniz. Modeli arka planda API olarak çalıştırmak için ise:

ollama serve

API Kullanımı ve Entegrasyon

Ollama, OpenAI uyumlu bir API sunar. Bu sayede mevcut uygulamalarınızı minimal değişikliklerle yerel yapay zekaya yönlendirebilirsiniz. Varsayılan olarak API, 11434 portunda çalışır.

Python ile API Kullanımı

import requests

response = requests.post(
    "http://localhost:11434/api/generate",
    json={
        "model": "llama3",
        "prompt": "Türkiye'nin başkenti nedir?",
        "stream": False
    }
)

print(response.json()["response"])

cURL ile API Kullanımı

curl -X POST http://localhost:11434/api/generate \
  -d '{"model": "llama3", "prompt": "Merhaba", "stream": false}'

Bu API yapısı, cPanel veya diğer hosting panelleriyle entegre edilmiş uygulamalarınızda kolayca kullanılabilir.

Ollama vs Bulut Yapay Zeka Çözümleri

Yerel AI host etme ile bulut çözümleri arasındaki temel farkları bilmek, doğru karar vermenize yardımcı olacaktır:

Zorunlu

Özellik	Ollama (Yerel)	OpenAI (Bulut)	AWS Bedrock (Bulut)
Gizlilik	%100 yerel veri	Veriler buluta gider	Veriler buluta gider
Maliyet	Sabit sunucu maliyeti	Kullanım bazlı	Kullanım bazlı
Gecikme	<10ms	200-2000ms	150-1500ms
İnternet Bağımlılığı	Yok	Zorunlu
Özelleştirme	Fine-tuning mümkün	Sınırlı	Sınırlı

IDC'nin araştırmasına göre, yerel AI çözümleri orta ölçekli işletmelerde yıllık %40'a varan maliyet tasarrufu sağlayabilmektedir.

Güvenlik ve Gizlilik Avantajları

Siber güvenlik açısından Ollama kullanmanın kritik avantajları bulunmaktadır:

1. Veri Sınırları İçinde Kalır: Müşteri verileriniz hiçbir zaman sunucunuzdan çıkmaz
2. Regülasyon Uyumluluğu: GDPR, KVKK gibi düzenlemelerde verileriniz kontrolünüzde kalır
3. İç Tehditlere Karşı Koruma: Çalışanlar dahil hiç kimse verileri dışarı aktaramaz
4. Offline Çalışma: İnternet bağlantısı olmadan da AI hizmeti verebilirsiniz

Özellikle e-ticaret hosting çözümlerinde, müşteri sipariş verileri ve kişisel bilgileri ile çalışan yapay zeka sistemleri için Ollama ideal bir seçimdir.

Kullanım Senaryoları ve Örnekler

1. Müşteri Destek Otomasyonu

Ollama'yı kullanarak şirket içi bir müşteri destek chatbot'u oluşturabilirsiniz. Tüm müşteri konuşmaları sunucunuzda kalır ve herhangi bir üçüncü taraf yapay zeka servisine veri iletilmez.

2. Kod Asistanı

CodeLlama modelini kullanarak geliştirici ekibinize içsel bir kod asistanı sunabilirsiniz. Kod önerileri ve hata düzeltmeleri yerel olarak yapılır.

3. Doküman İşleme

Şirket içi dokümanlarınızı analiz eden, özetler çıkaran ve arama yapan bir sistem kurabilirsiniz. Hassas işletme verileri koruma altındadır.

4. İçerik Üretimi

pazarlama ve içerik ekibiniz için blog yazıları, sosyal medya içerikleri üreten bir yapay zeka asistanı oluşturabilirsiniz.

Performans Optimizasyonu

Ollama'dan maksimum performans almak için aşağıdaki optimizasyon ipuçlarını uygulayabilirsiniz:

GPU Yapılandırması

GPU kullanımını yapılandırmak için environment variable'ları ayarlayabilirsiniz:

export OLLAMA_GPU_OVERHEAD=0
export OLLAMA_NUM_PARALLEL=4

Model Cache Ayarları

Sık kullandığınız modelleri memory'de tutmak için:

export OLLAMA_KEEP_ALIVE=5m

Bu ayar, modellerin 5 dakika boyunca bellekte kalmasını sağlar.

Quantization Seçenekleri

Daha düşük kaynak kullanımı için quantized modelleri tercih edebilirsiniz:

ollama pull llama3:8b-instruct-q4_K_M

Bu format, model boyutunu yaklaşık %40 oranında azaltır ve daha düşük donanım gereksinimleriyle çalışmasını sağlar.

Yaygın Hatalar ve Çözümleri

"Model not found" Hatası

Bu hata, modeli indirmeden önce çalıştırmaya çalıştığınızda ortaya çıkar. Çözüm:

ollama pull [model-adı]
ollama run [model-adı]

Yetersiz Bellek Hatası

RAM yetersizliğinde model çalışmaz. Çözüm olarak daha küçük bir model kullanın veya web hosting planınızı yükseltin.

GPU Tanınmama Sorunu

NVIDIA GPU için CUDA driver'larının kurulu olduğundan emin olun:

nvidia-smi

Bu komut GPU'nun görünüp görünmediğini kontrol eder.

Sonuç ve Öneriler

Ollama, kurumların yapay zeka teknolojisini kendi altyapılarında barındırması için güçlü ve esnek bir çözüm sunmaktadır. Özellikle gizlilik, veri güvenliği ve maliyet kontrolü öncelikli olan işletmeler için ideal bir seçimdir.

Başlangıç için 7B parametreli bir model ile denemeler yapmanızı, ardından ihtiyacınıza göre ölçeklendirme yapmanızı öneririz. Sunucu hizmetlerimiz ile Ollama kurulumu ve yapılandırması için destek alabilirsiniz.

Yerel yapay zeka host etme trendi, 2025 yılında %45 büyüme beklenen bir pazar segmenti oluşturmaktadır. Bu teknolojiye erken adapte olmak, işletmenize rekabet avantajı sağlayacaktır.