Dify→Ollama trafiğini public internet yerine private segmentte tutun.
Agent kalitesi yalnız model parametresine bağlı değildir. Dify’ın Ollama endpoint’ine güvenilir erişmesi, context budget, tool schema, RAG retrieval, timeout ve aynı anda kaç agent çalışacağı birlikte performansı belirler.
Agent’a shell, HTTP veya veri yazma tool’u verirken local modelin “güvenli” olmasına güvenmeyin. Model prompt injection alabilir; tool policy ve server-side doğrulama ayrı güvenlik katmanıdır.
Dify ve Ollama aynı Docker network’teyse container içinden `localhost` hostu değil ilgili service/host adresini kullanın. Ayrı sunucudaysa Ollama API’yi public internete çıplak açmak yerine private network/reverse proxy auth kullanın.
Dify ve Ollama aynı Docker network’teyse container içinden `localhost` hostu değil ilgili service/host adresini kullanın. Ayrı sunucudaysa Ollama API’yi public internete çıplak açmak yerine private network/reverse proxy auth kullanın.
Dify ile Ollama local modelini agent workflow’a bağlayın. Network erişimi, model context, tool izinleri, RAG, timeout, concurrency ve production güvenlik tasarımı.
Dify→Ollama trafiğini public internet yerine private segmentte tutun.
Uzun context KV cache ve latency’yi büyütür.
Model değil verilen tool yetkisi gerçek dünya etkisini belirler.
Vector retrieval model training ile aynı şey değildir.
Host tarayıcısından çalışan URL, Dify container network namespace içinde çalışmayabilir. Testi request’i gerçekten yapan container’dan yapın.
docker compose psdocker exec -it docker-api-1 sh -lc "getent hosts host.docker.internal || true"curl http://OLLAMA_HOST:11434/api/tagscurl http://OLLAMA_HOST:11434/api/versionKüçük hızlı model routing/classification için yeterli olabilir; tool planning veya uzun doküman analizi daha yüksek reasoning/context ihtiyacı gösterebilir.
| Görev | Öncelik |
|---|---|
| Intent/router | Düşük latency |
| Tool planning | Instruction following |
| RAG answer | Context + citation discipline |
| Code agent | Tool accuracy + long context |
KV cache belleği ve first-token latency context büyüdükçe artabilir. RAG chunk sayısı ve conversation history için ayrı token budget belirleyin.
Agent’ın erişebileceği tool sayısından çok, her tool’un gerçek etkisi önemlidir. Destructive işlemlerde confirmation ve server-side allow-list kullanın.
| Sınıf | Örnek | Kontrol |
|---|---|---|
| Read | Doküman ara | Scope/filter |
| Write | Ticket oluştur | Schema + idempotency |
| Destructive | Sil/ödeme/deploy | Human approval + allow-list |
Embedding/vector DB’den gelen chunk’lar request context’e eklenir. Doküman değişince modeli yeniden eğitmek yerine index’i güncelleyebilirsiniz.
Bir agent birden fazla model ve tool round-trip yapabilir. “Model 50 tok/s” tek başına workflow kapasitesini göstermez.
| Metrik | Ölçüm |
|---|---|
| TTFT | İlk model yanıt gecikmesi |
| Tool latency | Her tool round-trip p95 |
| End-to-end | Kullanıcı isteği → final cevap |
| Queue wait | Concurrency saturation |
LLM request’i uzun olabilir; payment/write tool’u ise retry’de duplicate side effect üretebilir. Her çağrı tipinin idempotency davranışını bilin.
Eka Sunucu GPU/VPS altyapısında Dify control plane ve Ollama inference için ayrı kaynak profilleri oluşturarak agent concurrency test edebilirsiniz.
Rehber hazırlanırken esas alınan birincil dokümantasyon ve teknik kaynaklar.
İlgili altyapı ve uygulama rehberleriyle devam edin.
Dify + Ollama
Aynı process namespace değilse `localhost` Dify container’ın kendisini ifade eder. Docker network service adı, host gateway veya private IP kullanmanız gerekebilir.
Genellikle hayır. Private network veya authentication ekleyen reverse proxy ile erişimi sınırlandırmak daha güvenlidir.
Dify’nin desteklediği vector store seçenekleri sürüme göre değişebilir; production öncesi güncel self-host dokümanındaki provider/config seçeneklerini doğrulayın.
Hayır. Tool doğruluğu, latency, concurrency, context ve görevin karmaşıklığı birlikte değerlendirilmelidir.