Langfuse self-hosted stack güncel v4 mimarisinde Web ve Worker container'ları yanında PostgreSQL, ClickHouse, Redis/Valkey ve S3/blob storage kullanır. Trace ingestion yoğunluğu arttıkça bottleneck çoğu zaman tek web container değil worker, ClickHouse veya queue/storage katmanı olur.
Güncel Langfuse v4 altyapısı transactional state için Postgres, trace/observation/score analitiği için ClickHouse, queue/cache için Redis veya Valkey ve raw event/multimodal/export dosyaları için S3/blob storage kullanır. Web request event'i hızlı kabul edip worker daha sonra ClickHouse'a işler.
SDK/API event'i Web container'a yollar; raw event S3'e yazılır, Redis queue'ya reference bırakılır; Worker event'i alıp işler ve ClickHouse'a batch insert yapar.
Her storage bileşeninin backup ve scale yöntemi farklıdır.
Langfuse scaling rehberi worker container'ları CPU load'a göre yatay artırmayı önerir. Web, worker, ClickHouse ve Redis saturation ayrı gözlenmelidir.
Container isimlerini kendi Compose/Kubernetes yapınıza göre değiştirin.
docker compose psdocker stats --no-streamdocker compose logs --tail=100 langfuse-workerdocker compose logs --tail=100 langfuse-webdf -hPostgres, ClickHouse ve S3/blob verileri farklı recovery mekanizmalarına sahiptir. Redis queue/cache state ise durability tasarımına göre değerlendirilmelidir. Upgrade öncesi component uyumluluğu test edilmelidir.
Web/Worker container'ları ile PostgreSQL, ClickHouse, Redis/Valkey ve S3/blob storage temel mimaridir.
Düşük ölçek/test için Docker Compose kullanılabilir; resmî self-host rehberi bunun HA, scale ve backup yeteneklerinin sınırlı olduğunu belirtir.
Trace, observation ve score gibi yüksek hacimli analitik veriyi yüksek write throughput ve hızlı query ile saklamak için kullanılır.
Günlük trace/event hacmi, retention, multimodal dosya, worker sayısı ve HA ihtiyacını iletin; Web/Worker/ClickHouse/Redis/S3 topolojisini çıkaralım.