Embedding ve Reranker Sunucusu: LLM GPU'sunu Her RAG İsteğinde Embedding İçin Harcamayın
RAG pipeline'da embedding ve reranking, LLM generation'dan farklı inference profilleridir. Ayrı TEI servisi embedding batch'lerini ve cross-encoder reranker isteklerini bağımsız ölçeklemenizi sağlar. Böylece expensive generative GPU yalnız generation için kullanılabilir.
Tek servis hem embedding hem reranking yapabilir mi?
Hugging Face Text Embeddings Inference embedding modellerinin yanında reranker/sequence classification modellerini de destekler. TEI OpenAI-compatible `/v1/embeddings` endpoint'i sunar; reranker modeli için ayrı deployment/endpoint kullanmak kapasite ve model lifecycle yönetimini kolaylaştırır.
Bu sayfadaEmbedding ve Reranker Sunucusu: LLM GPU'sunu Her RAG İsteğinde Embedding İçin Harcamayın
01
RAG retrieval akışı
Embedding ve reranker RAG zincirinde nerede çalışır?
Query önce embedding'e çevrilir, vector DB adayları döndürür, reranker query-document çiftlerini yeniden skorlar ve en iyi context LLM'e gönderilir.
Halkalı merkez mahallesi fatih cd ozgur apt no 46 , Küçükçekmece , İstanbul , 34303 , TR
Türkiye (Türkçe)
Almanya (German)
Worldwide (English)
