Eklentiler, istek üst modele gönderilmeden önce çalışır. Token kullanımını azaltmaya, hassas verileri maskelemeye ve ekip kayıtlarını kendi depolamanızda tutmaya yardımcı olur.
Uyumlu API akışını değiştirmeden maliyet, gizlilik ve denetim kontrolleri ekleyin.
Konum
İstek öncesi
Nihai payload gönderilmeden önce çalışır.
Amaç
Daha fazla kontrol
Gereksiz token ve yanlışlıkla veri paylaşımını azaltır.
Durum
Kısmen yayında
Sıkıştırma yayında; maskeleme ve denetim geliştiriliyor.
Uzun prompt'ları anlamı koruyarak kısaltın.
Tekrarlı talimatları ve uzun bağlamı sıkıştırarak token maliyetini ve bağlam yükünü azaltır.
Use cases
Uzun ajan oturumları
Aşırı uzun RAG belgeleri
Guardrails
Yüksek riskli işlerde özgün ve sıkıştırılmış sonucu karşılaştırın.
Örnek
Önce
SYSTEM: Follow the company policy below... [2,000 tokens of repeated governance text] USER: Summarize the latest incident report and propose three next actions.
Sonra
SYSTEM: Apply the approved governance rules, privacy posture, and escalation policy from profile A. USER: Summarize the latest incident report and propose three next actions.
Hassas verileri modelden önce maskeleyin.
Şifre, API anahtarı ve kişisel tanımlayıcıları kararlı yer tutucularla değiştirir.
Use cases
Destek kayıtları
Log ve yapılandırma analizi
Guardrails
Tam bir veri sınıflandırma programının yerini almaz.
Örnek
Önce
User says their password is hunter2, API key sk-live-abc123, and Personal ID CN-556677 before requesting account recovery guidance.
Sonra
User says their password is [Password], API key [APIKEY], and Personal ID [Personal ID] before requesting account recovery guidance.
LLM kayıtlarını kendi S3 veya OSS alanınızda tutun.
İstek ve yanıtları takımın yönettiği depoya yazar ve yetkili yöneticiler için denetim görünümü sağlar.
Use cases
İç denetim
Güvenlik incelemesi
Guardrails
Depolama ve erişim izinlerini takım yönetir.
Örnek
Önce
Request is forwarded to the upstream model. The response is returned to the caller. No message content is stored anywhere by LingCoreX.
Sonra
Before the response is returned the full request and response payload is written to the team's S3 / OSS bucket. Admins can then open the audit tool to inspect prompt content and raw logs per team member.
Eklenti katmanı yeni istek yönetimi yetenekleriyle genişletilebilir.