Plugin chạy trước khi yêu cầu được gửi tới mô hình. Chúng giúp giảm token, che dữ liệu nhạy cảm và lưu nhật ký nhóm trong kho của bạn.
Thêm kiểm soát chi phí, riêng tư và audit mà không thay đổi API tương thích.
Vị trí
Trước yêu cầu
Chạy trước khi gửi payload cuối.
Mục tiêu
Kiểm soát tốt hơn
Giảm token thừa và dữ liệu gửi nhầm.
Trạng thái
Đã có một phần
Nén đã hoạt động; che dữ liệu và audit đang phát triển.
Rút gọn prompt dài mà vẫn giữ ý chính.
Giảm chỉ dẫn lặp lại và ngữ cảnh dài để hạ chi phí token.
Use cases
Phiên agent dài
Tài liệu RAG quá dài
Guardrails
So sánh kết quả gốc và nén trong quy trình rủi ro cao.
Ví dụ
Trước
SYSTEM: Follow the company policy below... [2,000 tokens of repeated governance text] USER: Summarize the latest incident report and propose three next actions.
Sau
SYSTEM: Apply the approved governance rules, privacy posture, and escalation policy from profile A. USER: Summarize the latest incident report and propose three next actions.
Che dữ liệu nhạy cảm trước khi tới mô hình.
Thay mật khẩu, khóa API và định danh cá nhân bằng placeholder ổn định.
Use cases
Phiếu hỗ trợ
Phân tích log và cấu hình
Guardrails
Không thay thế hệ thống phân loại dữ liệu đầy đủ.
Ví dụ
Trước
User says their password is hunter2, API key sk-live-abc123, and Personal ID CN-556677 before requesting account recovery guidance.
Sau
User says their password is [Password], API key [APIKEY], and Personal ID [Personal ID] before requesting account recovery guidance.
Lưu nhật ký LLM trong S3 hoặc OSS của nhóm.
Ghi yêu cầu và phản hồi vào kho của nhóm, đồng thời cung cấp giao diện audit cho quản trị viên được phép.
Use cases
Audit nội bộ
Đánh giá bảo mật
Guardrails
Nhóm quản lý kho và quyền truy cập.
Ví dụ
Trước
Request is forwarded to the upstream model. The response is returned to the caller. No message content is stored anywhere by LingCoreX.
Sau
Before the response is returned the full request and response payload is written to the team's S3 / OSS bucket. Admins can then open the audit tool to inspect prompt content and raw logs per team member.
Lớp plugin có thể mở rộng thêm quy tắc xử lý yêu cầu.