🧑 ⚖️ Trợ lý pháp lý đa đại lý - RAG cực nhanh. Được hỗ trợ bởi CrewAI, bản demo này truy vấn 50 triệu + vectơ trong <30 mili giây bằng cách sử dụng lượng tử hóa nhị phân để đưa ra các câu trả lời pháp lý được trích dẫn. Được xây dựng bởi @akshay_pachaar.

Tôi vừa xuất bản một notebook Jupyter ngắn gọn, từng bước hướng dẫn cách xây dựng một LLM tùy chỉnh cho @crewAIInc, gọi API Messages của @AnthropicAI và thực hiện việc lưu trữ prompt. Vậy, lưu trữ prompt là gì và khi nào bạn nên sử dụng nó trong nhóm của mình? Đó là một cách để lưu trữ phần dài, lặp lại của prompt (thường là ngữ cảnh hệ thống) giữa các cuộc gọi API. Bạn gửi nó một lần, sau đó các cuộc gọi tiếp theo sẽ tái sử dụng nó; giảm chi phí đầu vào khoảng 90% và tăng tốc độ thời gian đến token đầu tiên khoảng 85% cho các prompt dài, miễn là nội dung hệ thống + mô hình + tiêu đề vẫn giữ nguyên và bạn nằm trong TTL (mặc định 5 phút, beta 1 giờ). Điều này hoạt động rất tốt cho các nhóm trò chuyện, nhiều lượt. Cũng hữu ích bất cứ khi nào nhóm của bạn tái sử dụng một ngữ cảnh hệ thống dài, ổn định qua các nhiệm vụ (nghĩ: sổ tay, đặc tả, tóm tắt mã nguồn). Nếu ngữ cảnh/hệ thống của bạn thay đổi mỗi lần gọi, việc lưu trữ sẽ không giúp ích nhiều. Sách hướng dẫn sử dụng "Frankenstein" từ Project Gutenberg để minh họa việc lưu trữ với ngữ cảnh dài thực tế. Sơ đồ bên dưới: lần chạy đầu tiên ghi vào bộ nhớ cache; các lần chạy tiếp theo đọc từ bộ nhớ cache khi nội dung hệ thống, mô hình và tiêu đề khớp trong TTL.

chúng tôi hiện đang chạy @crewAIInc Studio mới của mình trong giai đoạn beta nhưng sẽ sớm ra mắt chính thức! cho đến nay, thật tuyệt vời khi thấy phản ứng của mọi người khi họ lần đầu tiên thấy nó hoạt động. tôi đã ghi lại một đoạn video ngắn giới thiệu về việc lập trình một agent thông qua nền tảng của chúng tôi và làm cho nó hoạt động mà không cần viết một dòng mã nào và tất cả chỉ trong vài phút ngắn ngủi.