Khai nguyên
Đổi mới thời gian: 2024-07-09 14:28:03
Mới nhấtĐứng đầu

Dẫn đầu LLM phục vụ cung cấp ngôi cao

Mooncake là Kimi phục vụ ngôi cao, từ Moonshot AI cung cấp, là một cái dẫn đầu đại hình ngôn ngữ mô hình (LLM) phục vụ. Nó chọn dùng lấy KVCache vì trung tâm giải ngẫu giá cấu, thông qua chia lìa dự bỏ thêm vào (prefill) giải hòa mã (decoding) tụ quần, cùng với lợi dụng GPU tụ quần trung chưa đầy đủ lợi dụng CPU, DRAM cùng SSD tài nguyên tới thực hiện KVCache giải ngẫu hoãn tồn. Mooncake trung tâm là này KVCache trung tâm điều hành khí, nó ở bảo đảm thỏa mãn lùi lại tương quan phục vụ cấp bậc mục tiêu (SLOs) yêu cầu đồng thời, cân bằng lớn nhất hóa chỉnh thể hữu hiệu phun ra nuốt vào lượng. Cùng truyền thống nghiên cứu bất đồng, Mooncake đối mặt chính là độ cao quá tải cảnh tượng, vì thế khai phá căn cứ vào đoán trước lúc đầu cự tuyệt sách lược. Thực nghiệm cho thấy, Mooncake ở bề trên bên dưới cảnh tượng trung biểu hiện xuất sắc, cùng dây chuẩn phương pháp so sánh với, ở nào đó bắt chước cảnh tượng trung phun ra nuốt vào lượng nhưng đề cao 525%, đồng thời tuân thủ SLOs. Ở thực tế công tác phụ tải hạ, Mooncake sáng tạo giá cấu sử Kimi có thể xử lý 75% trở lên thỉnh cầu.

© 2024 AIbaseLập hồ sơ hào: Mân ICP bị 08105208 hào -14

Riêng tư chính sách

Người dùng hiệp nghị

Ý kiến phản hồiTrang web bản đồ