Khai nguyên
Canh tân thời gian: 2024-07-16 09:44:46
Tối tânNhiệt môn

Lĩnh tiên đích LLM phục vụ đề cung bình đài

Mooncake thị Kimi đích phục vụ bình đài, do Moonshot AI đề cung, thị nhất cá lĩnh tiên đích đại hình ngữ ngôn mô hình (LLM) phục vụ. Tha thải dụng liễu dĩ KVCache vi trung tâm đích giải ngẫu giá cấu, thông quá phân ly dự điền sung (prefill) hòa giải mã (decoding) tập quần, dĩ cập lợi dụng GPU tập quần trung vị sung phân lợi dụng đích CPU, DRAM hòa SSD tư nguyên lai thật hiện KVCache đích giải ngẫu hoãn tồn. Mooncake đích hạch tâm thị kỳ KVCache trung tâm điều độ khí, tha tại xác bảo mãn túc diên trì tương quan đích phục vụ cấp biệt mục tiêu (SLOs) yếu cầu đích đồng thời, bình hành tối đại hóa chỉnh thể hữu hiệu thôn thổ lượng. Dữ truyện thống nghiên cứu bất đồng, Mooncake diện đối đích thị cao độ quá tái đích tràng cảnh, vi thử khai phát liễu cơ vu dự trắc đích tảo kỳ cự tuyệt sách lược. Thật nghiệm biểu minh, Mooncake tại trường thượng hạ văn tràng cảnh trung biểu hiện xuất sắc, dữ cơ tuyến phương pháp tương bỉ, tại mỗ ta mô nghĩ tràng cảnh trung thôn thổ lượng khả đề cao 525%, đồng thời tuân thủ SLOs. Tại thật tế công tác phụ tái hạ, Mooncake đích sang tân giá cấu sử Kimi năng cú xử lý 75% dĩ thượng đích thỉnh cầu.