Mamba giá cấu đệ nhất thứ tố đại! Hỗn hợp Transformer, đả bại Transformer

• Phong sắc phát tự ao phi tự
  Lượng tử vị | công chúng hào QbitAI

Tinh thải tinh thải, đệ nhất cá bảBạo hỏa Mamba giá cấuChân chính khoách triển đáoTúc cúĐạiĐích công tác lai liễu.

520 ứcTham sổ, hoàn thịMamba+TransformerHỗn hợp giá cấu.

Tha đích danh tự khiếuJamba.

Thủ lưỡng chủng giá cấu chi trường, mô hình chất lượng hòa hiệu suất kiêm đắc, yếu thôn thổ lượng hữu thôn thổ lượng, yếu đê nội tồn hữu đê nội tồn.

Sơ bộ bào phân hiển kỳ:

• Jamba tính năng tổng thể tiếp cậnMixtral 8x-7B,Xử lý 128k trường thượng hạ văn thờiThôn thổ lượng khước thị kỳ 3 bội

• Nhất cộng chi trì 256k thượng hạ văn, nhiĐan trương A100 GPU tức khả xử lý 140k,Trực tiếp nã hạ đồng đẳng quy mô mô hình chi tối, cao hiệu hựu kinh tế.

Giá hạng thành quả, lai tự dĩ sắc liệt AI công tưAI21labs.

Mamba nguyên tác giảKhán liễu chi hậu đô kích động chuyển phát:

Tuyệt đối đích “Đại tân văn”.

Mamba, Transformer, hợp thể

Do CMU hòa phổ lâm tư đốn đại học đề xuất đích Mamba, giải quyết liễu Transformer đích cục hạn tính ( tùy trứ thôi lý thượng hạ văn việt trường, mô hình nội tồn chiêm dụng lượng việt đại, đồng thời thôi lý tốc độ biến mạn, do thử đạo trí toán lực tiêu háo cự đại ).

Đãn tha dã hữu tự kỷ đíchKhuyết điểm——

Tại bất quan chú chỉnh cá thượng hạ văn đích tình huống hạ, Mamba đíchThâu xuất chất lượng ngận soa,Vưu kỳ thị tại triệu hồi tương quan đích nhậm vụ thượng.

Bổn trứ “Kí yếu dã yếu” đích nguyên tắc, Jamba trạm xuất lai đề cung lưỡng toàn kỳ mỹ chi tác.

Jamba do Transformer, Mamba hòa MoE tằng tổ thành, khả đồng thời ưu hóa nội tồn, thôn thổ lượng hòa tính năng.

Như hạ đồ sở kỳ, vi liễu tập thành lưỡng chủng giá cấu, Jamba thải dụng khối tằng ( blocks-and-layers ) tổ hợp đích sang tân phương pháp.

Giản đan lai thuyết, tựu thị mỗi cá Jamba khối bao hàm nhất cá chú ý lực tằng hoặc nhất cá Mamba tằng, tái cân nhất cá đa tằng cảm tri khí MLP, tổng thể bỉ lệ bảo chứng viMỗi bát tằng nhất cá Transformer tằng.

Kỳ thứ, Jamba lợi dụng MoE lai tăng gia mô hình tham sổ đích tổng lượng, đồng thời giản hóa thôi lý trung sử dụng đích hoạt động tham sổ lượng.

Tối chung mô hình dung lượng cao liễu, kế toán nhu cầu dã một hữu tương ứng đích tăng gia.

Nhi vi liễu tại đan trương GPU ( 80GB ) thượng tối đại hạn độ địa đề cao mô hình thôn thổ lượng, Jamba hoàn ưu hóa liễu sở dụng MoE tằng hòa chuyên gia sổ lượng, tối chung vi nhật thường thôi lý công tác phụ tái lưu xuất túc cú nội tồn.

Trị đắc nhất đề đích thị, tại thôi lý thời, Jamba đích MoE tằng cận nhu 520 ức khả dụng tham sổ trung đích 120 ức, tựu năng đồng thời bảo chứng bỉ đồng đẳng đại tiểu đích cận Transformer mô hình canh cao hiệu.

Yếu tri đạo, thử tiền hữu nhân quang thị thường thí quá khoách triển Mamba, tựu một năng tố đáo 30 ức tham sổ chi thượng.

Nhân thử, trừ liễu thành công hợp thể Mamba hòa Transformer, Jamba dã đạt thành liễu đệ nhị đại thành tựu:

Đồng loại trung đệ nhất cá đạt đáoSinh sản cấp quy mô hòa chất lượngĐích hỗn hợp giá cấu ( SSM hỗn Transformer ) ( ps. Mamba tựu thị nhất chủng trạng thái không gian mô hình SSM ).

Thôn thổ lượng hòa hiệu suất up

Sơ bộ bình cổ hiển kỳ, Jamba tại thôn thổ lượng hòa hiệu suất đẳng quan kiện chỉ tiêu thượng biểu hiện xuất sắc.

Thủ tiên, Jamba khả dĩ tạiTrường thượng hạ văn trung đề cung 3 bội thôn thổ lượng,Bỉ Mixtral 8x7B đẳng đại tiểu tương đương đích Transformer mô hình đô yếu cao hiệu.

Như hạ đồ sở kỳ, đương thượng hạ văn song khẩu đạt đáo 128k thời, Jamba đích mỗi miểu token sổ cận hồ 1500, nhi thử thời biểu hiện tối hảo đích Mixtral 8x7B ứng cai tài tại 500 vãng thượng đích dạng tử.

Kỳ thứ, tại đan trương GPU thượng, Jamba tối đa khả dĩ dung nạp 140k thượng hạ văn, kinh tế hựu cao hiệu.

Tương bỉ chi hạ, Mixtral 8x7B vi 64k, Llama2 70B tắc cận vi 16k.

Đệ tam, Jamba đích thâu xuất chất lượng dã đắc đáo liễu bảo chứng.

Tại như hạ nhất hệ liệt thôi lý cơ chuẩn thượng, 4 hạng trung hữu 3 hạng tha đô nã hạ liễu SOTA. Đồng thời, tại GSM8K đẳng cơ chuẩn thượng, Jamba tức sử một hữu đoạt khôi, dã hòa SOTA mô hình đả liễu cá bất tương thượng hạ.

Tổng thể lai thuyết, Jamba đích tính năng tiếp cận Mixtral 8x7B.

Tối hậu, tác giả đề kỳ, biệt vong liễu, giá ta đô hoàn chỉ thị sơ bộ cải tạo hậu đích kết quả, hậu tục hoàn hữu ngận đa ưu hóa không gian ( bỉ như MoE tịnh hành, canh khoái đích Mamba thật hiện ). Sở dĩ đáo thời tính năng hội canh cường.

Hảo tiêu tức: Jamba hiện tại dĩ kinh thượng tuyến Hugging Face, tịnh thảHoa trọng điểm: Thải dụng apache-2.0 hứa khả.

( Jamba đích chỉ lệnh bản bổn tắc tương ngận khoái thông quá AI21labs bình đài thượng tuyến. )

Võng hữu khán hoàn đô cảm động khóc liễu.

Truyện tống môn:
https://huggingface.co/ai21labs/Jamba-v0.1

Tham khảo liên tiếp:
[1]https://www.ai21.com/blog/announcing-jamba
[2]https://www.ai21.com/jamba
[3]https://twitter.com/AI21Labs/status/1773350888427438424?s=20
[4]https://twitter.com/tri_dao/status/1773418926518734957?s=20