Cốc ca tối cường khai nguyên mô hình Gemma 2 phát bố! 270 ức tham sổ kỳ tập Llama 3, đan trương A100 khả toàn tinh độ thôi lý

Tác giả | ZeR0

Biên tập | mạc ảnh

Trí đông tây 6 nguyệt 28 nhật báo đạo, tạc vãn, cốc ca tại I/O Connect đại hội thượng phóng đại chiêu, công bố kỳ tân nhất đại tối cường khai nguyên mô hình ——Gemma 2.

Gemma 2Hữu 90 ức ( 9B ) hòa 270 ức ( 27B ) lưỡng chủng tham sổ quy mô khả dụng.27B mô hình huấn luyện liễu 13T tokens, 9B thị 8T tokens, đô ủng hữu 8192 thượng hạ văn song khẩu, khả tại Google AI Studio trung sử dụng.26 ức tham sổ ( 2.6B ) mô hình tương ngận khoái phát bố,Tiểu đáo khả dĩ tại thủ cơ bổn địa vận hành.

Tại manh trắc đại ngữ ngôn mô hình cạnh kỹ tràng LMSYS Chatbot Arena trung,270 ức tham sổ đích Gemma 2 chỉ lệnh vi điều mô hình kích bại liễu ủng hữu 700 ức tham sổ đích Llama 3, tịnh siêu quá Nemotron 4 340B, Claude 3 Sonnet,Command R+, Qwen 72B đẳng mô hình, tại sở hữu khai nguyên quyền trọng đích mô hình trung vị liệt đệ nhất; 9B mô hình tắc thị đương tiền 15B dĩ hạ tham sổ đích mô hình trung thành tích tối hảo đích.

Cốc ca tại kim niên tảo ta thời hầu thôi xuất khinh lượng cấp tiên tiến khai nguyên mô hình Gemma, chỉ hữu 2B hòa 7B tham sổ bản bổn, hạ tái lượng siêu quá 1000 vạn thứ. Gemma 2Hàm cái tòng 20 ức đáo 270 ức tham sổ,Bỉ đệ nhất đại tính năng canh cao, thôi lý hiệu suất canh cao, tịnh thả hiển trứ cải tiến an toàn tính. Giá thị cai hệ liệt mô hình mại xuất đích nhất đại bộ.

270 ức tham sổ đích Gemma 2 đề cung liễuDữLưỡng bội dĩ thượng tham sổ đích mô hình cạnh tranh đích thế đại phương án,Đề cung liễu trực đáo khứ niên 12 nguyệt tài khả năng thật hiện đích tính năng, nhi thảKhả dĩ tại đan cá anh vĩ đạt A100/H100 Tensor Core GPU hoặc TPU chủ cơ thượng dĩ toàn tinh độ cao hiệu vận hành thôi lý,Đại đại hàng đê liễu bộ thự thành bổn.

Tại Hugging Face đích cơ chuẩn thượng, cốc ca tương Gemma 2 27B dữ cụ hữu loại tự xích thốn đích Qwen1.5 32B tiến hành liễu bỉ giác, hoàn báo cáo liễu Llama 3 70B đích tính năng. Gemma 2 27B đích xích thốn chỉ hữu Llama 3 70B đích40%,Huấn luyện sổ cư thiếu đáo Llama 3 70B đích2/3.Kết quả hiển kỳ,Gemma 2 27B ưu vu Qwen1.5 32B, bỉ Llama 3 70B đê kỉ cá bách phân điểm.

Nhất, trọng tân thiết kế giá cấu, Gemma 2 hữu tam đại đặc điểm

Gemma 2 đích kỹ thuật báo cáo cộng 15 hiệt, giới thiệu liễu kỳ giá cấu đích đa hạng kỹ thuật cải tiến, bao quát giao thế sử dụng cục bộ - toàn cục chú ý lực cơ chế hòa phân tổ tra tuân chú ý lực, hoàn sử dụng tri thức chưng lựu nhi bất thị hạ nhất cá token dự trắc lai bang trợ huấn luyện giác tiểu đích 2B hòa 9B mô hình.

▲Gemma mô hình đích tham sổ lượng

2.6B mô hình tại nhất cá TPUv5e tập quần đích 2x16x16 phối trí thượng huấn luyện, tổng cộng dụng liễu 512 trương tâm phiến. 9B mô hình tại TPUv4 tập quần đích 8x16x32 phối trí thượng huấn luyện, tổng cộng 4096 trương tâm phiến. 27B mô hình tại TPUv5p tập quần đích 8x24x32 phối trí thượng huấn luyện, tổng cộng dụng liễu 6144 trương tâm phiến.

▲ dụng thiết phân huấn luyện cơ sở thiết thi

Châm đối canh cao đích tính năng hòa thôi lý hiệu suất, cốc ca tại trọng tân thiết kế đích giá cấu thượng cấu kiến liễu Gemma 2. Cai mô hình thải dụng dữ Gemma 1.1 tương tự đích toán pháp phối phương, đãn dụng liễu canh đa đích teacher giam đốc tịnh chấp hành liễu mô hình hợp tịnh. Tại biên trình, sổ học, thôi lý, an toàn đẳng năng lực thượng, Gemma 2 đô bỉ 1.1 bản bổn đề thăng hiển trứ.

▲ chủ yếu mô hình tham sổ cập thiết kế tuyển trạch đích khái thuật

Kết quả, Gemma 2 mô hình tại kỳ quy mô thượng đề cung liễu tối giai tính năng, thậm chí đề cung liễu dữ đại 2-3 bội đích mô hình cạnh tranh đích thế đại phương án. Dĩ hạ thị kỳ đột xuất đích đặc điểm:

( 1 ) trác việt tính năng:Gemma 2 27B tại kỳ đồng loại đại tiểu trung đề cung liễu tối giai tính năng, thậm chí đề cung liễu dữ lưỡng bội dĩ thượng đại tiểu đích mô hình cạnh tranh đích thế đại phương án. Gemma 2 9B mô hình dã đề cung liễu lĩnh tiên đích tính năng, siêu quá liễu Llama 3 8B hòa kỳ tha đồng loại đại tiểu đích khai nguyên mô hình.

Cốc ca tại các chủng cơ chuẩn thượng bỉ giác 2.6B, 9B cập 27B mô hình, báo cáo liễu khả dĩ dữ Llama 3 tiến hành bỉ giác đích 8 cá cơ chuẩn trắc thí đích bình quân tính năng, dĩ cập sở hữu cơ chuẩn trắc thí đích bình quân tính năng. Llama 3 8B đích sổ cư lai tự HuggingFace leaderboard hoặc kỳ bác khách.

Tại MMLU thượng, 9B mô hình đắc phân vi 71.3, 27B mô hình vi 75.2; tại AGIEval thượng, 9B mô hình đắc phân 52.8, 27B mô hình đắc phân 55.1; tại HumanEval thượng, 9B mô hình đắc phân 40.2, 27B mô hình đắc phân 51.8.

( 2 ) vô dữ luân bỉ đích hiệu suất hòa thành bổn tiết tỉnh:Gemma 2 27B mô hình thiết kế dụng vu tại đan cá cốc ca vân TPU chủ cơ, anh vĩ đạt A100 80GB Tensor Core GPU hoặc H100 Tensor Core GPU thượng cao hiệu vận hành toàn tinh độ thôi lý, tại bảo trì cao tính năng đích đồng thời hiển trứ hàng đê thành bổn. Giá sử đắc AI bộ thự canh gia dịch vu phóng vấn hòa kinh tế thật huệ.

( 3 ) khóa ngạnh kiện đích khoái tốc thôi lý:Gemma 2 kinh quá ưu hóa, khả dĩ tại các chủng ngạnh kiện thượng dĩ lệnh nhân nan dĩ trí tín đích tốc độ vận hành, ngạnh kiện tòng công năng cường đại đích du hí bút ký bổn điện não hòa cao đoan đài thức cơ đáo cơ vu vân đích thiết trí. Tại Google AI Studio trung dĩ toàn tinh độ thí dụng Gemma 2, tại CPU thượng sử dụng Gemma.cpp đích lượng hóa bản bổn giải tỏa bổn địa tính năng, hoặc tại gia dụng kế toán cơ thượng thông quá Hugging Face Transformers tại anh vĩ đạt RTX hoặc GeForce RTX thượng thí dụng.

Nhị, chi trì thương nghiệp hóa, kiêm dung quảng phiếm khuông giá, phương tiện bộ thự

Gemma 2 vi khai phát giả hòa nghiên cứu nhân viên cấu kiến, kỳ thiết kế canh dung dịch tập thành đáo công tác lưu trình trung:

( 1 ) khai phóng thả khả phóng vấn:Dữ nguyên thủy Gemma mô hình nhất dạng, Gemma 2 dã thị căn cư cốc ca cụ hữu thương nghiệp hữu hảo đích Gemma hứa khả phát bố đích, duẫn hứa khai phát nhân viên hòa nghiên cứu nhân viên phân hưởng hòa thương nghiệp hóa tha môn đích sang tân.

( 2 ) quảng phiếm đích khuông giá kiêm dung tính:Gemma 2 kiêm dung chủ yếu đích AI khuông giá, như Hugging Face Transformers, dĩ cập thông quá nguyên sinh Keras 3.0, vLLM, Gemma.cpp, Llama.cpp hòa Ollama đích JAX, PyTorch hòa TensorFlow. Thử ngoại, Gemma ưu hóa liễu anh vĩ đạt TensorRT-LLM dĩ tại anh vĩ đạt gia tốc cơ sở thiết thi thượng vận hành hoặc tác vi anh vĩ đạt NIM thôi lý vi phục vụ vận hành. Dụng hộ khả dĩ sử dụng Keras hòa Hugging Face tiến hành vi điều. Cốc ca chính tại tích cực nỗ lực thật hiện canh đa tham sổ cao hiệu đích vi điều tuyển hạng.

( 3 ) khinh tùng bộ thự:Tòng hạ cá nguyệt khai thủy, cốc ca vân khách hộ tương năng khinh tùng tại Vertex AI thượng bộ thự hòa quản lý Gemma 2.

Tân đích Gemma Cookbook thị nhất cá bao hàm thật dụng kỳ lệ hòa chỉ nam đích tập hợp, dẫn đạo dụng hộ cấu kiến tự kỷ đích ứng dụng trình tự tịnh vi đặc định nhậm vụ vi điều Gemma 2 mô hình.

Tam, đề cung phụ trách nhậm đích AI khai phát tư nguyên, nghiêm cách trắc thí bình cổ mô hình an toàn tính

Tại phụ trách nhậm đích AI khai phát phương diện, cốc ca đề cung phụ trách nhậm địa cấu kiến hòa bộ thự AI sở nhu đích tư nguyên, bao quát phụ trách nhậm đích sinh thành thức AI công cụ bao. Tối cận khai nguyên đích LLM Comparator bang trợ khai phát giả hòa nghiên cứu nhân viên thâm nhập bình cổ ngữ ngôn mô hình.

Tức nhật khởi, dụng hộ khả sử dụng phối sáo đích Python khố dữ tự kỷ đích mô hình hòa sổ cư tiến hành bỉ giác bình cổ, tịnh tại ứng dụng trình tự trung khả thị hóa kết quả. Thử ngoại, cốc ca chính tại tích cực trí lực vu khai nguyên văn bổn thủy ấn kỹ thuật SynthID, dụng vu Gemma mô hình.

Tại huấn luyện Gemma 2 thời, cốc ca tuân tuần nội bộ an toàn lưu trình, quá lự liễu huấn luyện tiền đích sổ cư, tịnh châm đối nhất sáo toàn diện đích chỉ tiêu tiến hành liễu nghiêm cách đích trắc thí hòa bình cổ, dĩ thức biệt hòa giảm khinh tiềm tại đích thiên kiến hòa phong hiểm. Cốc ca tại dữ an toàn tính hòa đại biểu tính nguy hại tương quan đích đại lượng công cộng cơ chuẩn thượng công bố liễu kỳ kết quả.

▲Gemma 2 IT mô hình hòa Gemma 1.1 IT mô hình đích an toàn học thuật cơ chuẩn kết quả

Kết ngữ: Đại mô hình nghiên phát xu vu thật dụng chủ nghĩa

Cốc ca Gemma 2 đích nghiên cứu tiến triển phản ánh liễu đương tiền đại mô hình nghiên cứu xu thế, tức tham tác dụng canh khinh lượng cấp đích, canh thật dụng đích mô hình lai thật hiện canh cường đích tính năng, tịnh xác bảo dịch bộ thự, dĩ canh hảo địa mãn túc bất đồng đích dụng hộ nhu cầu.

Cốc ca vi khai phát giả hòa nghiên cứu nhân viên đề cung liễu sử dụng giá ta mô hình đích đa chủng đồ kính. Gemma 2 hiện khả tại Google AI Studio trung sử dụng, khả tại một hữu ngạnh kiện yếu cầu đích tình huống hạ trắc thí kỳ 270 ức tham sổ đích toàn bộ tính năng, dã khả dĩ tòng Kaggle hòa Hugging Face Models hạ tái Gemma 2 đích mô hình quyền trọng, Vertex AI Model Garden tức tương thôi xuất.

Thông quá Gemma 2, cốc ca chứng minh liễu chưng lựu thị huấn luyện thử loại mô hình đích hữu hiệu phương pháp, cơ vu thâu xuất khái suất đích huấn luyện năng cú bỉ thuần túy đích hạ nhất cá token dự trắc sản sinh canh đa đích hiệu quả. Mô hình nhưng tồn tại cục hạn tính, nhu yếu vị lai nghiên cứu lai trì tục ưu hóa sự thật tính, đối kháng tính công kích đích lỗ bổng tính dĩ cập thôi lý hòa nhất trí tính.

Vi chi trì nghiên cứu hòa khai phát, Gemma 2 hoàn khả thông quá Kaggle miễn phí hoạch đắc, hoặc thông quá Colab bút ký bổn đích miễn phí tằng hoạch đắc. Thủ thứ sử dụng cốc ca vân phục vụ đích dụng hộ khả năng hữu tư cách hoạch đắc 300 mỹ nguyên đích tích phân. Học thuật nghiên cứu nhân viên khả dĩ thân thỉnh Gemma 2 học thuật nghiên cứu kế hoa, dĩ hoạch đắc cốc ca vân tích phân, gia tốc đối Gemma 2 đích nghiên cứu. Thân thỉnh tiệt chỉ nhật kỳ vi 8 nguyệt 9 nhật.