Máy móc chi tâm đưa tin
Biên tập: Trương thiến, Trần Bình
“Grok là một khoản phỏng theo 《 hệ Ngân Hà dạo chơi chỉ nam 》 thiết kế AI…… Đây là chúng ta thông qua hai tháng huấn luyện có thể đạt tới tốt nhất hiệu quả”
Mấy ngày gần đây, mã tư khắc trí tuệ nhân tạo công ty xAI công bố bọn họ dùng để đối tiêu OpenAI ChatGPT sản phẩm ——Grok, trực tiếp đem võng hữu lòng hiếu kỳ kéo mãn.
Cùng luôn là nghiêm trang trả lời vấn đề ChatGPT bất đồng, Grok tự mang hài hước cùng trào phúng kỹ năng.
Tựa như hạ đồ sở triển lãm, Grok ở bị hỏi cập “Nói cho ta như thế nào chế tạo thuốc phiện” loại này nguy hiểm vấn đề khi, nó đầu tiên là làm bộ nghiêm trang mà cấp ra một ít vui đùa dường như đáp án, sau đó lại lấy một loại nhẹ nhàng ngữ khí nói cho ngươi đây là trái pháp luật.
Ở một khác trương chụp hình trung, loại này hài hước cảm biểu hiện đến càng thêm rõ ràng. Grok bị yêu cầu kiểm tra có quan hệ “SBF” gần nhất một ngày tân tin tức ( chú: SBF tên đầy đủ là Sam Bankman-Fried, là mã hóa tiền ngành sản xuất nhân vật phong vân ), kết quả nó dùng trào phúng ngữ khí đem đáp án cho ra tới:
Trừ bỏ này đó chụp hình, vừa mới, xAI còn thông qua blog công bố Grok sau lưng đại mô hình tin tức. Từ blog trung có thể nhìn đến, Grok sau lưng là một cái tên là Grok-1 đại mô hình, cái này mô hình chỉ huấn luyện hai tháng liền đạt tới không tồi trình độ, bất quá cũng không có vượt qua GPT-4, duy trì trên dưới văn chiều dài cũng không dài. Ở huấn luyện trung, cái này mô hình dùng tới rồi chiều sâu học tập dàn giáo Jax, mà không phải PyTorch.
Vì cái gì muốn xây dựng Grok?
Ở blog trung, xAI đầu tiên giới thiệu bọn họ chế tạo Grok nguyện cảnh: Hy vọng sáng tạo một ít AI công cụ, trợ giúp nhân loại tìm kiếm lý giải cùng tri thức.
Cụ thể tới nói, bọn họ hy vọng đạt tới dưới mục tiêu:
Thu thập phản hồi, bảo đảm bọn họ chế tạo AI công cụ có thể lớn nhất hạn độ mà tạo phúc toàn nhân loại. Bọn họ cho rằng, thiết kế ra đối có các loại bối cảnh cùng chính trị quan điểm người đều hữu dụng AI công cụ trọng yếu phi thường. Bọn họ còn hy vọng ở tuân thủ pháp luật tiền đề hạ, thông qua bọn họ AI công cụ tăng cường người dùng năng lực. Grok mục tiêu là thăm dò cũng công khai triển lãm loại này phương pháp;
Tăng cường nghiên cứu cùng sáng tạo năng lực: Bọn họ hy vọng Grok trở thành mọi người cường đại nghiên cứu trợ thủ, trợ giúp bọn họ nhanh chóng thu hoạch tương quan tin tức, xử lý số liệu cũng đưa ra tân ý tưởng.
Bọn họ cuối cùng mục tiêu là làm cho bọn họ AI công cụ trợ giúp mọi người tìm kiếm lý giải.
Ở blog trung, xAI viết nói:
Grok là một khoản phỏng theo 《 hệ Ngân Hà dạo chơi chỉ nam 》 thiết kế AI, có thể trả lời cơ hồ bất luận vấn đề gì, càng khó có thể đáng quý chính là, nó thậm chí có thể kiến nghị ngươi hỏi cái gì vấn đề!
Grok ở trả lời vấn đề khi hơi mang khôi hài cùng phản nghịch, bởi vậy nếu ngươi chán ghét hài hước, thỉnh không cần sử dụng nó!
Grok một cái độc đáo mà cơ bản ưu thế là, nó có thể thông qua X ngôi cao thật khi hiểu biết thế giới. Nó còn có thể trả lời bị đại đa số mặt khác AI hệ thống cự tuyệt cay độc vấn đề.
Grok vẫn cứ là một cái phi thường lúc đầu thí nghiệm bản sản phẩm —— đây là chúng ta thông qua hai tháng huấn luyện có thể đạt tới tốt nhất hiệu quả —— bởi vậy, hy vọng ở ngài dưới sự trợ giúp, nó có thể ở thí nghiệm trung nhanh chóng cải tiến.
Grok-1 bật mí
xAI tỏ vẻ, Grok đối thoại năng lực trước mặt là từ một cái tên là Grok-1 đại mô hình tới chống đỡ, đây là bọn họ ở qua đi bốn tháng thời gian khai phá ra tới. Tại đây đoạn thời gian, Grok-1 đã trải qua nhiều lần thay đổi.
Ở công bố xAI sáng lập tin tức lúc sau, bọn họ huấn luyện một cái 330 trăm triệu tham số LLM nguyên hình ——Grok-0. Cái này lúc đầu mô hình ở tiêu chuẩn LM thí nghiệm tiêu chuẩn cơ bản thượng tiếp cận LLaMA 2 (70B) năng lực, nhưng chỉ sử dụng một nửa huấn luyện tài nguyên. Ở quá khứ hai tháng, bọn họ đối mô hình trinh thám cùng mã hóa năng lực tiến hành rồi trọng đại cải tiến, cuối cùng khai phá ra Grok-1, đây là một khoản công năng càng vì cường đại SOTA ngôn ngữ mô hình, ở HumanEval mã hóa nhiệm vụ trung đạt tới 63.2% thành tích, ở MMLU trung đạt tới 73%.
xAI sử dụng một ít chỉ ở cân nhắc toán học cùng trinh thám năng lực tiêu chuẩn máy móc học tập tiêu chuẩn cơ bản đối Grok-1 tiến hành rồi một loạt đánh giá:
GSM8k: Sơ trung toán học từ đơn vấn đề ( Cobbe et al. 2021 ), sử dụng tư duy liên nhắc nhở;
MMLU: Nhiều ngành học lựa chọn đề ( Hendrycks et al. 2021 ), cung cấp 5 cái in-context thí dụ mẫu;
HumanEval: Python số hiệu bổ toàn nhiệm vụ, ( Chen et al. 2021 ), đối pass@1 tiến hành linh hàng mẫu đánh giá;
MATH: Dùng LaTeX biên soạn sơ trung cùng cao trung toán học vấn đề, ( Hendrycks et al. 2021 ), cung cấp cố định 4-shot nhắc nhở.
Ở này đó tiêu chuẩn cơ bản thí nghiệm trung, Grok-1 biểu hiện ra mạnh mẽ tính năng, vượt qua này tính toán loại trung sở hữu mặt khác mô hình, bao gồm ChatGPT-3.5 cùng Inflection-1. Chỉ có giống GPT-4 như vậy sử dụng đại lượng huấn luyện số liệu cùng tính toán tài nguyên huấn luyện mô hình mới có thể siêu việt nó. xAI tỏ vẻ, này triển lãm bọn họ ở hiệu suất cao huấn luyện LLM phương diện lấy được nhanh chóng tiến triển.
Bất quá, xAI cũng tỏ vẻ, bởi vì này đó tiêu chuẩn cơ bản có thể ở trên mạng tìm được, bọn họ không thể bài trừ mô hình trong lúc vô ý ở này đó số liệu thượng tiến hành huấn luyện. Bởi vậy, bọn họ ở thu thập xong số liệu tập lúc sau, căn cứ cuối tháng 5 ( số liệu hết hạn ngày lúc sau ) công bố 2023 năm Hungary cả nước cao trung toán học cuối kỳ khảo thí đề, đối bọn họ mô hình ( cùng với Claude-2 cùng GPT-4 mô hình ) tiến hành rồi nhân công cho điểm. Kết quả, Grok lấy C cấp ( 59% ) thông qua khảo thí, Claude-2 cũng lấy được cùng loại thành tích ( 55% ), mà GPT-4 tắc lấy 68% thành tích đạt được B cấp. Sở hữu mô hình ở thí nghiệm khi đều đem độ ấm thiết trí vì 0.1, thả bị cấp tới rồi tương đồng nhắc nhở. xAI tỏ vẻ, bọn họ không có vì ứng đối cái này khảo thí mà đặc biệt chuẩn bị hoặc điều chỉnh mô hình.
Phía dưới cái này bảng biểu triển lãm Grok-1 càng nhiều tin tức:
Mô hình chi tiết: Grok-1 là một cái căn cứ vào Transformer tự trở về mô hình. xAI lợi dụng đến từ nhân loại cùng lúc đầu Grok-0 mô hình đại lượng phản hồi đối mô hình tiến hành rồi hơi điều. Mới bắt đầu Grok-1 có thể xử lý 8192 cái token trên dưới văn chiều dài. Mô hình với 2023 năm 11 nguyệt tuyên bố.
Mong muốn sử dụng: Grok-1 đem làm Grok sau lưng động cơ, dùng cho tự nhiên ngôn ngữ xử lý nhiệm vụ, bao gồm hỏi đáp, tin tức kiểm tra, sáng ý viết làm cùng mã hóa phụ trợ.
Cực hạn tính: Tuy rằng Grok-1 ở tin tức xử lý phương diện biểu hiện xuất sắc, nhưng làm nhân loại kiểm tra Grok-1 công tác lấy bảo đảm chuẩn xác tính quan trọng nhất. Grok-1 ngôn ngữ mô hình không cụ bị độc lập tìm tòi internet năng lực. Ở Grok trung bộ thự tìm tòi công cụ cùng số liệu kho có thể tăng cường mô hình năng lực cùng chân thật tính. Cứ việc có thể phỏng vấn phần ngoài tin tức nguyên, nhưng mô hình vẫn sẽ sinh ra ảo giác.
Huấn luyện số liệu: Grok-1 tuyên bố phiên bản sở sử dụng huấn luyện số liệu đến từ tính đến 2023 năm đệ tam quý internet số liệu cùng xAI AI huấn luyện sư cung cấp số liệu.
Đánh giá: xAI ở một loạt trinh thám tiêu chuẩn cơ bản nhiệm vụ cùng nước ngoài toán học khảo thí đề thi trung đối Grok-1 tiến hành rồi đánh giá. Bọn họ cùng lúc đầu Alpha người thí nghiệm hợp tác, lấy đánh giá Grok-1 một cái phiên bản, bao gồm đối kháng tính thí nghiệm. Trước mắt, Grok đã đối một bộ phận lúc đầu người dùng mở ra phong bế thí nghiệm phỏng vấn quyền hạn, tiến thêm một bước mở rộng thí nghiệm đám người.
Grok xây dựng công trình
Ở chiều sâu học tập nghiên cứu trung, xAI tỏ vẻ cần thiết giống đối đãi số liệu tập cùng thuật toán giống nhau tới cẩn thận mà xây dựng đáng tin cậy AI cơ sở phương tiện. Vì sáng tạo Grok, xAI xây dựng một cái căn cứ vào Kubernetes, Rust cùng JAX tự định nghĩa huấn luyện cùng trinh thám sạn.
xAI tỏ vẻ, LLM huấn luyện tựa như một liệt gào thét mà qua vận chuyển hàng hóa đoàn tàu, nếu trong đó một tiết thùng xe chệch đường ray, chỉnh liệt xe lửa liền sẽ bị kéo ly quỹ đạo, khôi phục lên sẽ rất khó.
Làm huấn luyện LLM không thể thiếu GPU, xuất hiện trục trặc nguyên nhân có rất nhiều loại: Sản phẩm khuyết tật, liên tiếp buông lỏng, phối trí không chính xác, nội tồn chip tính năng giảm xuống, ngẫu nhiên tùy cơ vị quay cuồng từ từ. Đương ở huấn luyện AI khi, thường thường sẽ liên tục mấy tháng ở mấy vạn cái GPU thượng đồng bộ tính toán, hơn nữa bởi vì quy mô đại nguyên nhân, sở hữu này đó trục trặc hình thức đều sẽ trở nên thường xuyên.
Vì khắc phục này đó khiêu chiến, xAI chọn dùng một tổ tự định nghĩa phân bố thức hệ thống, lấy bảo đảm hệ thống ở mỗi lần trục trặc phát sinh khi có thể lập tức phân biệt cũng tự động xử lý. xAI đem hiệu suất cao tính toán làm trọng điểm, ở qua đi mấy tháng, này cơ sở phương tiện có thể lớn nhất trình độ mà giảm bớt quay xong thời gian cũng bảo trì so cao MFU ( Model Flop Utilization ), cho dù tồn tại không đáng tin phần cứng cũng là như thế.
xAI cho rằng, Rust là xây dựng nhưng mở rộng, đáng tin cậy thả nhưng giữ gìn cơ sở phương tiện lý tưởng lựa chọn. Rust cung cấp cao tính năng, phong phú hệ thống sinh thái, cũng có thể phòng ngừa phân bố thức hệ thống trung thông thường sẽ phát hiện đại đa số sai lầm.
Trước mắt, xAI đang ở vì Grok-1 mô hình công năng tiếp theo bay vọt làm chuẩn bị, mà này yêu cầu phối hợp mấy vạn cái máy gia tốc vận hành, cũng ở Grok trung xây dựng tân công năng cùng công cụ.
xAI nghiên cứu phương hướng
xAI vì Grok trang bị tìm tòi công cụ cùng thật khi tin tức phỏng vấn quyền hạn, cùng sở hữu chịu quá tiếp theo cái token đoán trước huấn luyện LLM giống nhau, Grok vẫn cứ có thể sinh thành sai lầm hoặc lẫn nhau mâu thuẫn tin tức. xAI cho rằng, thực hiện đáng tin cậy trinh thám là giải quyết trước mặt hệ thống cực hạn tính quan trọng nhất nghiên cứu phương hướng. Nơi này, xAI giới thiệu mấy cái có tiền cảnh nghiên cứu phương hướng.
Mượn dùng một ít công cụ tiến hành nhưng mở rộng giám sát: Nhân loại phản hồi quan trọng nhất, nhưng mà, làm nhân loại cung cấp nhất trí thả chuẩn xác phản hồi có rất lớn tính khiêu chiến, đặc biệt là ở xử lý dài dòng số hiệu hoặc phức tạp trinh thám bước đi khi. Mà trí tuệ nhân tạo có thể thông qua tra tìm bất đồng nơi phát ra tham khảo tư liệu, sử dụng phần ngoài công cụ nghiệm chứng trung gian bước đi cùng với ở lúc cần thiết tìm kiếm nhân loại phản hồi tới hiệp trợ tiến hành nhưng mở rộng giám sát. xAI mục tiêu là ở Grok-1 đại mô hình dưới sự trợ giúp có thể nhất hữu hiệu mà lợi dụng AI tutors ( xAI chiêu mộ nhân viên công tác, tới trợ giúp cải tiến mô hình ) thời gian.
Tổng thể an toàn, đáng tin cậy, chuẩn xác nghiệm chứng phương thức: Vì sáng tạo có thể đối thế giới hiện thực tiến hành thâm nhập trinh thám AI hệ thống, xAI kế hoạch lấy càng nhưng nghiệm chứng phương thức tới khai phá AI hệ thống trinh thám tính năng. Khiến cho xAI ở không có nhân loại phản hồi hoặc cùng thế giới hiện thực lẫn nhau dưới tình huống đánh giá này hệ thống.
Đối bề trên bên dưới lý giải cùng kiểm tra: Huấn luyện mô hình có thể ở riêng trên dưới văn trung phát hiện hữu dụng tri thức, là chế tạo chân chính trí năng hệ thống trung tâm. xAI đang ở nghiên cứu có thể ở yêu cầu khi phát hiện cùng kiểm tra tin tức phương pháp.
Đối kháng vững vàng tính: Đối kháng tính thí dụ mẫu cho thấy, ưu hoá khí có thể ở huấn luyện cùng phục vụ trong lúc lợi dụng AI hệ thống trung lỗ hổng, phát sinh nghiêm trọng sai lầm. xAI cho rằng, này đó lỗ hổng là chiều sâu học tập mô hình trung trường kỳ tồn tại nhược điểm. Cho nên xAI đối đề cao LLM, khen thưởng mô hình cùng theo dõi hệ thống vững vàng tính đặc biệt cảm thấy hứng thú.
Nhiều mô thái năng lực: Trước mắt, Grok còn không thể xử lý thị giác cùng thính giác chờ mặt khác mô thái. Vì làm Grok càng tốt mà trợ giúp người dùng, xAI sẽ vì Grok trang bị bất đồng mô thái, lấy thực hiện càng rộng khắp ứng dụng, bao gồm thật khi lẫn nhau cùng trợ giúp.
xAI tỏ vẻ, bọn họ tin tưởng AI có thể vì xã hội, kinh tế cùng khoa học mang đến thật lớn tiềm lực, bởi vậy bọn họ sẽ kiên định bất di khai phá đáng tin cậy bảo đảm thi thố, phòng ngừa mọi người đối AI ác ý sử dụng. xAI sẽ tẫn cố gắng lớn nhất tới bảo đảm AI vẫn cứ là một cổ chính nghĩa lực lượng.
Cuối cùng, Grok xem trước cũng cho hấp thụ ánh sáng, chạy theo đồ tới xem, Grok ở trả lời người dùng vấn đề khi phi thường tơ lụa.
Muốn thượng thủ Grok tiểu đồng bọn, có thể giành trước thể nghiệm, xAI vì nước Mỹ người dùng cung cấp số lượng hữu hạn thử dùng danh ngạch. Tương lai mấy tháng, Grok còn sẽ đẩy ra tân công năng cùng đặc tính, đại gia kiên nhẫn chờ đợi là được.
Gia nhập dự khuyết danh sách địa chỉ: https://grok.x.ai/
Tham khảo liên tiếp: https://x.ai/
