GPU quan hệ nối liền, ALink System phá cục

Nơi phát ra: Chất bán dẫn ngành sản xuất quan sát

Theo sinh thành thức trí tuệ nhân tạo bồng bột phát triển, đặc biệt là đại ngôn ngữ loại mô hình, đối AI cơ sở phương tiện đưa ra càng cao yêu cầu, đặc biệt là AI hệ thống scale up quan hệ nối liền kỹ thuật. Ở 2024 năm ngày 8 tháng 8 OCP mở ra tính toán Trung Quốc phong sẽ thượng, đến từ Ali vân siêu cao tốc quan hệ nối liền người phụ trách khổng dương tiến sĩ giới thiệu Ali vân khởi xướng Scale Up mở ra sinh thái ALS(ALink System, máy gia tốc quan hệ nối liền hệ thống ). Vì tiến thêm một bước hiểu biết Scale Up cùng ALS hệ thống, chúng ta cùng Ali vân khổng dương tiến sĩ tiến hành rồi một phen thâm nhập giao lưu.

AI đại mô hình phát triển hạ quan hệ nối liền kỹ thuật nhu cầu

Từ tính lực góc độ, không hề nghi ngờ, tính toán nhu cầu nổ mạnh thức tăng trưởng là AI ứng dụng phát triển nhất lộ rõ đặc điểm. Lấy mô hình tham số ( có thể trình độ nhất định thượng đại biểu tính lực cùng GPU hiện tồn nhu cầu lượng ) vì lệ, ở quá khứ mười năm gian, nhanh chóng từ AlexNet không đủ 0.07B tham số, trải qua BERT cùng với GPT mô hình diễn tiến, đạt tới trước mặt GPT4 mô hình tham số đạt tới 1.8T quy mô, tăng trưởng mấy ngàn lần, nhưng tính lực cùng hiện tồn dung lượng tăng trưởng xa thấp hơn cái này tốc độ.

Từ tính năng góc độ, một cái khác đặc điểm là tại tuyến phục vụ thật khi tính cùng cao phun ra nuốt vào nhu cầu. Đối với tại tuyến server, đại bộ phận AI ứng dụng là làm người phục vụ sản phẩm, lấy ngôn ngữ loại mô hình vì lệ, vì đạt tới lưu sướng người dùng lẫn nhau thể nghiệm, hưởng ứng lùi lại là quan trọng thể cảm chỉ tiêu, cụ thể đến kỹ thuật chỉ tiêu vì TTFT(Time To First Token); đối với hệ thống phục vụ phun ra nuốt vào năng lực, thể hiện đồng phát năng lực, cũng là quan trọng cân nhắc tiêu chuẩn, cụ thể đến kỹ thuật chỉ tiêu TPOT(Time Per Output Token).

Vì đạt tới thật khi tính cùng cao phun ra nuốt vào, có thể hay không thiết kế một viên thật lớn chip, có được cực cao tính lực cùng hiện tồn dung lượng, do đó đem toàn bộ tính toán quá trình đều ở đơn chip thu phục đâu? Sớm chút năm mô hình nhỏ lại khi xác thật có thể làm như vậy, nhưng là đối với đại mô hình, đáp án là phủ định. Đơn viên chip năng lực biên giới đã chịu công nghệ chế ước rất lớn, không thể vô hạn chế gia tăng. Đồng thời đương chip diện tích quá lớn khi, lương suất cũng sẽ lộ rõ giảm xuống, cho dù có Chiplet kỹ thuật, vẫn như cũ ở tán nhiệt, phong trang chờ nhiều duy độ có lộ rõ chế ước. Bởi vậy, ở số liệu trung tâm sườn vô luận là trinh thám vẫn là huấn luyện, chỉ dựa một viên chip khiêng lên ứng dụng phát triển thời đại đã chung kết, cái này quan trọng nhiệm vụ liền rơi xuống hệ thống thiết kế thượng, thông qua phần mềm thuật toán đem tính toán nhiệm vụ ở các duy độ tiến hành song hành hóa thiết phân, sau đó ở nhiều GPU chip tiến hành song hành tính toán. Như vậy cụ bị chip gian siêu đại giải thông quan hệ nối liền đặc biệt quan trọng, là nhiều GPU chip có thể hiệu suất cao hợp tác công tác quan trọng tiền đề, trước mặt AI Infrastructure một cái xu thế cùng nhiệt điểm chính là, thông qua Scale Up quan hệ nối liền hệ thống, duy trì thấp lùi lại, cao phun ra nuốt vào trinh thám cùng huấn luyện.

Scale Up quan hệ nối liền là cái gì

Đang nói chuyện đến Scale Up quan hệ nối liền hệ thống nhu cầu cùng phát triển phía trước, chúng ta đến xem số liệu trung tâm AI tụ quần quan hệ nối liền giá cấu là cái dạng gì, như thế nào làm đông đảo GPU chip có thể cùng nhau hoàn thành công tác nhiệm vụ. Trước mặt quay chung quanh GPU tồn tại tam đại quan hệ nối liền, phân biệt là nghiệp vụ internet quan hệ nối liền, Scale Out internet quan hệ nối liền, Scale Up internet quan hệ nối liền, bọn họ chịu tải bất đồng nghiệp vụ lưu lượng.

Nghiệp vụ internet quan hệ nối liền: Chịu tải chính là như là yêu cầu tính toán đưa vào số liệu, phát ra kết quả, cùng với ở các loại tồn trữ hệ thống trung mô hình tham số, checkpoint chờ. Yêu cầu tiến hành cực đại phạm vi quan hệ nối liền, hơn nữa cùng vân thượng tồn trữ, nghiệp vụ tiếp lời chờ liên hệ, chọn dùng lấy quá võng kỹ thuật, thông thường duy trì các loại RDMA.

Scale Out internet quan hệ nối liền: Huấn luyện DP, PP song hành tính toán thiết phân lưu trình, thông thường muốn đem tụ quần nằm ngang mở rộng đến siêu nhiều GPU cơ quầy, trước mặt huấn luyện quy mô đã phát triển đến 10w tạp, trước mắt quốc tế tiêu chuẩn xu thế là, chọn dùng chuyên môn ưu hoá lấy quá võng kỹ thuật UEC ( Ultra Ethernet Consortium ) hiệp nghị.

Scale Up internet quan hệ nối liền: Lấy trinh thám đại hiện tồn song hành tính toán lưu lượng cùng huấn luyện trương lượng song hành ( TP ) cùng với chuyên gia song hành ( MoE ) lưu lượng là chủ, có ở võng tính toán nhu cầu ( có thể đối All reduce ở Switch tiết điểm thượng tiến hành gia tốc ). Ở nhất định quy mô nội quan hệ nối liền, bởi vì này đối với tính năng siêu cao yêu cầu, chọn dùng chuyên môn thiết kế hiệp nghị, tỷ như NVIDIA NVlink cập NVSwitch kỹ thuật, một cái khác sắp tới thành lập hiệp nghị liên minh là UALink(Ultra Accelerator Link), từ AMD, Broadcom, Cisco, Google, HPE, Intel, Meta cùng Microsoft cộng đồng khởi xướng, trước mắt ở trong nghề được đến rộng khắp hưởng ứng.

Scale Up đối với AI vì cái gì như thế quan trọng?

Từ hệ thống thị giác, cảnh tượng thị giác cùng chip thị giác ba cái duy độ tới, Scale Up đối với đời sau AI tụ quần giá cấu tới nói có lộ rõ giá trị.

Hệ thống thị giác: Đương hệ thống cực lớn đến trình độ nhất định thời điểm, yêu cầu lợi dụng giá cấu thượng phân tầng kỹ thuật lại kết hợp phần mềm điều ưu, lấy thực hiện hợp lý nhất phương án, quan hệ nối liền phân tầng cũng không ngoại lệ. Có thể tưởng tượng, đem sở hữu lưu lượng tập trung đến Scale Out quan hệ nối liền sẽ là cực độ phức tạp thả không hợp lý hệ thống phương án, lấy sân huấn luyện cảnh vì lệ, đương huấn luyện quy mô đạt tới 10w tạp trở lên, mỗi trương tạp trực tiếp đều thông qua TB/s giải thông đạt tới toàn quan hệ nối liền là tai nạn tính. Này ý nghĩa mạnh mẽ Scale Up kết hợp Scale Out tiến hành GPU tụ quần mở rộng là hợp lý nhất lựa chọn.

Cảnh tượng thị giác: AI ứng dụng có lộ rõ đặc điểm, GPU là siêu nhiều hạch biên trình mô hình, cùng am hiểu thông dụng tính CPU bất đồng, yêu cầu sử dụng đến đại lượng nội tồn ngữ nghĩa (load/store) phỏng vấn, đồng thời bởi vì các GPU chi gian yêu cầu lẫn nhau sử dụng HBM nội tồn, đối vượt chip phỏng vấn giải thông cùng khi duyên có lộ rõ cao yêu cầu.

Chip thị giác: Scale Up tương đối với Scale Out cùng nghiệp vụ internet đối với giải thông yêu cầu cao một số lượng cấp (10 lần trở lên ), đồng thời yêu cầu càng thấp lùi lại, này liền ý nghĩa yêu cầu chọn dùng GPU chip thẳng ra quan hệ nối liền thiết kế, thả hiệp nghị thiết kế cũng đủ nhẹ lượng hóa, như vậy mới có thể đem quý giá chip diện tích tiết kiệm cấp GPU tính toán tài nguyên, càng cao IO tổng thể năng lực, càng thấp công hao.

Một câu tổng kết lên, Scale Up quan hệ nối liền đặc điểm là: Cực hạn tài nguyên thực hiện cực hạn tính năng.

Nhằm vào này cảnh tượng, NVIDIA ở P100 này một thế hệ định nghĩa NVlink kỹ thuật, có thể thực hiện GPU hai hai thẳng liền tổ võng hình thức, cũng ở kế tiếp phát triển ra NVSwtich căn cứ vào trao đổi chip quan hệ nối liền phương án, NVIDIA ở GTC24 tuyên bố NVL72 phương án, có thể ở đơn cái cơ quầy nội thông qua NVSwitch cung cấp 72 viên GPU chip 1.8TB/s giải thông siêu cao tính năng Scale Up bộ phận quan hệ nối liền.

Từ số liệu mặt liên hệ góc độ, lấy UALink vì đại biểu Scale Up hiệp nghị cùng UEC vì đại biểu Scale Out hiệp nghị đồng thời cũng ở duy trì AI tụ quần quan hệ nối liền cơ sở hiệp nghị diễn tiến. Nhưng mà đối với toàn bộ quan hệ nối liền hệ thống tới nói, trừ bỏ tầng dưới chót quan hệ nối liền hiệp nghị, còn có ở võng tính toán, quản khống vận duy chờ nhiều duy độ nhu cầu, ngành sản xuất nội gấp cần một cái nguyên sinh duy trì AI cảnh tượng Scale Up mở ra hệ thống sinh thái.

ALS: Nguyên sinh duy trì AI cảnh tượng Scale Up

Mở ra hệ thống sinh thái

Vì giải quyết cái này đau điểm, Ali vân xướng nghị cũng dắt đầu thành lập ALS(ALink System, máy gia tốc quan hệ nối liền hệ thống ) mở ra hệ thống sinh thái, giải quyết Scale Up quan hệ nối liền hệ thống ngành sản xuất phát triển quy phạm vấn đề. ALS cung cấp cụ bị tính năng cạnh tranh lực cùng thống nhất tiêu chuẩn quan hệ nối liền hệ thống, bao gồm ALS-D số liệu mặt cùng ALS-M quản khống mặt hai cái chủ yếu tạo thành bộ phận, vì AI huấn luyện cùng trinh thám cảnh tượng cung cấp phong phú năng lực cùng đặc tính duy trì.

ALS-D đem duy trì UALink quốc tế tiêu chuẩn, hình thành cực có tính năng cạnh tranh lực số liệu mặt phương án. Trước mặt lấy trinh thám cùng sân huấn luyện cảnh là chủ AI ứng dụng, ở Scale Up trên mạng có song hành thiết phân thuật toán, đại hiện tồn cùng chung, GPU siêu nhiều hạch nội tồn ngữ nghĩa biên trình chờ nhiều loại lộ rõ đặc điểm. ALS-D nguyên sinh duy trì cao tính năng nội tồn ngữ nghĩa phỏng vấn, hiện tồn cùng chung cùng ở võng tính toán gia tốc, cũng duy trì Switch tổ võng hình thức, tính năng thượng cụ bị siêu cao giải thông, siêu thấp khi duyên năng lực.

Đặc tính duy độ, đối với AI cảnh tượng GPU giá cấu đặc điểm có nguyên sinh duy trì ( như nội tồn ngữ nghĩa, ở võng tính toán chờ ), có thể lớn nhất trình độ xứng đôi GPU siêu chúng hạch giá cấu quan hệ nối liền nhu cầu cùng với biên trình hình thức.

Tính năng duy độ, ở hiệp nghị cách thức, trọng truyền phương án chờ công trình thiết kế thượng đầy đủ tính năng ưu hoá, lấy cực thấp lùi lại tiến hành báo văn phân tích, chuyển phát, thực hiện đoan đến đoan thấp khi duyên. Thông qua cực hạn ưu hoá hiệp nghị, ở thực hiện mặt có thể tiết kiệm đại lượng chip diện tích, bằng vốn ít thực hiện cực hạn tính năng.

Tổ võng duy độ, suy xét đến song hành tính toán phát triển, ở tân song hành hình thức ( như EP) hạ yêu cầu càng cường đại điểm đối điểm thông tín năng lực, ALS-D hệ thống định nghĩa căn cứ vào Switch phần cứng liên tiếp phương án, hơn nữa duy trì đơn tầng cùng nhiều tầng quan hệ nối liền Topology, có thể ở các cấp liên tiếp phương án trung duy trì 1:1 giải thông thu liễm so, vì AI tính toán thông tín thao tác cung cấp linh hoạt quy mô chống đỡ.

Ngoài ra, ALS-D suy xét đến tương lai mấy năm phát triển xu thế, ở tổ võng quy mô thượng có thể cung cấp nhiều đến mấy trăm / mấy ngàn tiết điểm quan hệ nối liền phương án, cũng căn cứ vào kể trên kỹ thuật đặc tính, thực hiện cụ bị PB cấp hiện tồn cùng chung, siêu thấp lẫn nhau phóng khi duyên, đơn quầy ( mấy chục GPU tiết điểm ) cao tới mấy trăm TB/s tổng phun ra nuốt vào giải thông Scale Up hệ thống, đầy đủ duy trì LLM đại mô hình tương lai phát triển tố cầu.

Quan hệ nối liền quản khống vận duy cũng là hệ thống thiết kế quan trọng tạo thành bộ phận, ALS-M mục tiêu là vì bất đồng chip phương án cung cấp chuẩn hoá tiếp nhập phương án, phù hợp này quy phạm thiết bị đều nhưng linh hoạt tiếp nhập ứng dụng phương hệ thống. Vô luận là đi ngược chiều phóng sinh thái ( như UALink hệ thống ) vẫn là nhà máy hiệu buôn đặc có ( như NVSwitch hệ thống ), ALS sử dụng thống nhất phần mềm tiếp lời. Đồng thời, ALS-M vì vân tính toán chờ tụ quần quản lý cảnh tượng, cung cấp đơn thuê, nhiều thuê chờ linh hoạt cùng co dãn phối trí năng lực.

Mở ra scale up sinh thái mới là

AI tính lực cơ sở tương lai?

Quả thật, phần đầu AI tính lực nhà máy hiệu buôn phong bế scale up quan hệ nối liền kỹ thuật sinh thái ở lập tức là cao tính năng cùng cao nhưng dùng tính đại biểu, nhưng mở ra tiêu chuẩn và sở xây dựng hệ thống sinh thái ở Scale Up quan hệ nối liền trong lĩnh vực có không thể đo lường lâu dài giá trị. Mở ra tiêu chuẩn không những có thể xúc tiến kỹ thuật sáng tạo, còn vì bất đồng nhà máy hiệu buôn chi gian thành lập nhịp cầu, khiến cho vượt ngôi cao, vượt lĩnh vực hợp tác trở thành khả năng. Này đối với xây dựng độ cao tổng thể, cao tính năng AI tính lực tụ quần hệ thống đặc biệt quan trọng. Đặc biệt là đông đảo AI chip, AI quan hệ nối liền, chỉnh cơ nhà máy hiệu buôn cùng tụ quần người dùng sôi nổi dấn thân vào scale up cái này kỹ thuật lĩnh vực, chỉ có thông qua mở ra hệ thống sinh thái, mới có thể phát huy hảo cái này sinh thái liên thượng các xưởng chuyên nghiệp năng lực, xây dựng hảo scale up cái này kỹ thuật lĩnh vực.

Ali vân siêu cao tốc quan hệ nối liền người phụ trách khổng dương tiến sĩ cho rằng, ở mở ra Scale UP kỹ thuật sinh thái hạ, ngành sản xuất có thể dựa theo cộng đồng đường nhỏ diễn tiến, hơn nữa ở mấu chốt kỹ thuật thượng hình thành hợp lực, giảm bớt lặp lại đầu nhập, thúc đẩy trọng điểm kỹ thuật nhanh chóng thay đổi, vì toàn bộ cơ sở phương tiện tính năng, ổn định tính, phí tổn, kiêm dung tính đem cung cấp kiên cố cơ sở.

Ngoài ra, tại đây thứ mở ra tính toán phong sẽ phỏng vấn trung, Ali vân cơ sở phương tiện server nghiên cứu phát minh sản nghiệp hợp tác thâm niên tổng giám Ngô linh hi cũng nhắc tới, mở ra hợp tác tổ chức khiến cho toàn bộ ngành sản xuất sở hữu tham dự giả đều có thể từ giữa hoạch ích, cho nên Ali vân phi thường tích cực mà dấn thân vào tiến vào. Ở văn hóa thượng, Ali vân hy vọng cộng kiến một cái càng thêm công bằng, mở ra cùng cùng chung xã khu văn hóa; làm việc vụ hợp tác thượng, mở ra tổ chức thành viên rõ ràng nghiệp vụ biên giới cảm cũng là mở ra tổ chức có thể liên tục lớn mạnh mấu chốt. Ngô linh hi chỉ ra: “Mở ra cũng không ý nghĩa đối sản nghiệp toàn phương vị tham gia, chuyên nghiệp công ty làm chuyên nghiệp sự tình, các tư này chức, hợp lý cạnh tranh, thỏa đáng nghiệp vụ giới định có thể giảm bớt lặp lại công tác, xúc tiến sinh thái tổ chức tốt phát triển.” Loại này biên giới cảm không chỉ có thể hiện ở kỹ thuật quy phạm chế định trung, cũng xỏ xuyên qua với tổ chức gian hợp tác cùng giao lưu.