Đại ngôn ngữ mô hình chủng loại.zip

Đại ngôn ngữ mô hình là trí tuệ nhân tạo lĩnh vực quan trọng tạo thành bộ phận, này chủ yếu nhiệm vụ là lý giải cùng sinh thành tự nhiên ngôn ngữ văn bản. Này đó mô hình thông qua học tập đại quy mô văn bản số liệu, có thể lý giải cùng đoán trước danh sách trung tiếp theo cái từ đơn hoặc tự phù, do đó thực hiện các loại tự nhiên ngôn ngữ xử lý nhiệm vụ, như đối thoại sinh thành, văn bản trích yếu, phiên dịch bằng máy, hỏi đáp hệ thống chờ. Bổn văn đem thâm nhập tham thảo đại ngôn ngữ mô hình chủng loại và đặc điểm. Chúng ta có thể đem đại ngôn ngữ mô hình chia làm hai loại: Căn cứ vào quy tắc mô hình cùng căn cứ vào thống kê mô hình. Căn cứ vào quy tắc mô hình ỷ lại với nhân công chế định ngôn ngữ quy tắc, tỷ như trên dưới văn không quan hệ ngữ pháp ( Context-Free Grammar ) cùng cú pháp phân tích thụ. Loại này mô hình ưu điểm ở chỗ phân tích rõ ràng, nhưng thường thường khó có thể bao trùm ngôn ngữ phức tạp tính cùng đa dạng tính. Mà căn cứ vào thống kê mô hình tắc thông qua học tập đại lượng văn bản số liệu, tự động lấy ra quy luật, trong đó nhất cụ đại biểu tính chính là chiều sâu học tập mô hình. Ở chiều sâu học tập lĩnh vực, đại ngôn ngữ mô hình chủ yếu có dưới vài loại loại hình: 1. RNN ( tuần hoàn mạng lưới thần kinh ): RNN nhân này tuần hoàn kết cấu có thể xử lý danh sách số liệu mà bị rộng khắp ứng dụng với ngôn ngữ mô hình. LSTM ( dài ngắn kỳ ký ức internet ) cùng GRU ( môn khống tuần hoàn đơn nguyên ) là RNN cải tiến bản, giải quyết truyền thống RNN thang độ biến mất cùng nổ mạnh vấn đề. 2. Transformer: Từ Google đưa ra Transformer mô hình hoàn toàn thay đổi danh sách mô hình thiết kế. Nó chọn dùng tự lực chú ý cơ chế, có thể song hành xử lý đưa vào danh sách, cực đại mà đề cao tính toán hiệu suất. BERT ( Bidirectional Encoder Representations from Transformers ) là Transformer một cái thành công ứng dụng, thông qua dự huấn luyện cùng hơi điều, thực hiện nhiều loại tự nhiên ngôn ngữ xử lý nhiệm vụ xuất sắc tính năng. 3. Transformer-XL: Ở Transformer cơ sở thượng, Transformer-XL dẫn vào tương đối vị trí mã hóa cùng đoạn cấp tuần hoàn, giải quyết Transformer danh sách chiều dài hạn chế vấn đề. 4. GPT ( Generative Pre-trained Transformer ) hệ liệt: Từ OpenAI khai phá GPT mô hình, chọn dùng tự trở về phương thức, trước đoán trước danh sách tiếp theo cái từ, lại dần dần sinh thành toàn bộ danh sách. GPT-3 là trước mắt quy mô lớn nhất dự huấn luyện mô hình chi nhất, có kinh người sinh thành năng lực cùng phiếm hóa năng lực. 5. T5 ( Text-to-Text Transfer Transformer ): T5 thống nhất sở hữu NLP nhiệm vụ vì một cái văn bản đến văn bản cách thức, thông qua chỉ một mô hình giải quyết nhiều loại nhiệm vụ, đơn giản hoá thực nghiệm lưu trình. 6. Pangu-α: Đây là Ali vân đẩy ra đại quy mô dự huấn luyện mô hình, nhằm vào tiếng Trung ngôn ngữ đặc tính tiến hành ưu hoá, áp dụng với tiếng Trung cảnh tượng tự nhiên ngôn ngữ xử lý nhiệm vụ. 7. ERNIE ( Enhanced Representation through kNowledge Integration ): Baidu công ty nghiên cứu phát minh mô hình, thông qua chỉnh hợp tri thức đồ phổ tin tức, tăng lên mô hình đối ngữ nghĩa lý giải năng lực. 8. UniLM ( Unified Language Model Pre-training ): Hơi mềm cùng Ali vân liên hợp khai phá mô hình, thực hiện song hướng dự huấn luyện, đồng thời duy trì sinh thành cùng lý giải nhiệm vụ. Này đó đại ngôn ngữ mô hình chủng loại các có ưu thế, không ngừng thúc đẩy tự nhiên ngôn ngữ xử lý kỹ thuật phát triển. Theo tính toán tài nguyên gia tăng cùng thuật toán ưu hoá, tương lai đại ngôn ngữ mô hình đem càng thêm trí năng, càng tốt mà phục vụ với nhân loại xã hội.