Giải cấu đại ngữ ngôn mô hình: Tòng tuyến tính hồi quy đáo thông dụng nhân công trí năng

Đệ 1 chương tự luận 2
1.1 thị sổ tự anh vũ, hoàn thị tự ngã ý thức 3
1.1.1 điện xa nan đề 3
1.1.2 nhậm vụ phân giải 4
1.2 sổ cư cơ sở 5
1.3 mô hình kết cấu 7
1.4 quan ô bổn thư 9

Đệ 2 chương sổ học cơ sở: Bất khả hoặc khuyết đích tri thức 12
2.1 hướng lượng, củ trận hòa trương lượng 13
2.1.1 tiêu lượng, hướng lượng, củ trận dữ trương lượng 13
2.1.2 sổ học ký hào dữ đặc thù củ trận 14
2.1.3 củ trận vận toán 15
2.1.4 hướng lượng giáp giác 18
2.1.5 củ trận đích trật 19
2.1.6 cao duy trương lượng vận toán 20
2.2 khái suất 21
2.2.1 định nghĩa khái suất: Sự kiện hòa khái suất không gian 22
2.2.2 điều kiện khái suất: Tín tức đích giới trị 23
2.2.3 tùy cơ biến lượng 24
2.2.4 chính thái phân bố: Thù đồ đồng quy 27
2.2.5 P-value: Tự tín đích sai trắc 28
2.3 vi tích phân 30
2.3.1 đạo sổ hòa tích phân 30
2.3.2 cực hạn 32
2.3.3 liên thức pháp tắc 33
2.3.4 thiên đạo sổ dữ thê độ 34
2.3.5 cực trị dữ tối trị 34
2.4 bổn chương tiểu kết 35

Đệ 3 chương tuyến tính hồi quy: Mô hình chi mẫu 38
3.1 nhất cá giản đan đích lệ tử 39
3.1.1 cơ khí học tập đích kiến mô phương thức 40
3.1.2 thống kế phân tích đích kiến mô phương thức 43
3.2 mô hình thật hiện 47
3.2.1 cơ khí học tập đích đại mã thật hiện 47
3.2.2 thống kế phân tích đích đại mã thật hiện 49
3.3 mô hình hãm tịnh 52
3.3.1 quá nghĩ hợp: Mô hình việt phục tạp việt hảo mạ 53
3.3.2 giả thiết kiểm nghiệm: Thống kế phân tích đích giải quyết phương án 56
3.3.3 trừng phạt hạng: Cơ khí học tập đích giải quyết phương án 57
3.3.4 bỉ giác lưỡng chủng phương án 60
3.4 diện hướng vị lai đích chuẩn bị 60
3.4.1 đồ hình biểu kỳ dữ sổ học biểu đạt 61
3.4.2 mô hình đích sinh mệnh chu kỳ dữ trì cửu hóa 62
3.5 bổn chương tiểu kết 63
3.5.1 yếu điểm hồi cố 63
3.5.2 thường kiến diện thí vấn đề 64

Đệ 4 chương la tập hồi quy: Ẩn tàng nhân tử 68
4.1 nhị nguyên phân loại vấn đề: Thị dữ phủ 68
4.1.1 tuyến tính hồi quy: Vi hà thất hiệu 69
4.1.2 song khẩu hiệu ứng: Khán bất kiến đích tài thị quan kiện 70
4.1.3 la tập phân bố 72
4.1.4 tự nhiên hàm sổ: Thống kế phân tích đích tham sổ cổ kế 74
4.1.5 tổn thất hàm sổ: Cơ khí học tập đích tham sổ cổ kế 75
4.1.6 tối chung dự trắc: Tòng khái suất đáo loại biệt 76
4.2 mô hình thật hiện 76
4.2.1 sơ bộ phân tích sổ cư: Trực quan ấn tượng 77
4.2.2 đáp kiến mô hình 79
4.2.3 lý giải mô hình kết quả 81
4.3 bình cổ mô hình hiệu quả 82
4.3.1 tra chuẩn suất dữ tra toàn suất 83
4.3.2 F-score 85
4.3.3 ROC không gian 86
4.3.4 ROC khúc tuyến dữ AUC 88
4.3.5 AUC đích khái suất giải thích 89
4.4 phi quân hành sổ cư tập 90
4.4.1 chuẩn xác độ bội luận 90
4.4.2 mô hình hiệu quả ảnh hưởng 91
4.4.3 giải quyết phương án 93
4.5 đa nguyên phân loại vấn đề: Siêu việt thị dữ phủ 94
4.5.1 đa nguyên la tập hồi quy 94
4.5.2 One-vs.-All: Tòng nhị nguyên đáo đa nguyên 95
4.5.3 mô hình thật hiện 96
4.6 bổn chương tiểu kết 97
4.6.1 yếu điểm hồi cố 97
4.6.2 thường kiến diện thí vấn đề 98

Đệ 5 chương kế lượng kinh tế học đích khải kỳ: Tha sơn chi thạch 100
5.1 định lượng dữ định tính: Đặc trưng đích sổ học vận toán hợp lý mạ 101
5.2 định tính đặc trưng đích xử lý 102
5.2.1 hư nghĩ biến lượng 102
5.2.2 định tính đặc trưng chuyển hoán vi định lượng đặc trưng 104
5.3 định lượng đặc trưng đích xử lý 105
5.3.1 định lượng đặc trưng chuyển hoán vi định tính đặc trưng 106
5.3.2 cơ ô tạp phương kiểm nghiệm đích phương pháp 108
5.4 đa trọng cộng tuyến tính: Đa biến lượng đích phiền não 109
5.4.1 đa trọng cộng tuyến tính hiệu ứng 110
5.4.2 kiểm trắc đa trọng cộng tuyến tính 113
5.4.3 giải quyết phương pháp 114
5.4.4 hư nghĩ biến lượng hãm tịnh 116
5.5 bổn chương tiểu kết 117
5.5.1 yếu điểm hồi cố 117
5.5.2 thường kiến diện thí vấn đề 118

Đệ 6 chương tối ưu hóa toán pháp: Tham sổ cổ kế 120
6.1 toán pháp tư lộ: Mô nghĩ cổn động 121
6.2 thê độ hạ hàng pháp 122
6.2.1 toán pháp sử dụng đích khiếu môn 124
6.2.2 toán pháp đích cục hạn tính: Cục bộ tối ưu dữ an điểm 125
6.3 thê độ hạ hàng pháp đích đại mã thật hiện 126
6.3.1 PyTorch cơ sở 127
6.3.2 lợi dụng PyTorch đích phong trang hàm sổ 130
6.4 tùy cơ thê độ hạ hàng pháp: Canh ưu hóa đích toán pháp 133
6.4.1 toán pháp tế tiết 133
6.4.2 đại mã thật hiện 134
6.4.3 tiến nhất bộ ưu hóa 135
6.5 bổn chương tiểu kết 137
6.5.1 yếu điểm hồi cố 137
6.5.2 thường kiến diện thí vấn đề 138

Đệ 7 chương phản hướng truyện bá: Thần kinh võng lạc đích công trình cơ sở 140
7.1 kế toán đồ hòa hướng tiền truyện bá 141
7.1.1 thập ma thị kế toán đồ 141
7.1.2 đại mã thật hiện 142
7.2 liên thức pháp tắc hòa phản hướng truyện bá 145
7.2.1 thác phác bài tự 146
7.2.2 đại mã thật hiện 146
7.2.3 thê độ truyện bá quá trình 148
7.3 tham sổ cổ kế đích toàn lưu trình 151
7.3.1 tùy cơ thê độ hạ hàng pháp hồi cố 151
7.3.2 kế toán đồ bành trướng 152
7.4 động thái ưu hóa 155
7.4.1 thê độ luy tích 155
7.4.2 tham sổ đống kết 158
7.4.3 tùy cơ thất hoạt 159
7.5 chân thật thế giới: Châm đối đại quy mô mô hình đích ưu hóa kỹ xảo 162
7.5.1 GPU kế toán 162
7.5.2 hỗn hợp tinh độ huấn luyện 164
7.5.3 thê độ kiểm tra điểm 166
7.5.4 phân bố thức kế toán 167
7.6 bổn chương tiểu kết 170
7.6.1 yếu điểm hồi cố 170
7.6.2 thường kiến diện thí vấn đề 171

Đệ 8 chương đa tằng cảm tri khí: Thần kinh võng lạc đích “Sang thế ký” 174
8.1 cảm tri khí mô hình 175
8.1.1 thần kinh nguyên đích sổ tự loan sinh 175
8.1.2 đồ kỳ dữ kế toán đồ 177
8.1.3 Sigmoid cảm tri khí dữ la tập hồi quy 178
8.1.4 Softmax hàm sổ 179
8.2 tòng thần kinh võng lạc đích thị giác trọng tân lý giải la tập hồi quy 181
8.2.1 hồi cố song khẩu hiệu ứng 182
8.2.2 đại mã thật hiện 183
8.2.3 tổn thất hàm sổ vi mô hình chú nhập linh hồn 185
8.2.4 thần kinh võng lạc đích kiến mô văn hóa: Đáp tích mộc 186
8.3 đa tằng cảm tri khí 187
8.3.1 đồ hình biểu kỳ 187
8.3.2 sổ học cơ sở 189
8.3.3 lệnh nhân kinh nhạ đích thông dụng tính 192
8.3.4 đại mã thật hiện 193
8.3.5 mô hình đích liên kết chủ nghĩa 195
8.4 huấn luyện ưu hóa đích quan kiện: Kích hoạt hàm sổ 197
8.4.1 phôi tử đích thần kinh tế bào 198
8.4.2 sổ học cơ sở 200
8.4.3 giam khống mô hình huấn luyện 201
8.4.4 bất ổn định đích thê độ 205
8.4.5 kích hoạt hàm sổ đích cải tiến 206
8.5 tòng đệ nhất bộ khai thủy ưu hóa huấn luyện 208
8.5.1 mô hình tổn thất đích dự cổ 208
8.5.2 tham sổ sơ thủy hóa đích sơ bộ ưu hóa 209
8.5.3 tham sổ sơ thủy hóa đích tiến nhất bộ ưu hóa 212
8.5.4 quy nhất hóa tằng 214
8.6 bổn chương tiểu kết 218
8.6.1 yếu điểm hồi cố 218
8.6.2 thường kiến diện thí vấn đề 219

Đệ 9 chương quyển tích thần kinh võng lạc: Thâm độ học tập đích “Xuất ai cập ký” 222
9.1 lợi dụng đa tằng cảm tri khí thức biệt sổ tự 223
9.1.1 thị giác đối tượng đích sổ tự hóa 223
9.1.2 đáp kiến mô hình 224
9.1.3 đại mã thật hiện 226
9.1.4 phòng chỉ quá nghĩ hợp chi tùy cơ thất hoạt 229
9.1.5 phòng chỉ quá nghĩ hợp chi trừng phạt hạng 231
9.2 quyển tích thần kinh võng lạc 233
9.2.1 thần kinh nguyên đích tổ chức phương thức 234
9.2.2 quyển tích tằng đích võng lạc kết cấu 235
9.2.3 quyển tích tằng đích tế tiết xử lý dữ đại mã thật hiện 237
9.2.4 trì hóa tằng 239
9.2.5 hoàn chỉnh kết cấu dữ thật hiện 240
9.2.6 siêu việt đồ tượng thức biệt 242
9.3 tàn soa võng lạc 243
9.3.1 tàn soa liên tiếp 243
9.3.2 thật hiện yếu điểm hòa tiểu khiếu môn 245
9.3.3 đại mã thật hiện 247
9.4 bổn chương tiểu kết 247
9.4.1 yếu điểm hồi cố 247
9.4.2 thường kiến diện thí vấn đề 248

Đệ 10 chương tuần hoàn thần kinh võng lạc: Thường thí lý giải nhân loại ngữ ngôn 250
10.1 tự nhiên ngữ ngôn xử lý đích cơ bổn yếu tố 251
10.1.1 ngữ ngôn sổ tự hóa 252
10.1.2 phân từ khí đích ngữ ngôn cơ sở 253
10.1.3 anh văn phân từ khí 254
10.1.4 trung văn phân từ đích thiêu chiến 256
10.1.5 học tập khuông giá: Thiên di học tập 258
10.2 lợi dụng đa tằng cảm tri khí học tập ngữ ngôn 260
10.2.1 sổ cư chuẩn bị 260
10.2.2 văn bổn khảm nhập 263
10.2.3 đại mã thật hiện 265
10.2.4 phổ thông thần kinh võng lạc đích khuyết hãm 266
10.3 tuần hoàn thần kinh võng lạc 267
10.3.1 đồ kỳ dữ kết cấu 268
10.3.2 mô hình đích quan kiện: Ẩn tàng trạng thái 269
10.3.3 lợi dụng tuần hoàn thần kinh võng lạc học tập ngữ ngôn 271
10.3.4 mô hình huấn luyện dữ văn bổn sinh thành 272
10.3.5 mô hình đích học tập nguyên lý: Thông quá thời gian đích phản hướng truyện bá 274
10.4 thâm độ tuần hoàn thần kinh võng lạc 275
10.4.1 canh ưu nhã đích đại mã thật hiện 275
10.4.2 phê lượng tự liệt sổ cư đích xử lý 277
10.4.3 tòng đan tằng tẩu hướng canh phục tạp đích kết cấu 278
10.4.4 lợi dụng thâm độ tuần hoàn thần kinh võng lạc học tập ngữ ngôn 280
10.5 trường đoản kỳ ký ức võng lạc 281
10.5.1 đoản kỳ ký ức 282
10.5.2 mô hình kết cấu 284
10.5.3 đại mã thật hiện 285
10.5.4 lợi dụng trường đoản kỳ ký ức võng lạc học tập ngữ ngôn 287
10.6 bổn chương tiểu kết 290
10.6.1 yếu điểm hồi cố 290
10.6.2 thường kiến diện thí vấn đề 291

Đệ 11 chương đại ngữ ngôn mô hình: Thị thông dụng nhân công trí năng đích khai thủy mạ 294
11.1 chú ý lực cơ chế 295
11.1.1 thiết kế sơ trung 296
11.1.2 cải tiến hậu đích chú ý lực cơ chế 297
11.1.3 sổ học tế tiết dữ thật hiện kỹ xảo 299
11.2 tòng linh khai thủy thật hiện GPT-2 300
11.2.1 mô hình kết cấu 301
11.2.2 đa đầu đan hướng chú ý lực 303
11.2.3 giải mã khối 304
11.2.4 GPT-2 đích hoàn chỉnh kết cấu dữ trọng hiện 305
11.2.5 Python ngữ ngôn học tập nhậm vụ 307
11.3 tòng đại ngữ ngôn mô hình đáo trí năng trợ thủ 308
11.3.1 đại ngữ ngôn mô hình đích hiện trạng 308
11.3.2 khai nguyên mô hình 310
11.3.3 tòng GPT đáo ChatGPT 311
11.3.4 đề kỳ công trình 313
11.3.5 kiểm tác tăng cường sinh thành 314
11.4 mô hình vi điều 316
11.4.1 mô hình vi điều đích 4 chủng mô thức 317
11.4.2 cao hiệu điều tham khái thuật 318
11.4.3 cao hiệu điều tham chi tăng gia mô hình tổ kiện 319
11.4.4 cao hiệu điều tham chi LoRA 320
11.5 giam đốc vi điều hòa bình phân kiến mô 323
11.5.1 giam đốc vi điều sơ thể nghiệm 323
11.5.2 canh ưu hóa đích giam đốc vi điều 326
11.5.3 bình phân kiến mô 327
11.5.4 như quả trọng tân cấu kiến ChatGPT 330
11.6 siêu việt kỹ thuật 331
11.6.1 trí năng đích triết học cơ sở 331
11.6.2 huyết hãn công hán 333
11.6.3 thán túc tích 334
11.7 bổn chương tiểu kết 335
11.7.1 yếu điểm hồi cố 335
11.7.2 thường kiến diện thí vấn đề 336

Đệ 12 chương cường hóa học tập: Tại động thái giao hỗ trung tiến hóa 338
12.1 đại ngữ ngôn mô hình đích trì tục ưu hóa 339
12.1.1 tối đại hóa bình phân: Trực quan đãn thác ngộ đích mô hình 339
12.1.2 vi thập ma hành bất thông: Bất khả vi đích vận toán 341
12.1.3 khả hành đích kiến mô phương thức: Điều chỉnh tổn thất hàm sổ 343
12.2 cường hóa học tập giản giới 345
12.2.1 hạch tâm khái niệm 345
12.2.2 mục tiêu định nghĩa 346
12.2.3 lưỡng chủng giải quyết phương pháp 348
12.3 trị hàm sổ học tập 349
12.3.1 MC học tập 350
12.3.2 bối nhĩ mạn phương trình dữ TD học tập 352
12.3.3 lợi dụng thần kinh võng lạc tiến hành học tập 354
12.3.4 n bộ TD học tập dữ ưu thế hàm sổ 356
12.3.5 TD Lambda học tập dữ GAE 357
12.4 sách lược học tập 359
12.4.1 sách lược thê độ định lý 360
12.4.2 Reinforce toán pháp 361
12.4.3 cơ chuẩn tuyến toán pháp 362
12.4.4 A2C toán pháp 364
12.5 lợi dụng PPO ưu