PaddleSlim thị nhất cá chuyên chú vu thâm độ học tập mô hình áp súc đích công cụ khố, đề cungĐê bỉ đặc lượng hóa, tri thức chưng lựu, hi sơ hóa hòa mô hình kết cấu sưu tácĐẳng mô hình áp súc sách lược, bang trợ khai phát giả khoái tốc thật hiện mô hình đích tiểu hình hóa.
-
🔥 2022.01.18: Phát bốYOLOv8 tự động hóa áp súc kỳ lệ,Lượng hóa dự trắc gia tốc 2.5 bội.
-
【 trực bá phân hưởng 】2022-12-13 20:30 《 tự động hóa áp súc kỹ thuật tường giải cập ViT mô hình thật chiến 》, vi tín tảo mã báo danh
2022.08.16: Tự động hóa áp súc công năng thăng cấp
- Chi trì trực tiếp gia tái ONNX mô hình hòa Paddle mô hình đạo xuất chí ONNX
- Phát bố lượng hóa phân tích công cụ, phát bốYOLO hệ liệt ly tuyến lượng hóa công cụ
- Canh tânYOLO-Series tự động hóa áp súc mô hình khố
| Mô hình | Base mAPval 0.5:0.95 |
ACT lượng hóa mAPval 0.5:0.95 |
Mô hình thể tích áp súc bỉ | Dự trắc thời diênFP32 |
Dự trắc thời diênINT8 |
Dự trắc gia tốc bỉ |
|---|---|---|---|---|---|---|
| PPYOLOE-s | 43.1 | 42.6 | 3.9 bội | 6.51ms | 2.12ms | 3.1 bội |
| YOLOv5s | 37.4 | 36.9 | 3.8 bội | 5.95ms | 1.87ms | 3.2 bội |
| YOLOv6s | 42.4 | 41.3 | 3.9 bội | 9.06ms | 1.83ms | 5.0 bội |
| YOLOv7 | 51.1 | 50.9 | 3.9 bội | 26.84ms | 4.55ms | 5.9 bội |
| YOLOv7-Tiny | 37.3 | 37.0 | 3.9 bội | 5.06ms | 1.68ms | 3.0 bội |
Lịch sử canh tân
-
2022.07.01: Phát bốv2.3.0 bản bổn
- Phát bốTự động hóa áp súc công năng
- Chi trì đại mã vô cảm tri áp súc: Khai phát giả chỉ nhu đề cung thôi lý mô hình văn kiện hòa sổ cư, kí khả tiến hành ly tuyến lượng hóa ( PTQ ), lượng hóa huấn luyện ( QAT ), hi sơ huấn luyện đẳng áp súc nhậm vụ.
- Chi trì tự động sách lược tuyển trạch, căn cư nhậm vụ đặc điểm hòa bộ thự hoàn cảnh đặc tính: Tự động sưu tác hợp thích đích ly tuyến lượng hóa phương pháp, tự động sưu tác tối giai đích áp súc sách lược tổ hợp phương thức.
- Phát bốTự nhiên ngữ ngôn xử lý,Đồ tượng ngữ nghĩa phân cát,Đồ tượng mục tiêu kiểm trắcTam cá phương hướng đích tự động hóa áp súc kỳ lệ.
- Phát bố
X2PaddleMô hình tự động hóa áp súc phương án:YOLOv5,YOLOv6,YOLOv7,HuggingFace,MobileNet.
- Thăng cấp lượng hóa công năng
- Thống nhất lượng hóa mô hình cách thức; ly tuyến lượng hóa chi trì while op; tu phục BERT đại mô hình lượng hóa huấn luyện quá mạn đích vấn đề.
- Tân tăng 7 chủngLy tuyến lượng hóa phương pháp,Bao quát HIST, AVG, EMD, Bias Correction, AdaRound đẳng.
- Chi trì bán kết cấu hóa hi sơ huấn luyện
- Tân tăng diên thời dự cổ công cụ
- Chi trì đối hi sơ hóa mô hình, đê bỉ đặc lượng hóa mô hình đích tính năng dự cổ; chi trì dự cổ chỉ định mô hình tại đặc định bộ thự hoàn cảnh hạ (ARM CPU + Paddle Lite) đích thôi lý tính năng; đề cung SD625, SD710, RK3288 tâm phiến + Paddle Lite đích dự cổ tiếp khẩu.
- Đề cung bộ thự hoàn cảnh tự động khoách triển công cụ, khả dĩ tự động tăng gia tại canh đa ARM CPU thiết bị thượng đích dự cổ công cụ.
- Phát bốTự động hóa áp súc công năng
-
2021.11.15: Phát bố v2.2.0 bản bổn
- Chi trì động thái đồ ly tuyến lượng hóa công năng.
-
2021.5.20: Phát bố V2.1.0 bản bổn
- Khoách triển ly tuyến lượng hóa phương pháp
- Tân tăng phi kết cấu hóa hi sơ
- Tăng cường tiễn chi công năng
- Tu phục OFA công năng nhược càn bug
Canh đa tín tức thỉnh tham khảo:release note
PaddleSlim chi trì dĩ hạ công năng, dã chi trì tự định nghĩa lượng hóa, tài tiễn đẳng công năng.
| Quantization | Pruning | NAS | Distilling |
|---|---|---|---|
Chú:
- * biểu kỳ cận chi trì tĩnh thái đồ, ** biểu kỳ cận chi trì động thái đồ
- Mẫn cảm độ tài tiễn chỉ đích thị thông quá các cá tằng đích mẫn cảm độ phân tích lai xác định các cá quyển tích tằng đích tiễn tài suất, nhu yếu hòa kỳ tha tài tiễn phương pháp phối hợp sử dụng.
PaddleSlim tại điển hình thị giác hòa tự nhiên ngữ ngôn xử lý nhậm vụ thượng tố liễu mô hình áp súc, tịnh thả trắc thí liễu Nvidia GPU, ARM đẳng thiết bị thượng đích gia tốc tình huống, giá lí triển kỳ bộ phân mô hình đích áp súc hiệu quả, tường tế phương án khả dĩ tham khảo hạ diện CV hòa NLP mô hình áp súc phương án:
Biểu 1: Bộ phân tràng cảnh mô hình áp súc gia tốc tình huống
Chú ý sự hạng
- YOLOv3: Tại di động đoan SD855 thượng gia tốc 3.55 bội.
- PP-OCR: Thể tích do 8.9M giảm thiếu đáo 2.9M, tại SD855 thượng gia tốc 1.27 bội.
- BERT: Mô hình tham sổ do 110M giảm thiếu đáo 80M, tinh độ đề thăng đích tình huống hạ, Tesla T4 GPU FP16 kế toán gia tốc 1.47 bội.
Tự động áp súc hiệu quả
Biểu 3: Tự động áp súc hiệu quả
Ly tuyến lượng hóa hiệu quả đối bỉ
Biểu 2: Đa chủng ly tuyến lượng hóa phương pháp hiệu quả đối bỉ
An trang phát bố bản bổn:
pip install paddleslimAn trang develop bản bổn:
git clone https://github.com/PaddlePaddle/PaddleSlim.git&cdPaddleSlim
python setup.py install- Nghiệm chứng an trang: An trang hoàn thành hậu nâm khả dĩ sử dụng python hoặc python3 tiến nhập python giải thích khí, thâu nhập import paddleslim, một hữu báo thác tắc thuyết minh an trang thành công.
- Bản bổn đối tề:
| PaddleSlim | PaddlePaddle | PaddleLite |
|---|---|---|
| 2.0.0 | 2.0 | 2.8 |
| 2.1.0 | 2.1.0 | 2.8 |
| 2.1.1 | 2.1.1 | >=2.8 |
| 2.3.0 | 2.3.0 | >=2.11 |
| 2.4.0 | 2.4.0 | >=2.11 |
| develop | develop | >=2.11 |
- 🔥Tự động áp súc
- Lượng hóa huấn luyện
- Ly tuyến lượng hóa
- Kết cấu hóa tiễn chi
- Chưng lựu
- NAS
- Lượng hóa phân tích công cụ
Tiến giai giáo trình tường tế giới thiệu liễu mỗi nhất bộ đích lưu trình, bang trợ nâm bả tương ứng phương pháp thiên di đáo nâm tự kỷ đích mô hình thượng.
-
Thông đạo tiễn tài
-
Đê bỉ đặc lượng hóa
-
NAS
-
Chưng lựu
- Benchmark
- Lượng hóa bộ thự chi trì đích dự trắc khố:
- Paddle Inference:GPU lượng hóa bộ thự,Intel CPU lượng hóa bộ thự.
- Paddle Lite:Lượng hóa bộ thự
- ONNX
Bổn hệ liệt giáo trình quân cơ vu Paddle quan phương đích mô hình sáo kiện trung mô hình tiến hành áp súc, nhược nâm bất thị mô hình sáo kiện dụng hộ, canh thôi tiến sử dụng khoái tốc giáo trình hòa tiến giai giáo trình.
-
Kiểm trắc mô hình áp súc
-
Áp súc phương án
-
Phương pháp ứng dụng - tĩnh thái đồ
-
Phương pháp ứng dụng - động thái đồ
-
-
Phân cát mô hình áp súc
-
Áp súc phương án
-
Phương pháp ứng dụng - tĩnh thái đồ
-
Phương pháp ứng dụng - động thái đồ
-
-
OCR mô hình áp súc
-
Áp súc phương án
-
Phương pháp ứng dụng - tĩnh thái đồ
-
Phương pháp ứng dụng - động thái đồ
-
1. Lượng hóa huấn luyện hoặc giả ly tuyến lượng hóa hậu đích mô hình thể tích vi thập ma một hữu biến tiểu?
Đáp: Giá thị nhân vi lượng hóa hậu bảo tồn đích tham sổ thị tuy nhiên thị int8 phạm vi, đãn thị loại hình thị float. Giá thị nhân vi Paddle huấn luyện tiền hướng mặc nhận đích Kernel bất chi trì INT8 Kernel thật hiện, chỉ hữu Paddle Inference TensorRT đích thôi lý tài chi trì lượng hóa thôi lý gia tốc. Vi liễu phương tiện lượng hóa hậu nghiệm chứng lượng hóa tinh độ, sử dụng Paddle huấn luyện tiền hướng năng gia tái thử mô hình, mặc nhận bảo tồn đích Float32 loại hình quyền trọng, thể tích một hữu phát sinh biến hoán.
2. macOS + Python3.9 hoàn cảnh hoặc giả Windows hoàn cảnh hạ, an trang xuất thác, "command 'swig' failed"
Đáp: Thỉnh tham khảo#1258
Bổn hạng mục đích phát bố thụApache 2.0 licenseHứa khả nhận chứng.
Ngã môn phi thường hoan nghênh nhĩ khả dĩ vi PaddleSlim đề cung đại mã, dã thập phân cảm tạ nhĩ đích phản quỹ.
-
Như quả nhĩ phát hiện nhậm hà PaddleSlim tồn tại đích vấn đề hoặc giả thị kiến nghị, hoan nghênh thông quáGitHub IssuesCấp ngã môn đề issues.
-
Hoan nghênh gia nhập PaddleSlim vi tín kỹ thuật giao lưu quần
