MySQL+Hadoop+DataX+Flume+Hive+Spark+DolphinScheudler+Python+Shell+Superset đẳng

1. Cơ vu điện thương đích nghiệp vụ sổ cư nhu cầu phân tích hòa chỉ tiêu thể hệ kiến lập
2. Nguyên thủy sổ cư ( nghiệp vụ sổ cư hòa nhật chí sổ cư ) tham tác
3. Dụng hộ, thương phẩm, đính đan, đính đan tường tình, đính đan chi phó, thu hoạch địa chỉ, cung ứng thương, thời gian duy độ, địa khu duy độ đẳng tương quan nghiệp vụ sổ cư toàn lượng hòa tăng lượng đồng bộ
4. Nghiệp vụ sổ cư đồng bộ nhậm vụ khai phát, thượng tuyến, trắc thí cập sổ cư đồng bộ vấn đề đích sổ cư bổ bào
5. Dụng hộ lưu lãm, điểm kích, giao hỗ, khải động, an trang, hoạt động, thâu nhập hòa sưu tác đẳng tương quan hành vi sổ cư thải tập hòa nhậm vụ thượng tuyến vận hành
6. Quảng cáo đầu phóng ngoại bộ sổ cư thải tập hòa nhậm vụ thượng tuyến vận hành
7. Dụng hộ, đính đan, giao dịch, doanh tiêu đẳng chủ đề đích DWD, DWS hòa ADS tằng khai phát
8. Duy độ tằng sổ cư gia công dữ khai phát xử lý
9.ADS tằng sổ cư đạo xuất đáo MySQL, phối trí tương quan nhậm vụ, thượng tuyến vận hành
10. Sử dụng Superset BI khả thị hóa công cụ thật hiện các cá chủ đề báo biểu phối trí, khán bản phối trí dữ khán bản phát bố

ECS, RDS, DataHub, MaxCompute, DataWorks, QuickBI

1 bộ thự nhất trạm thức ODPS đại sổ cư hoàn cảnh
2 tham tác thương thành đa chủng C đoan, B đoan hòa vật lưu đoan đẳng nghiệp vụ dữ sổ cư, sơ lý tương quan nghiệp vụ chỉ tiêu thể hệ
3 ODS tằng kiến lập đối ứng mô hình, ứng dụng ODPS đích sổ cư tập thành mô khối, tương nghiệp vụ sổ cư đồng bộ chí ODS tằng
4 DWD hòa DIM tằng sổ cư kiến mô, tương ODS tằng sổ cư gia công xử lý đáo DWD hòa DIM tằng
5 cấu kiến DWS tằng dụng hộ hành vi, thương phẩm, cấu vật xa hòa đính đan đẳng khoan biểu mô hình, tịnh tương DWD tằng sổ cư gia công đáo đối ứng đích khoan biểu
6 ADS diện hướng ứng dụng cấu kiến nhu cầu mô hình, tương DWS tằng đích sổ cư tái thứ gia công đáo ADS tằng các cá biểu trung
7 sử dụng QuickBI chế tác sổ cư báo biểu dữ khả thị hóa khán bản thao tác
8 sổ cư chất lượng giam khống khai phát hòa sổ cư quyền hạn khống chế thiết trí

Hadoop, Hive, Spark, DolphinScheudler, Hue, Shell

1 dụng hộ hòa khóa trình tiêu thiêm thể hệ kiến thiết
2 ID-Mapping đả thông
3 dụng hộ cơ sở tiêu thiêm dữ tụ hợp tiêu thiêm mô hình cấu kiến dữ gia công
4 vật phẩm cơ sở tiêu thiêm dữ tụ hợp tiêu thiêm đích mô hình cấu kiến dữ gia công đẳng
5 họa tượng tiêu thiêm lạc bàn dữ duy hộ
6 họa tượng tiêu thiêm đích ứng dụng dữ phục vụ

MySQL, Kafka, Hadoop, Hive, Spark, ClickHouse, Superset, Hue, DolphinScheduler Hoặc thải dụng a lí vân đại sổ cư phục vụ

1 điện thương nghiệp vụ nhu cầu thảo luận dữ bình thẩm
2 nghiệp vụ bình thẩm, giá cấu bình thẩm hòa kỹ thuật bình thẩm
3 điện thương tương quan chỉ tiêu thể hệ, dụng hộ, đính đan, giao dịch hòa thương phẩm đẳng chủ đề hoa phân
4 tương quan loại biệt, địa vực hòa phẩm bài đẳng duy độ tằng sổ cư gia công, sổ cư thương khố các tằng mô hình cấu kiến
5 điện thương nghiệp vụ sổ cư đồng bộ hòa chỉ tiêu kế toán đích nhậm vụ bài kỳ, nhậm vụ trắc thí dữ thượng tuyến bộ thự
6 sử dụng BI công cụ tiến hành chủ đề sổ cư báo biểu hòa khán bản chế tác dữ phát bố
7 xí nghiệp cấp đại bình sổ cư trừu thủ, gia công, thôi tống, lộ xuất toàn lưu trình sổ cư gia công lưu chuyển phương thức

MySQL, Kafka, Hadoop, Hive, Spark, ClickHouse, SuperSet, Hue, DolphinScheduler Đẳng

1 vấn đáp hệ thống nghiệp vụ nhu cầu thảo luận dữ bình thẩm
2 vấn đáp hệ thống sổ cư thương khố giá cấu cấu kiến
3 vấn đáp hệ thống tương quan chỉ tiêu thể hệ, dụng hộ, vấn đáp hòa hỗ động đẳng chủ đề hoa phân cập các tằng mô hình kiến thiết
4 nghiệp vụ sổ cư hòa hành vi sổ cư đích đồng bộ dữ thải tập
5 dụng hộ, vấn đáp, hỗ động hòa hành vi tương quan chỉ tiêu đích kế toán
6 sử dụng khả thị hóa công cụ đối tương quan chỉ tiêu hòa sổ cư tiến hành triển kỳ
7 tương quan nhậm vụ điều độ dữ thượng tuyến phối trí

Bổn hạng mục công trình tổ kiện: Spark MLlib + SpringBoot + Redis +HBase+ Milvus
Bổn hạng mục thiệp cập toán pháp: Word2Vec + ItemCF+ALS+GBDT+LR+BloomFilter
Giam khống giá cấu y nhiên thải dụng: Prometheus + Grafana + IM
Bổn hạng mục đích tổ kiện giam khống: Thôi tiến API+HBase[Metric]+Prometheus + Grafana +Supervisor+ IM

1 hạng mục hiệp đồng quá lự mô hình
2 cơ vu ItemCF mô hình đích triệu hồi, tương triệu hồi đích đặc chinh sổ cư dũng phương thức tồn trữ HBase trung
3 Cơ vu ALS mô hình đích triệu hồi, tương triệu hồi đích đặc chinh sổ cư dĩ HBase đích dũng phương thức trang tái đáo HBase trung
4 vật phẩm đích cơ sở đặc chinh hướng lượng gia công hòa tồn trữ HBase
5 Dụng hộ cơ sở đặc chinh hướng lượng gia công xử lý dữ tồn trữ HBase
6 vật phẩm hòa dụng hộ khảm nhập hướng lượng đích gia công xử lý dữ tồn trữ HBase
7 Thôi tiến hệ thống bài tự giai đoạn giải tích, LR hòa GBDT mô hình cấu kiến, huấn luyện hòa trắc thí
8 PMML khóa bình đài cấu kiến, Jpmml-SparkML đích nguyên mã nghiên phát, thật hiện tự định nghĩa Transformer, PMML mô hình văn kiện bảo tồn
9 Đa lộ triệu hồi mô hình đặc chinh hướng lượng tiến hành Union, tịnh tồn trữ HBase trung
10 PMML mô hình văn kiện gia tái, ứng dụng tuyến thượng sổ cư, đối ngoại khai phát thôi tiến phục vụ API
11 Cơ vu Promethuse hòa Grafana giá cấu đích thôi tiến API phục vụ giam khống