Đằng Tấn vân cơ sở dữ liệu bộc lộ quan điểm VLDB, sản học hợp tác thúc đẩy cơ sở dữ liệu kỹ thuật sáng tạo

2024 năm ngày 26 tháng 8, cơ sở dữ liệu lĩnh vực quốc tế đỉnh sẽ International Conference on Very Large Data Bases ( VLDB 2024 ) ở Quảng Châu long trọng khai mạc. Đằng Tấn vân cơ sở dữ liệu huề nhiều học thuật cùng công nghiệp liên hợp nghiên cứu thành quả trọng bàng bộc lộ quan điểm, liên tục tận sức với chế tạo sản học nghiên dùng hợp tác sáng tạo tân phạm thức.

VLDB ( International Conference on Very Large Data Bases ) là cơ sở dữ liệu nghiên cứu lĩnh vực lịch sử đã lâu quốc tế hội nghị, cùng ICDE cùng SIGMOD cũng xưng cơ sở dữ liệu tam đại đỉnh cấp hội nghị, mỗi năm vì số liệu kho lĩnh vực cung cấp đại lượng cao chất lượng nghiên cứu luận văn cùng nghiên cứu thành quả, có quan trọng học thuật giá trị cùng ngành sản xuất dẫn đường ý nghĩa. Năm nay, là VLDB thành lập 50 đầy năm, cũng là tự 2014 năm ở Hàng Châu cử hành sau, khi cách 10 năm trở về Trung Quốc. Hiện trường vượt qua 1400 nhiều danh đến từ thế giới các nơi nghiên cứu giả tề tụ VLDB, tổ ủy hội tỏ vẻ, lần này hội nghị là VLDB sử thượng quy mô lớn nhất thịnh hội.

Hình ảnh

Mấy năm gần đây, theo mới phát kỹ thuật tấn mãnh phát triển, các ngành các nghề sinh ra số liệu lượng trình nổ mạnh thức tăng trưởng phân bố thức, vân nguyên sinh chờ nhiều loại cảnh tượng cơ sở dữ liệu đúng thời cơ mà sinh. Cùng lúc đó, phân bố thức cảnh tượng cũng nghênh đón như thế nào cân nhắc tính năng cùng nhất trí tính chờ một loạt tân khiêu chiến.

Năm nay, Đằng Tấn vân cơ sở dữ liệu 4 thiên luận văn trúng cử quốc tế cơ sở dữ liệu đỉnh cấp hội nghị VLDB, nhiều hạng ưu hoá sáng tạo phương án đột phá cơ sở dữ liệu lĩnh vực tính năng bình cảnh số chờ nhiều hạng nan đề, kỹ thuật sáng tạo năng lực lại hoạch quốc tế quyền uy tán thành.

Đằng Tấn vân cơ sở dữ liệu liên tục thông qua hợp tác cao giáo thúc đẩy sản phẩm trong nước tự chủ khả khống cơ sở dữ liệu kỹ thuật sáng tạo, lần này trúng cử luận văn cũng là đoàn đội phân biệt cùng Trung Quốc nhân dân đại học, Bắc Kinh đại học, Bắc Kinh giao thông đại học, hoa trung khoa học kỹ thuật đại học, Simon · phất lôi trạch đại học sản học nghiên thành quả, tương quan thành quả cũng chuyển hóa ứng dụng rơi xuống đất, thông qua Đằng Tấn vân cơ sở dữ liệu TDSQL đầu tư ứng dụng với các ngành các nghề khách hàng, “Sản học nghiên dùng” hợp tác sáng tạo gia tốc thúc đẩy sản phẩm trong nước cơ sở dữ liệu ngành sản xuất phát triển.

Ngoài ra, lần này VLDB đại hội trong lúc, Đằng Tấn vân cơ sở dữ liệu, Đằng Tấn cao giáo hợp tác, Đằng Tấn WeChat chờ đoàn đội còn thông qua tê giác điểu học thuật hội thảo, luận văn thành quả chia sẻ sẽ, đỉnh sẽ kỹ thuật xu thế giải đọc chờ hoạt động, dựng “Sản học nghiên dùng” giao lưu hợp tác ngôi cao, liên tục trợ lực sản phẩm trong nước cơ sở kỹ thuật sản học nghiên dùng hợp tác sáng tạo sinh thái xây dựng.

Tê giác điểu học thuật hội thảo: “Sản học nghiên dùng” hợp tác thúc đẩy cơ sở dữ liệu kỹ thuật biến cách

Hình ảnh

“VLDB @WeChat tê giác điểu · hoàn vũ hành” học thuật hội thảo thượng, Đằng Tấn vân cơ sở dữ liệu nghiên cứu phát minh tổng giám đốc Phan An đàn chia sẻ cơ sở dữ liệu TDSQL sau lưng nghiên cứu phát minh thực tiễn. Hắn giới thiệu, tốt cơ sở dữ liệu là dùng đến, TDSQL ra đời tự Đằng Tấn bên trong tài chính cấp kế phí nghiệp vụ, trải qua mười năm hơn nghiên cứu phát minh mài giũa, cùng với tài phó thông, hơi chúng ngân hàng, bình an ngân hàng chờ trong ngoài bộ rộng lượng nghiệp vụ cảnh tượng nghiệm chứng, có thể hình thành kiên cố cường nhất trí, cao nhưng dùng, cao tính năng chờ chỉ một động cơ cực hạn hóa cơ sở năng lực, cùng với theo ngành sản xuất phát triển, phát triển tuyến đầu vân nguyên sinh, hỗn hợp phân tích, AI+ trí năng vận duy chờ nhiều mô thái năng lực.

Cơ sở phần mềm thành thục chu kỳ trường, có quy mô mới có thể thành thục, Phan An đàn tỏ vẻ, Đằng Tấn căn cứ vào tự thân nghiệp vụ, thông qua công hữu vân nhanh chóng thay đổi, bảo đảm tư hữu vân giao phó cao chất lượng vốn nhỏ, thực hiện nghiệp vụ nhanh chóng phát triển. Mà về phương diện khác, Đằng Tấn vân cơ sở dữ liệu liên tục thông qua hợp tác cao giáo, ứng dụng cơ cấu liên hợp sáng tạo, thúc đẩy cơ sở dữ liệu kỹ thuật phát triển biến cách.

Ở trong ngành nhất quyền uy thí nghiệm tiêu chuẩn cơ bản TPC-C trung, TDSQL cơ sở dữ liệu siêu việt Oracle, DB2 chờ trong ngoài nước cơ sở dữ liệu, tính năng cùng tính giới so đều vị cư thế giới đệ nhất; TDSQL cũng là đầu cái đầu tư với quốc có đại sự, hình thức đầu tư cổ phần ngân hàng, thành nông cửa hàng chờ tài chính trung tâm hệ thống sản phẩm trong nước cơ sở dữ liệu, trước mắt đã mở rộng ứng dụng với vượt qua 3 vạn gia chủ lưu tài chính chính vụ, vận doanh thương, công nghiệp chế tạo xí nghiệp. IDC báo cáo biểu hiện, 2023 năm TDSQL lấy 20.6% chiếm so, ổn ở giữa quốc tài chính ngành sản xuất phân bố thức sự vụ hình cơ sở dữ liệu thị trường số định mức đệ nhất.

Phan An đàn tỏ vẻ, sản, học, nghiên, dùng hữu hiệu hợp tác sáng tạo, mới có thể thực hiện tốt sản nghiệp sinh thái hiệu ứng, thúc đẩy cơ sở kỹ thuật trường kỳ chất lượng tốt phát triển; mà khai nguyên cơ sở dữ liệu có phí tổn thấp, dễ dàng định chế cùng kỹ thuật đổi mới mau chờ ưu thế, là cơ sở dữ liệu chờ cơ sở kỹ thuật thực hiện càng cao càng mau phát triển quan trọng cơ hội. Tương lai, Đằng Tấn TDSQL đem tăng mạnh cùng quốc nội cao giáo, xí nghiệp cùng với khai nguyên xã khu mở ra hợp tác, trợ lực chế tạo kiện toàn sản phẩm trong nước cơ sở dữ liệu sản nghiệp sinh thái, xúc tiến sản phẩm trong nước cơ sở dữ liệu kỹ thuật cùng sản nghiệp phát triển.

Hình ảnh

Trúng cử luận văn chia sẻ: Thực tiễn cùng học thuật hợp tác thành quả

Trúng cử luận văn một

TDSQL: Tencent Distributed Database System

( TDSQL: Đằng Tấn phân bố thức cơ sở dữ liệu quản lý hệ thống )

Hình ảnh

Mấy năm gần đây, theo mới phát kỹ thuật tấn mãnh phát triển, các ngành các nghề sinh ra số liệu lượng trình nổ mạnh thức tăng trưởng phân bố thức, vân nguyên sinh chờ nhiều loại cảnh tượng cơ sở dữ liệu đúng thời cơ mà sinh. Cùng lúc đó, phân bố thức cảnh tượng cũng nghênh đón như thế nào cân nhắc tính năng cùng nhất trí tính chờ một loạt tân khiêu chiến.

“Đằng Tấn - Trung Quốc nhân dân đại học liên hợp phòng thí nghiệm” liên hợp phát biểu luận văn ——《TDSQL: Tencent Distributed Database System》 trung, chia sẻ thiết kế, khai phá cùng ưu hoá đại quy mô phân bố thức cơ sở dữ liệu hệ thống TDSQL kinh nghiệm. Ở phân bố thức giá cấu thượng, TDSQL thông qua đại lượng thực hiện cùng ưu hoá, bao gồm nội hạch ưu hoá, vật lý phục chế thực hiện cùng ưu hoá, phân bố thức khóa ưu hoá chờ, khiến cho TDSQL có thể ở bảo trì nhất trí tính dưới tình huống hữu hiệu xử lý đại lượng số liệu cùng cao đồng phát. Ở năm trước 3 nguyệt TPC-C tiêu chuẩn cơ bản thí nghiệm trung, TDSQL tính năng đạt tới mỗi phút 8.14 trăm triệu bút giao dịch ( tpmC ), đánh vỡ kỷ lục thế giới.

Hình ảnh

Đồ: TPC-C thí nghiệm tụ quần phối trí, bao gồm 2643 tiết điểm (10 vạn + vật lý trung tâm, 1500+TB nội tồn )

VLDB bình thẩm ủy ban đối bổn văn cấp tới rồi cực cao đánh giá: TDSQL hệ thống có rất cao thương dùng giá trị thả rất nhiều ứng dụng cảnh tượng xác minh, luận văn thảo luận phi thường toàn diện, thảo luận xây dựng cao tính năng phân bố thức cơ sở dữ liệu sở đề cập rất nhiều phương diện. Trên nhiều khía cạnh có phi thường hữu hiệu sáng tạo cùng tính năng đề cao, tỷ như vật lý phục chế thực hiện cùng ưu hoá, bộ phận mô khối vô khóa hóa thực hiện chờ. Trong đó TPC-C thí nghiệm sử dụng vượt qua 10 vạn cái vật lý trung tâm hệ thống bố trí thả 8 giờ trường kỳ ổn định thí nghiệm thập phần lệnh người ấn tượng khắc sâu, cho rằng cơ sở dữ liệu xã khu sẽ đối TPC-C thí nghiệm các phương diện phi thường cảm thấy hứng thú.

Trúng cử luận văn nhị

FluidKV: Seamlessly Bridging the Gap between Inde xing Performance and Memory-Footprint on Ultra-Fast Storage

( FluidKV: Ở siêu nhanh chóng tồn trữ thượng vô phùng mà di hợp hướng dẫn tra cứu tính năng cùng nội tồn chiếm dụng chi gian chênh lệch )

Hình ảnh

Ở cao tính năng kiện giá trị tồn trữ động cơ trung, cao tính năng hướng dẫn tra cứu kết cấu thường thường yêu cầu chiếm dụng quá liều nội tồn lấy đổi lấy cực cao hướng dẫn tra cứu tính năng. Nhằm vào này nóng lên môn nghiên cứu đầu đề, Đằng Tấn vân cùng hoa trung khoa học kỹ thuật đại học hợp tác mới nhất nghiên cứu thành quả 《FluidKV: Seamlessly Bridging the Gap between Inde xing Performance and Memory-Footprint on Ultra-Fast Storage》 trung đưa ra một loại chiếu cố cao đọc viết tính năng cùng thấp nội tồn chiếm dụng hướng dẫn tra cứu cơ chế.

Loại này căn cứ vào động thái nhiều giai đoạn hướng dẫn tra cứu giá cấu FluidKV, nhưng đem hướng dẫn tra cứu hạng từ trong tồn chiếm dụng suất cao giai đoạn, nhanh chóng di chuyển đến nội tồn hữu hảo kéo dài tồn trữ giai đoạn, lợi dụng cao tính năng tồn trữ thiết bị giải thông giảm bớt nội tồn áp lực. Tại đây cơ sở thượng, thông qua xứng đôi IO truyền viên độ, cũng căn cứ người dùng phụ tải đọc viết tỉ lệ ưu hoá giảm xóc chờ phương thức, có thể cho đọc viết tính năng bảo trì ở tối cao đương vị. Thực nghiệm kết quả biểu hiện, đối lập kéo dài hướng dẫn tra cứu tương quan công tác, FluidKV đọc viết tính năng đều ở vào tối cao một, đồng thời nhiều nhất nhưng giảm bớt 90% nội tồn chiếm dụng.

Hình ảnh

VLDB bình thẩm ủy ban cho rằng: “Bổn văn đưa ra một loại mới mẻ độc đáo ba tầng hướng dẫn tra cứu kết cấu, chuyên vì hỗn hợp DRAM cùng kéo dài tính nội tồn thiết kế. Thiết kế tiên tiến, phương án hợp lý. Căn cứ vào này một thiết kế, tác giả triển lãm trội hơn hiện có hệ thống đáng mừng thành quả.”

Trúng cử luận văn tam

Efficient and Accurate SimRank-based Similarity Joins: Experiments, Analysis, and Improvement

( hiệu suất cao thả chuẩn xác căn cứ vào SimRank tương tự tính liên tiếp: Thực nghiệm, phân tích cùng cải tiến )

Cùng Bắc Kinh đại học, Bắc Kinh giao thông đại học liên hợp đưa ra hiệu suất cao thả chuẩn xác SimRank đồ tiết điểm tương tự độ liên tiếp thuật toán nghiên cứu. Thực nghiệm cho thấy, nên thuật toán so đã có phương pháp thực hiện tuần tra hiệu suất gần một số lượng cấp tăng lên. Nên hợp tác cũng là “2022 năm CCF- Đằng Tấn tê giác điểu nghiên cứu khoa học quỹ” trúng cử hạng mục, cũng đạt được nên niên độ hạng mục ưu tú độc quyền thưởng.

Tương tự tính liên tiếp ( similarity join ) vấn đề, đối hiện có đại biểu tính thuật toán tiến hành rồi thuật toán phức tạp độ, xấp xỉ khác biệt bảo đảm chờ lý luận tính chất cùng thực nghiệm hiệu quả phân tích đối lập. Bởi vì hiện có thuật toán mặt hướng toàn tiết điểm đối ( all-pair ) SimRank xấp xỉ tính toán, top-k tuần tra cùng ngạch giá trị tuần tra chờ nhiều loại tuần tra loại hình tồn tại xấp xỉ khác biệt bảo đảm cùng thực tế vận hành hiệu suất mặt không đủ, nên nghiên cứu căn cứ vào SimRank cùng đơn túc ( single-target ) cá tính hóa PageRank tính toán lý luận đồng giá tính, phân biệt đưa ra mang cắt chi tùy cơ hóa ngược hướng bộ phận đẩy đưa thuật toán, cùng với có xấp xỉ độ chặt chẽ bảo đảm top-k tuần tra cùng ngạch giá trị tuần tra thuật toán dàn giáo. Bổn văn kết hợp SimRank lấy giá trị phân bố giả thiết, đối đưa ra thuật toán tiến hành rồi phức tạp độ phân tích, cũng tỏ rõ mịch luật phân bố chờ chân thật đồ thường thấy tính chất đối thuật toán phức tạp độ ảnh hưởng. Nên nghiên cứu đưa ra thuật toán ở thực tế hiệu suất mặt cũng so hiện có phương pháp thực hiện trên diện rộng tăng lên.

Hình ảnh

Nên nghiên cứu nhằm vào đồ số liệu thượng kinh điển SimRank tiết điểm tương tự độ liên tiếp

VLDB bình thẩm ủy ban cho rằng, nên luận văn đối SimRank tương tự độ liên tiếp này một quan trọng tiết điểm tương tự độ độ lượng chỉ tiêu đưa ra có xấp xỉ độ chặt chẽ bảo đảm thuật toán giá cấu cùng càng thấp lý luận phức tạp độ tuần tra thuật toán, cũng đối đã có phương pháp cùng tân thuật toán tiến hành rồi tính toán phức tạp độ phân tích cùng thực nghiệm hiệu quả đối lập, hữu hiệu tăng lên SimRank tính toán hiệu suất.

Trúng cử luận văn bốn

The Art of Latency Hiding in Modern Database Engines

( hiện đại cơ sở dữ liệu động cơ trung lùi lại che giấu nghệ thuật )

Theo CPU, đại nội tồn, cao tốc tồn trữ thiết bị phát triển, làm CPU càng nhiều dùng cho thực tế tính toán nhiệm vụ là hiệu suất cao lợi dụng này đó tân phần cứng mấu chốt chi nhất. Nhưng trước mắt, toàn bộ cơ sở dữ liệu hệ thống trung, tồn tại đại lượng chờ đợi sự kiện, sẽ dẫn tới CPU “Tạp trụ”, tức làm CPU ở vào không có hiệu quả chờ đợi trạng thái, tạo thành CPU tài nguyên lãng phí.

Ở trúng cử luận văn 《The Art of Latency Hiding in Modern Database Engines》 trung, Đằng Tấn vân liên hợp Simon · phất lôi trạch đại học nhằm vào cao tính năng OLTP xử lý nan đề, đưa ra căn cứ vào song đội ngũ dây chuyền sản xuất sự vụ xử lý cơ chế, có thể tiến thêm một bước giảm bớt CPU không có hiệu quả chờ đợi, làm CPU đầy đủ ứng dụng với thực tế tính toán nhiệm vụ trung. Thực nghiệm cho thấy, ở số liệu lượng lớn hơn nội tồn, hỗn hợp phụ tải cảnh tượng hạ, nên hệ thống nên đến 33 lần tính năng tăng lên.

Bổn văn nghiên cứu thành công căn cứ vào phía trước Tianzheng Wang đoàn đội nghiên cứu thành công CoroBase, sử dụng C++20 vô sạn hiệp trình, mỗi cái sự vụ đối ứng một cái hiệp trình. Bổn văn căn cứ vào CoroBase, đưa ra một loại Dual-Queue Transactioin Pipeling sự vụ xử lý cơ chế. Ở hệ thống bên trong, chờ đợi nội tồn phỏng vấn sự vụ bị để vào hot đội ngũ, mà chờ đợi phần ngoài tồn trữ thiết bị phỏng vấn sự vụ bị để vào cold đội ngũ. Đối với hot đội ngũ, hệ thống lợi dụng CPU prefetch cơ chế trước tiên đem số liệu thêm tái đến nội tồn trung; đối với cold đội ngũ trung sự vụ, chúng nó ở tiến vào chờ đợi trạng thái phía trước, đầu tiên sẽ phát ra dị bước IO thỉnh cầu, điều hành khí sẽ ở khôi phục sự vụ chấp hành phía trước kiểm tra dị bước IO hay không đã được đến hưởng ứng, số liệu hay không đã chuẩn bị hảo. Loại này phương pháp sử hệ thống có thể hiệu suất cao mà đồng thời xử lý chỉ cần phỏng vấn nội tồn sự vụ cùng yêu cầu phần ngoài tồn trữ thiết bị phỏng vấn sự vụ. Ngoài ra, bổn văn đưa ra hệ thống không hề sử dụng redo log flush chờ hậu trường tuyến trình, do đó tiêu trừ CPU quá độ đặt mua cùng bất đồng tuyến trình chi gian đồng bộ vấn đề, giảm bớt thao tác hệ thống tiến trình điều hành tần suất, sử CPU được đến càng nguyên vẹn lợi dụng.

VLDB bình thẩm ủy ban đối bổn văn cho độ cao đánh giá: Bổn văn chú ý cao tính năng OLTP xử lý, nhưng nó đem sử dụng hiệp trình ở đơn tuyến trình trung lấy Batch phương thức đan xen chấp hành sự vụ giải quyết phương án mở rộng đến lớn hơn nội tồn cơ sở dữ liệu cùng sự vụ. Này chủ yếu tư tưởng là tăng cường hiệp trình điều hành khí, làm này có thể phân chia chỉ yêu cầu phỏng vấn nội tồn sự vụ cùng yêu cầu phỏng vấn chậm tốc I/O sự vụ, cũng cho phép sự vụ tại đây hai loại hình thức chi gian cắt. Thực nghiệm cũng đầy đủ chứng minh rồi điểm này, nên phương pháp tránh cho chờ đợi ổ đĩa từ I/O hoặc thao tác hệ thống tuyến trình điều hành mang đến chi tiêu vấn đề. Tổng thể mà nói, hệ thống có thể ở bão hòa cao tốc SSD đồng thời xử lý căn cứ vào ổ đĩa từ sự vụ, cũng duy trì cao phun ra nuốt vào lượng nội tồn nội sự vụ xử lý, đây là hạng nhất phi thường lệnh người ấn tượng khắc sâu thành quả.

Hình ảnh

Làm quốc nội cơ sở dữ liệu ngành sản xuất người mở đường, Đằng Tấn vân đã thâm canh cơ sở dữ liệu lĩnh vực mười năm hơn, phục vụ vượt qua 50 vạn khách hàng, tương lai, Đằng Tấn vân đem liên tục thâm canh thực tế cảnh tượng nhu cầu, không ngừng thăm dò cùng công kiên cơ sở dữ liệu nan đề, thúc đẩy cơ sở dữ liệu lĩnh vực học thuật tiến bộ cùng kỹ thuật thành quả chuyển hóa, trợ lực càng nhiều xí nghiệp thực hiện nghiệp vụ sáng tạo cùng cao chất lượng phát triển.