GNN hệ liệt nói khái quát GNN GCN GraphSAGE GAT đơn giản lý giải cập điều ưu Trick

1. Đồ cùng GNN bối cảnh

1.1 đồ

Đồ (graph) là một loại số liệu kết cấu, đồ mạng lưới thần kinh (Graph Neural Network) hẳn là chiều sâu học tập ở đồ kết cấu số liệu thượng một ít mô hình, phương pháp cùng ứng dụng. Thường thấy đồ kết cấu từ tiết điểm (node) cùng biên (edge) cấu thành, tiết điểm bao hàm thật thể (entity) tin tức, biên bao hàm thật thể gian quan hệ (relation) tin tức.

Đồ là dùng để tỏ vẻ thật thể và quan hệ kết cấu, nhớ vìG=(V,E).Đồ từ hai cái tập hợp tạo thành,Một là tiết điểm tập hợp V, một cái là biên tập hợp E.Ở biên tập E trung, một cái biên (u,v) liên tiếp một đôi tiết điểm u cùng v, cho thấy hai tiết điểm gian tồn tại quan hệ.

Quan hệ có thể là vô hướng, như miêu tả tiết điểm chi gian đối xứng quan hệ; cũng có thể là có hướng, như miêu tả phi đối xứng quan hệ. Đồ có thể là thêm quyền hoặc chưa thêm quyền. Ở thêm quyền đồ trung, mỗi điều biên đều cùng một cái đại lượng vô hướng quyền trọng giá trị tương quan liên. Tỷ như, nên quyền trọng có thể tỏ vẻ chiều dài hoặc liên tiếp cường độ. Đồ có thể là cùng cấu hoặc là dị cấu. Ở cùng kết cấu trung, sở hữu tiết điểm tỏ vẻ cùng loại hình thật thể, sở hữu biên tỏ vẻ cùng loại hình quan hệ.

Hiện tại rất nhiều học tập nhiệm vụ đều yêu cầuXử lý đồ kết cấu số liệu, tỷ như vật lý hệ thống kiến mô (physics system), học tập phần tử vân tay (molecular fingerprints), protein tiếp lời đoán trước (protein interface) cùng với bệnh tật phân loại (classify diseases),Này đó đều yêu cầu mô hình có thể từ đồ kết cấu đưa vào trung học tập tương quan tri thức.

Ở công nghiệp giới ứng dụng, chủ yếu là hạ đồ sở kỳ:

1.2 GNN khởi nguyên

GNN khởi nguyên với hai loại động cơ, một loại động cơ đến từ chính cuốn tích mạng lưới thần kinh (CNN), một loại khác động cơ đến từ chính đồ khảm nhập (graph embedding).

Đệ nhất loại nơi phát ra với CNN,CNN có thể lấy ra ra nhiều chừng mực bộ phận không gian đặc thù, cũng đem chúng nó tiến hành tổ hợp tới xây dựng càng thêm cao cấp tỏ vẻ (expressive representations). Nếu thâm nhập nghiên cứu CNN cùng đồ kết cấu đặc điểm, có thể phát hiện CNN trung tâm đặc điểm ở chỗ:Bộ phận liên tiếp (local connection),Quyền trọng cùng chung (shared weights)CùngNhiều trùng điệp thêm (multi-layer).Này đó đồng dạng ở đồ vấn đề trung phi thường thử dùng, bởi vìĐồ kết cấu là nhất điển hình bộ phận liên tiếp kết cấu,Tiếp theo,Cùng chung quyền trọng có thể giảm bớt tính toán lượng,Mặt khác,Nhiều tầng kết cấu là xử lý phân cấp hình thức (hierarchical patterns) mấu chốt.Nhưng mà, CNN chỉ có thể ở Euclid số liệu (Euclidean data), tỷ như 2D hình ảnh cùng một duy văn bản số liệu thượng tiến hành xử lý, mà này đó số liệu chỉ là đồ kết cấu trường hợp đặc biệt mà thôi, đối với giống nhau đồ kết cấu, có thể phát hiện rất khó đem CNN trung cuốn tích hạch (convolutional filters) cùng trì hóa thao tác (pooling operators) di chuyển đến đồ thao tác thượng. Như sau đồ, tả đồ vì hình ảnh, là tương đối rõ ràng Euclidean số liệu, mà hữu đồ vì bình thường graph kết cấu.

Một loại khác động cơ nơi phát ra với đồ khảm nhập (embedding),Cái gọi là khảm nhập, chính là đối đồ tiết điểm, biên hoặc là tử đồ (subgraph) học tập được đến một cái thấp duy vector tỏ vẻ, truyền thống máy móc học tập phương pháp thông thường căn cứ vào nhân công đặc thù công trình tới xây dựng đặc thù, nhưng là loại này phương pháp chịu giới hạn trong linh hoạt tính không đủ, biểu đạt năng lực không đủ để cập công trình lượng quá lớn vấn đề, từ khảm nhập thường thấy mô hình cóSkip-gram,CBOWChờ, đồ khảm nhập thường thấy mô hình cóDeepWalk,Node2VecChờ, như trên đồ, nhưng mà, này đó phương pháp phương pháp có hai loại nghiêm trọng khuyết điểm,Đầu tiên chính là tiết điểm mã hóa trung quyền trọng chưa cùng chung, dẫn tới quyền trọng số lượng theo tiết điểm tăng nhiều mà tuyến tính tăng đại,Mặt khác chính là trực tiếp khảm nhập phương pháp khuyết thiếu phiếm hóa năng lực,Ý nghĩa vô pháp xử lý động thái đồ cùng với phiếm hóa đến tân đồ.

1.3 GNN cùng truyền thống NN khác nhau

Đầu tiên, tiêu chuẩn mạng lưới thần kinh tỷ như CNN cùng RNN không thể đủ thích hợp mà xử lý đồ kết cấu đưa vào, bởi vì chúng nó đều yêu cầu tiết điểm đặc thù dựa theo nhất định trình tự tiến hành sắp hàng, nhưng là,Đối với đồ kết cấu mà nói, cũng không có thiên nhiên trình tự mà nói,Nếu sử dụng trình tự tới hoàn chỉnh biểu đạt đồ nói, như vậy liền yêu cầu đem đồ phân giải thành sở hữu khả năng danh sách, sau đó đối danh sách tiến hành kiến mô, hiển nhiên, phương thức này phi thường nhũng dư cùng với tính toán lượng phi thường đại, cùng này tương phản,GNN chọn dùng ở mỗi cái tiết điểm thượng phân biệt truyền bá (propagate) phương thức tiến hành học tập,Bởi vậy xem nhẹ tiết điểm trình tự, tương đương với GNN phát ra sẽ theo đưa vào bất đồng mà bất đồng.

Mặt khác,Đồ kết cấu biên tỏ vẻ tiết điểm chi gian sống nhờ vào nhau quan hệ,Nhưng mà, truyền thống mạng lưới thần kinh trung, sống nhờ vào nhau quan hệ là thông qua tiết điểm đặc thù biểu đạt ra tới, nói cách khác, truyền thống mạng lưới thần kinh không phải hiện thức biểu đạt trung loại này sống nhờ vào nhau quan hệ, mà là thông qua bất đồng tiết điểm đặc thù tới gián tiếp biểu đạt tiết điểm chi gian quan hệ. Thông thường tới nói,GNN thông qua hàng xóm tiết điểm thêm quyền cầu hòa tới đổi mới tiết điểm che giấu trạng thái.

Cuối cùng, chính làĐối với cao cấp trí tuệ nhân tạo tới nói, trinh thám là một cái trọng yếu phi thường nghiên cứu chủ đề,Nhân loại đại não trinh thám quá trình trên cơ bản đều là căn cứ vào đồ phương thức, cái này đồ là từ thông thường sinh hoạt trải qua trung học tập được đến. GNN nếm thử từ phi kết cấu hóa số liệu tỷ như tình cảnh hình ảnh cùng chuyện xưa văn bản trung sinh ra kết cấu hóa đồ, cũng thông qua này đó đồ kiếp sau thành càng cao cấp AI hệ thống.

1.4 GNN phân loại

GNN mô hình phân loại như sau:

• Đồ cuốn tích internet (Graph convolutional networks) cùng đồ lực chú ý internet (graph attention networks), bởi vì đề cập đến truyền bá bước đi (propagation step).
• Đồ không vực internet (spatial-temporal networks), bởi vì nên mô hình thông thường dùng ở động thái đồ (dynamic graph) thượng.
• Đồ tự mã hóa (auto-encoder), bởi vì nên mô hình thông thường sử dụng vô giám sát học tập (unsupervised) phương thức.
• Đồ sinh thành internet (generative networks), bởi vì là sinh thành thức internet.

2. GCN

GCN tình hình cụ thể và tỉ mỉ có thể thấy được phía trước blog:GNN hệ liệt GCN bản tóm tắt suy luận lý giải cập DGL nguyên mã phân tích

GCN ấn truyền bá phương thức phân loại:

• Căn cứ vào không gian vực hoặc đỉnh điểm vực vertex domain(spatial domain)
• Căn cứ vào tần vực hoặc phổ vực spectral domain

Thông tục điểm giải thích tức vì:

• Không vực: Trực tiếp ở hình ảnh độ phân giải điểm thượng tiến hành cuốn tích
• Tần vực: Đối hình ảnh tiến hành Fourier biến hóa sau, lại tiến hành cuốn tích.

3. GraphSAGE

GCN cơ bản tư tưởng: Đem một cái tiết điểm ở đồ trung cao vĩ độ sát nhau tin tức hàng duy đến một cái thấp duy vector tỏ vẻ.

GCN ưu điểm: Có thể bắt giữ graph toàn cục tin tức, do đó tốt lắm tỏ vẻ node đặc thù.

GCN khuyết điểm: Transductive learning thẳng đẩy thức, yêu cầu đem sở hữu tiết điểm đều tham dự huấn luyện mới có thể được đến node embedding, vô pháp nhanh chóng được đến tân node embedding.

Tỷ như ở trong đời sống hiện thực, đối với ngươi ảnh hưởng lớn nhất chính là bạn bè thân thích, này đó thuộc về nhất giai hàng xóm, sau đó khả năng ngươi ngẫu nhiên từ bọn họ trong miệng nghe nói một ít bọn họ đồng sự, bằng hữu một ít chuyện xưa, này đó sẽ đối với ngươi sinh ra nhất định ảnh hưởng, những người này liền thuộc về nhị giai hàng xóm. Nhưng là tới rồi tam giai, khả năng cơ bản đối với ngươi sẽ không sinh ra cái gì ảnh hưởng, tỷ như ngươi nghe ngươi đồng học nói hắn đồng học nghe nói nàng đồng học sự tích gì, có phải hay không thực vòng khẩu, vòng khẩu là được rồi, bởi vì ngươi cơ bản sẽ không nghe được như vậy chuyện xưa, ngươi sở tiếp xúc đến, nghe được, nhìn đến, cơ bản đều ở “Nhị giai” trong phạm vi.

4. GAT

5. Điều ưu Trick

5.1 biên số liệu tăng cường

Nếu biên tin tức ít, sử dụng đồ thuật toán khả năng hiệu quả sẽ tương đối kém; lúc này chúng ta có thể thông qua một ít phương pháp đi cấu tạo biên tin tức:

1. Nếu chúng ta phát hiện này hai cái thật thể tại hành vi thượng có phi thường cường một cái thời gian thượng đồng bộ tính, như vậy chúng ta cũng sẽ cho rằng này hai cái thật thể chi gian có một cái biên liên hệ.

2. Căn cứ vào thật thể Embedding tỏ vẻ, trước đối thật thể làm Embedding tỏ vẻ, sau đó thông qua ANN xấp xỉ hàng xóm tìm tòi đem vector tiếp cận tiết điểm đi sinh thành biên.

Nhưng tham khảo

Tong Zhao et al. “Data Augmentation for Graph Neural Networks” national conference on artificial intelligence (2020): n. pag.

Lợi dụng bên cạnh đoán trước khí đoán trước mỗi điều biên ( vô luận tồn tại cùng không ) xác suất, do đó chỉ đạo đồ số liệu sửa chữa

5.2 Motif đặc thù

CS224W https://web.stanford.edu/class/cs224w/index.html

Ở tử đồ cơ sở thượng diễn sinh ra internet cơ tự ( Network Motifs ) khái niệm, cái gọi là internet cơ tự, có thể lý giải vìThường xuyên xuất hiện tử đồ hình thức.Hai cái từ ngữ mấu chốt, một cái là hình thức, một cái là thường xuyên.

5.3 mô hình

5.3.1 huấn luyện trinh thám điều ưu

1. Thêm quyền thu thập mẫu

GraphSAGE chờ thuật toán thiết kế chi sơ cũng không có suy xét có quyền đồ, ở làm hàng xóm thu thập mẫu khi chọn dùng chính là tùy cơ lựa chọn sử dụng sách lược, cũng đem tiết điểm đặc thù chờ quyền trọng địa tụ hợp đến trung tâm tiết điểm.

Từ trực giác đi lên nói, hàng xóm tiết điểm biên quyền trọng càng cao, đối trung tâm tiết điểm sinh ra ảnh hưởng cũng càng quan trọng.

Đối với xã giao internet loại này có quyền đồ tới nói, tùy cơ thu thập mẫu mà tiến hành chờ quyền tụ hợp thế tất sẽ dẫn tới hữu hiệu tin tức bị pha loãng.

2. Trinh thám cắt chi

Chỉ bảo lưu lại mỗi cái tiết điểm lớn nhất TopK quyền trọng biên, tăng lên bộ phận kết cấu cùng chất tính.

5.3.2 mô hình ưu hoá

Graph Contrastive Learning with Augmentations. NeurIPS 2020.

https://arxiv.org/pdf/2010.13902.pdf

graph ứng dụng đối lập học tập, cùng đối cái khác loại hình số liệu ( như hình ảnh, văn bản ) ứng dụng khác nhau ở chỗ:

- số liệu tăng cường. CV lĩnh vực giống nhau thông qua tùy cơ đối hình ảnh tiến hành cắt, xoay tròn chờ thao tác sinh ra tăng cường sau số liệu

- đối lập trình tự. GNN mã hóa sau chúng ta có thể đồng thời được đến tiết điểm cấp bậc / đồ cấp bậc hai cái trình tự tỏ vẻ

Chúng ta có thể thấy được tới:

• số liệu mở rộng đối đồ đối lập học tập quan trọng nhất ( dẫn vào đồ số liệu mở rộng thực dễ dàng mang đến tính năng tăng lên )

• tổ hợp bất đồng mở rộng phương thức sẽ mang đến càng nhiều tính năng tiền lời ( đường chéo tính năng không tốt )

6. Nhưng giải thích tính

Nhưng giải thích tính ở phong khống lĩnh vực trọng yếu phi thường, vô luận là ngộ sát bài tra, vẫn là đem mô hình giao phó cấp cái này nghiệp vụ phương mức độ đáng tin. Đệ nhất loại là đi thống kê khai quật tập thể một ít thống kê chỉ tiêu, nhưBạch người dùng chiếm so, bình quân cấp bậcChờ.

Đệ nhị loại là thông qua đồ kết cấu / thật thể vector biểu chinh đi làm diễn sinh đặc thù tỷ như ở bài tra nào đó tài khoản thật thể có thể thông qua hắnk giai hàng xóm tiết điểm,Thông qua k giai hàng xóm tiết điểm tin tức đi làm thống kê, sau đó diễn sinh tiết điểm thống kê chỉ tiêu làm kiểm nghiệm nó một cái chỉ tiêu

Loại thứ ba là một cái thông qua tụ tập tính tin tức đi miêu tả, thông qua đồ làm vô giám sát học tập cuối cùng điểm dừng chân vẫn là ở tụ tập tính thượng, cho nên nếu chúng ta đem tụ tập tính cái này tin tức kỹ càng tỉ mỉ miêu tả ra tới, tỷ như cái này tập thể trung có phần trăm nhiều thiếu thành viên cụCó mỗ một loại tương đồng đặc thù,Hoặc là này một cái tập thể trung có phần trăm nhiều thiếu tài khoản, hắn ởNào đó thời gian đoạn nội có tương đồng hành vi,Loại này cùng loại hành vi miêu tả.

7. Công trình hóa thực hiện

https://github /Angel-ML/angel

Angel: a new large-scale machine learning system.National Science Review (NSR), 2017

https://cloud.tencent /developer/article/1689483

Ref

1. https://zhuanlan.zhihu /p/75307407GNN nói khái quát
2. https://zhuanlan.zhihu /p/76025331 GNN nói khái quát
3. http://tkipf.github.io/graph-convolutional-networks/ GCN lý giải
4. https:// zhihu /question/54504471GCN suy luận lý giải
5. https://zhuanlan.zhihu /p/112277874GCN
6. https://zhuanlan.zhihu /p/78624225GCN đơn giản lý giải
7. https://zhuanlan.zhihu /p/79637787GraphSAGE lý giải
8. https://zhuanlan.zhihu /p/76025331GNN nói khái quát: Review of Methods and Applications
9. https://jishuin.proginn /p/763bfbd5d071GCN GraphSAGE GAT