Graph Processing Platforms 논문 모음
- Graph Processing: A Panoramic View and Some Open Problems
- 2019년 VLDB 키노트 발표, Tamer Ozsu 교수
- Graph DBMS와 Graph (Analytics) system 의 역사에 대해 정리
- Programming model 및 computation model 관점에서 graph system을 분류
- Dynamic 및 streaming graph 의 정의와 처리에 대해서 설명
- GNN 전반적인 내용
- 주요 GNN 관련 Review 논문 리스트
- A Comprehensive Survey on Graph Neural Networks
- 2019년 arXiv
- Graph Neural Networks: A review of methods and applications
- 2020년 AI Open
- Computing Graph Neural Networks A Survey from Algorithms to Accelerators
- 2020년 arXiv
- GNN system 내용, GNN 관련 트렌드 정리
- A Comprehensive Survey on Graph Neural Networks
- Spectral-based GNN
- 참고1, 참고2
- Semi-Supervised Classification with Graph Convolutional Networks (TensorFlow1, PyTorch)
- 2017년 ICLR, 약칭 GCN
- Spatial-based GNN
- 참고
- Inductive Representation Learning on Large Graphs (TensorFlow1, PyTorch)
- 2017년 NeurIPS, 약칭 GraphSAGE
- Graph Attention Networks (TensorFlow1, PyTorch, PyTorch (alternative))
- 2018년 ICLR, 약칭 GAT
- Recurrent GNN / Spatial-Temporal GNN
- 참고1, 참고2
- The Graph Neural Network Model
- 2009년 IEEE TNN, 약칭 GNN
- Diffusion Convolutional Recurrent Neural Network: Data-Driven Traffic Forecasting (TensorFlow1, PyTorch)
- 2018년 ICLR, 약칭 DCRNN
- Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action (PyTorch)
- 2018년 AAAI, 약칭 ST-GCN
- Heterogeneous Graph
- Modeling Relational Data with Graph Convolutional Networks (Theano & Keras, TensorFlow1, PyTorch)
- 2018년 ESWC, 약칭 R-GCN
- Heterogeneous Graph Neural Network (PyTorch)
- 2019년 KDD, 약칭 HetGNN
- Modeling Relational Data with Graph Convolutional Networks (Theano & Keras, TensorFlow1, PyTorch)
- Heterogeneous Graph with Subgraph/Metapath
- Graph Convolutional Networks with Motif-based Attention
- 2019년 CIKM
- 후속 논문: Meta-GNN: Metagraph Neural Network for Semi-supervised learning in Attributed Heterogeneous Information Networks (TensorFlow1)
- 2019년 ASONAM, 약칭 Meta-GNN
- Heterogeneous Graph Attention Network (TensorFlow1)
- 2019년 WWW, 약칭 HAN
- Graph Transformer Networks (PyTorch)
- 2019년 NeurIPS, 약칭 GTN
- Graph Convolutional Networks with Motif-based Attention
- NeuGraph: Parallel Deep Neural Network Computation on Large Graphs
- 2019년 USENIX ATC
- GAS 프로그래밍 모델을 응용한 SAGA 프로그래밍 모델 제시
- 행렬 중심의 파티셔닝 및 처리 기법 제안
- PSGraph: How Tencent Trains Extremly Large-scale Graphs with Spark (GitHub)
- 2020년 ICDE
- Apache Spark로 전통적인 그래프 알고리즘, 그래프 임베딩 알고리즘, GNN 알고리즘 3가지 종류를 모두 수행
- GraphX와 성능 비교
- AGL: A Scalable System for Industrial-purpose Graph Machine Learning
- 2020년 VLDB
- MapReduce로 처리, GCN, GraphSAGE, GAT 처리 가능
- FlexGraph: A Flexible and Efficient Distributed Framework for GNN Training
- Seastar: Vertex-Centric Programming for Graph Neural Networks
- 2021년 EuroSys
- Pregel 과 유사한 vertex-centric 프로그래밍 모델 사용, IR (intermediate representation) 사용
- Python decorator를 함수에 붙이면 optimize 된 computational graph 생성
- Heterogeneous Graph 처리 알고리즘 R-GCN 수행 가능
- GMLP: Building Scalable and Flexible Graph Neural Networks with Feature-Message Passing
- 2021년 VLDB 심사 중인 논문
- Message-passing 모델로 동작, 다양한 알고리즘 수행 가능
- FlexGraph와 유사하게 Graph Aggregate → Message Aggregate → Update 프로그래밍 모델 사용
- Deep Graph Library (DGL) (GitHub)
- 뉴욕 대학, AWS, Intel, NVIDIA 등의 기관에서 협력해서 만든 오픈 소스 프로젝트
- GNN 분야에서 가장 많이 쓰이는 것으로 보임
- Pytorch Geometric (PyG) (docs)
- Pytorch 하위 프로젝트
- DGL과 더불어 많이 쓰임
- 아래와 같이 연관된 프로젝트가 더 있음
- PGL (docs)
- PaddlePaddle 기반으로 제작
- 바이두 제작
- 설명에 중국어가 많으니 유의
- StellarGraph (docs)
- 호주 국립과학산업연구원 (CSIRO 제작)
- Euler (docs)
- 알리바바 제작, 모든 설명이 중국어로 되어있음
- tf_geometric (docs)
- TensorFlow 하위 프로젝트
- G3
- Graph system인 Gunrock 의 하위 프로젝트
- Open Graph Benchmark (OGB)
- GNN용 benchmark용 데이터를 정리된 형태로 제공
- DGL, PyG 등과 바로 연결해서 쓸 수 있게 제작되어 있음
- Tensorflow나 MxNet에서도 이용 가능
- WebGraph
- 밀라노 대학교에서 2003년부터 운영하는 리포지토리
- 가장 큰 그래프 데이터인 ClueWeb12 를 제공
- 전용 데이터 포맷을 쓰기 때문에 변환기(JAVA) 사용해야 다른 포맷으로 변환 가능
- SNAP
- 스탠포드 대학에서 제공하는 리포지토리
- 많은 그래프 처리 논문들이 사용하는 리포지토리
- SuiteSparse Matrix Collection
- 플로리다 대학에서 운영하는 리포지토리
- 다양한 분야에서 모은 행렬 데이터를 제공
- Pushshift
- 참고
- Reddit, Spotify, Twitter 등등 다양한 데이터를 모아놓은 리포지토리
- 자체 API가 있어서 활용 가능하다고 함
- Wikidata Dump
- 참고
- 위키피디아 데이터를 JSON, RDF, XML 등으로 다운 가능
- wikiextractor 사용해서 파싱 가능
- DBLP Dump
- 학술 논문 덤프
- IMDB Dump
- Amazon product data
- 1996년~2014년 까지의 아마존 상품 리뷰와 상품 정보를 모아놓은 데이터
- ConvoKit (GitHub)
- 다양한 종류의 대화 데이터를 단일 인터페이스로 다운받게 만든 리포지토리
- 해외 교통 데이터
- METR-LA: 로스앤젤레스 도로 데이터
- PeMS: 캘리포니아 교통국 (Caltrans) 데이터
- 캘리포니아 고속도로에서 실시간으로 모아지는 데이터
- 아래와 같이 다양한 버전이 존재
- PeMS-BAY: DCRNN Google Drive; DCRNN Baidu; Sensor coordinates and adjacency matrix, DCRNN github
- PeMS-D7(M): PKUAI26 STGCN Github
- PeMS-04 ATSGCN Github; Baidu with code: "p72z"; From Davidham3 Github STSGCN
- PeMS-08: ATSGCN github; Baidu with code: "p72z"; From Davidham3 github STSGCN
- PeMS-03: Baidu with code: "p72z"; From Davidham3 github STSGCN
- PeMS-07: Baidu with code: "p72z"; From Davidham3 github STSGCN
- PeMS-SF: UCI
- LOOP: 미국 시애틀 고속도로 데이터
- RTMC - MnDOT: 미국 미네소타 교통국 (MnDOT) 지역교통관리센터(RTMC) 가 모은 도로 데이터
- FHWA: 미국 연방 고속도로 데이터
- Q-Traffic: 중국 베이징 교통 데이터
- OpenITS: 중국 교통 데이터
- 공공데이터포털
- 국내 데이터를 제공하는 대표적인 사이트
- 교통 데이터 거래소
- 한국도로공사에서 운영
- 자율주행차 데이터 공유센터
- 한국교통안전공단에서 운영
- 데이터를 받기 위해서는 로그인이 필요
- 빅카인즈
- 뉴스 데이터 모음