Kolmogorov–Arnold Networks

KAN.md

KAN: Kolmogorov–Arnold Networks

Articles

• 2024/05/18 How to Train a KAN Model on the Titanic Dataset for Kaggle
• 2024/05/15 What are the key concepts of Kolmogorov Arnold networks?
• 2024/05/15 Kolmogorov-Arnold Networks: A Comprehensive Guide to Neural Network Advancement
• 2024/05/11 Kolmogorov–Arnold Networks (KAN) Are About To Change The AI World Forever
• 2024/05/10 Kolmogorov-Arnold Networks (KANs) Might Change AI As We Know It, Forever
• 2024/05/04 Cracking the Neural Code: KANs and the Future of Explainable AI
• 2024/05/04 What is the new Neural Network Architecture?(KAN) Kolmogorov-Arnold Networks Explained
• 2024/05/02 A Simplified Explanation Of The New Kolmogorov-Arnold Network (KAN) from MIT
• 2023/07/21 Demystifying TensorFlow’s Sequential API and Functional API: A Comprehensive Guide
• 2023/03/26 The Universal Approximation Theorem
• 2019/06/25 Deep networks and the Kolmogorov–Arnold theorem

Articles (Korean)

• 2024/05/02 GN⁺: Kolmogorov-Arnold 네트워크 개발

Information

• Kolmogorov-Arnold Networks (KANs)
• Wiki: Kolmogorov–Arnold representation theorem
• Wiki: Kolmogorov–Arnold Network
• Kolmogorov Arnold Network
• Natural Learning
• Universal approximation theorem

Persons

• Max Tegmark, MIT
• Ziming Liu, MIT
• Andrey Kolmogorov, Moscow State University
• Vladimir Arnold, Moscow State University

Videos

• Biography of Andrey Kolmogorov
• "Andrey Kolmogorov. A universal genius." Yana Kinderknecht (Butko)
• The Universal Approximation Theorem of Neural Networks
• Why Neural Networks Can Learn Any Function | The Universal Approximation Theorem

Papers

• 2024 Wav-KAN: Wavelet Kolmogorov-Arnold Networks
• 2024 TKAN: Temporal Kolmogorov-Arnold Networks
• 2024 Kolmogorov-Arnold Networks (KANs) for Time Series Analysis
• 2024 KAN: Kolmogorov-Arnold Networks
• 2024 Natural Learning
• 2020 Error bounds for deep ReLU networks using the Kolmogorov–Arnold superposition theorem

Colab

• KAN is just MLP.ipynb

Open Source

• https://github.com/remigenet/TKAN - Temporal Kolmogorov-Arnold Networks
• https://github.com/akaashdash/kansformers - Kansformers: Transformers using KANs
• https://github.com/1ssb/torchkan - An easy to use PyTorch implementation of the Kolmogorov Arnold Network and a few novel variations
• https://github.com/ZiyaoLi/fast-kan - FastKAN: Very Fast Implementation of Kolmogorov-Arnold Networks (KAN)
• https://github.com/team-daniel/KAN - Implementation on how to use Kolmogorov-Arnold Networks (KANs) for classification and regression tasks
• https://github.com/riiswa/kanrl - Kolmogorov-Arnold Q-Network (KAQN) - KAN applied to Reinforcement learning, initial experiments
• https://github.com/AdityaNG/kan-gpt - The PyTorch implementation of Generative Pre-trained Transformers (GPTs) using Kolmogorov-Arnold Networks (KANs) for language modeling
• https://github.com/ale93111/pykan_mnist - Kolmogorov Arnold Networks trained on MNIST
• https://github.com/GistNoesis/FusedFourierKAN - C++ and Cuda ops for fused FourierKAN
• https://github.com/GistNoesis/FourierKAN/ - Pytorch Layer for FourierKAN
• https://github.com/Blealtan/efficient-kan - An efficient pure-PyTorch implementation of Kolmogorov-Arnold Network (KAN)
• https://github.com/riiswa/kanrl - Kolmogorov-Arnold Network for Reinforcement Leaning, initial experiments
• https://github.com/KindXiaoming/pykan

**Kolmogorov-Arnold Networks(KANets)**는 인공 신경망의 새로운 아키텍처입니다. 이는 기계 학습, 특히 시계열 데이터 처리에 효과적으로 사용될 수 있습니다.
주요 특징은 다음과 같습니다:

• 이론적 배경: KANets는 Kolmogorov-Arnold 표현 이론에 기반을 두고 있습니다. 이 이론에 따르면 광범위한 비선형 함수는 적절한 선형 함수의 조합으로 근사화될 수 있습니다.
• 구조: KANets는 완전 연결 계층(fully-connected layers)과 1차 합성 곱선부(1st-order composited convolutional layers)로 구성됩니다. 완전 연결 계층은 전통적인 신경망과 유사하며, 합성 곱선부는 시간 지연 신호를 처리하는 데 적합합니다.
• 표현 능력: KANets는 이론적으로 매우 표현력이 높아 복잡한 비선형 함수를 모델링할 수 있습니다.
• 효율성: KANets의 병렬 구조 덕분에 하드웨어 가속이 가능하여 계산 효율성이 높습니다.
• 적용 분야: KANets는 음성 인식, 자연어 처리, 바이오인포매틱스 등 다양한 시계열 데이터 처리 작업에 효과적으로 사용될 수 있습니다.

KANets는 최근 제안된 신경망 아키텍처로, 복잡한 시스템을 모델링하고 시계열 패턴을 효율적으로 학습할 수 있는 잠재력을 가지고 있습니다.