Kolmogorov–Arnold Networks

KAN.md

KAN: Kolmogorov–Arnold Networks

Articles

• 2024/05/18 How to Train a KAN Model on the Titanic Dataset for Kaggle
• 2024/05/15 What are the key concepts of Kolmogorov Arnold networks?
• 2024/05/15 Kolmogorov-Arnold Networks: A Comprehensive Guide to Neural Network Advancement
• 2024/05/11 Kolmogorov–Arnold Networks (KAN) Are About To Change The AI World Forever
• 2024/05/10 Kolmogorov-Arnold Networks (KANs) Might Change AI As We Know It, Forever
• 2024/05/04 Cracking the Neural Code: KANs and the Future of Explainable AI
• 2024/05/04 What is the new Neural Network Architecture?(KAN) Kolmogorov-Arnold Networks Explained
• 2024/05/02 A Simplified Explanation Of The New Kolmogorov-Arnold Network (KAN) from MIT
• 2023/07/21 Demystifying TensorFlow’s Sequential API and Functional API: A Comprehensive Guide
• 2023/03/26 The Universal Approximation Theorem
• 2019/06/25 Deep networks and the Kolmogorov–Arnold theorem

Articles (Korean)

• 2024/05/02 GN⁺: Kolmogorov-Arnold 네트워크 개발

Information

• Kolmogorov-Arnold Networks (KANs)
• Wiki: Kolmogorov–Arnold representation theorem
• Wiki: Kolmogorov–Arnold Network
• Kolmogorov Arnold Network
• Natural Learning
• Universal approximation theorem

Persons

• Max Tegmark, MIT
• Ziming Liu, MIT
• Andrey Kolmogorov, Moscow State University
• Vladimir Arnold, Moscow State University

Videos

• Biography of Andrey Kolmogorov
• "Andrey Kolmogorov. A universal genius." Yana Kinderknecht (Butko)
• The Universal Approximation Theorem of Neural Networks
• Why Neural Networks Can Learn Any Function | The Universal Approximation Theorem

Papers

• 2024 Wav-KAN: Wavelet Kolmogorov-Arnold Networks
• 2024 TKAN: Temporal Kolmogorov-Arnold Networks
• 2024 Kolmogorov-Arnold Networks (KANs) for Time Series Analysis
• 2024 KAN: Kolmogorov-Arnold Networks
• 2024 Natural Learning
• 2020 Error bounds for deep ReLU networks using the Kolmogorov–Arnold superposition theorem

Colab

• KAN is just MLP.ipynb

Open Source

• https://github.com/remigenet/TKAN - Temporal Kolmogorov-Arnold Networks
• https://github.com/akaashdash/kansformers - Kansformers: Transformers using KANs
• https://github.com/1ssb/torchkan - An easy to use PyTorch implementation of the Kolmogorov Arnold Network and a few novel variations
• https://github.com/ZiyaoLi/fast-kan - FastKAN: Very Fast Implementation of Kolmogorov-Arnold Networks (KAN)
• https://github.com/team-daniel/KAN - Implementation on how to use Kolmogorov-Arnold Networks (KANs) for classification and regression tasks
• https://github.com/riiswa/kanrl - Kolmogorov-Arnold Q-Network (KAQN) - KAN applied to Reinforcement learning, initial experiments
• https://github.com/AdityaNG/kan-gpt - The PyTorch implementation of Generative Pre-trained Transformers (GPTs) using Kolmogorov-Arnold Networks (KANs) for language modeling
• https://github.com/ale93111/pykan_mnist - Kolmogorov Arnold Networks trained on MNIST
• https://github.com/GistNoesis/FusedFourierKAN - C++ and Cuda ops for fused FourierKAN
• https://github.com/GistNoesis/FourierKAN/ - Pytorch Layer for FourierKAN
• https://github.com/Blealtan/efficient-kan - An efficient pure-PyTorch implementation of Kolmogorov-Arnold Network (KAN)
• https://github.com/riiswa/kanrl - Kolmogorov-Arnold Network for Reinforcement Leaning, initial experiments
• https://github.com/KindXiaoming/pykan

터빈트(Turbulence)와 카오스(Chaos)는 둘 다 복잡한 현상을 나타내는 수학적인 용어이지만, 그 차이점이 있습니다.

1. 터빈트(Turbulence):
터빈트는 주로 유체 역학에서 관찰되는 현상으로, 불규칙한 유체의 움직임을 설명합니다. 터빈트는 교란된 흐름, 난류, 불안정한 물결 등을 포함합니다.
터빈트는 주로 비선형적인 움직임을 가지고 있으며, 작은 변화가 큰 변화를 초래할 수 있습니다. 이로 인해 터빈트는 예측하기 어렵고, 혼돈과 무질서함을 가지고 있습니다.

1. 카오스(Chaos):
카오스는 비선형 동적 시스템에서 나타나는 현상을 설명합니다. 카오스는 간단한 동역학 시스템에서도 복잡하고 예측 불가능한 결과를 초래할 수 있습니다.
카오스는 미래의 상태를 정확하게 예측하는 것이 불가능한 혼돈적인 동역학 시스템의 특성을 나타냅니다. 이러한 시스템에서는 미묘한 초기 조건의 변화가 결정적인 결과를 가져올 수 있습니다.

요약하면, 터빈트는 주로 유체 역학에서 발생하는 불규칙한 움직임을 설명하는 데 사용되며, 카오스는 비선형 동역학 시스템에서 발생하는 복잡하고 예측 불가능한 현상을 나타냅니다. 두 현상은 비슷한 면이 있지만, 서로 다른 분야에서 발생하고 다른 수학적 이론을 사용하여 설명됩니다.

**Kolmogorov-Arnold Networks(KANets)**는 인공 신경망의 새로운 아키텍처입니다. 이는 기계 학습, 특히 시계열 데이터 처리에 효과적으로 사용될 수 있습니다.
주요 특징은 다음과 같습니다:

• 이론적 배경: KANets는 Kolmogorov-Arnold 표현 이론에 기반을 두고 있습니다. 이 이론에 따르면 광범위한 비선형 함수는 적절한 선형 함수의 조합으로 근사화될 수 있습니다.
• 구조: KANets는 완전 연결 계층(fully-connected layers)과 1차 합성 곱선부(1st-order composited convolutional layers)로 구성됩니다. 완전 연결 계층은 전통적인 신경망과 유사하며, 합성 곱선부는 시간 지연 신호를 처리하는 데 적합합니다.
• 표현 능력: KANets는 이론적으로 매우 표현력이 높아 복잡한 비선형 함수를 모델링할 수 있습니다.
• 효율성: KANets의 병렬 구조 덕분에 하드웨어 가속이 가능하여 계산 효율성이 높습니다.
• 적용 분야: KANets는 음성 인식, 자연어 처리, 바이오인포매틱스 등 다양한 시계열 데이터 처리 작업에 효과적으로 사용될 수 있습니다.

KANets는 최근 제안된 신경망 아키텍처로, 복잡한 시스템을 모델링하고 시계열 패턴을 효율적으로 학습할 수 있는 잠재력을 가지고 있습니다.