├── Neural Network Foundations
│ │
│ ├── Artificial Neuron
│ │ ├── Weighted Sum
│ │ ├── Bias
│ │ └── Activation
│ │
│ ├── Activation Functions
│ │ ├── Sigmoid
│ │ ├── Tanh
│ │ ├── ReLU
│ │ ├── Leaky ReLU
│ │ ├── Parametric ReLU (PReLU)
│ │ ├── ELU
│ │ ├── GELU
│ │ ├── Swish / SiLU
│ │ ├── Mish
│ │ └── Softmax
│ │
│ ├── Weight Initialization
│ │ ├── Zero Initialization
│ │ ├── Random Initialization
│ │ ├── Xavier / Glorot Initialization
│ │ └── He / Kaiming Initialization
│ │
│ ├── Network Structures
│ │ ├── Single Layer Perceptron
│ │ ├── Multi Layer Perceptron
│ │ └── Deep Neural Networks
│ │
│ ├── Universal Approximation Theorem
│ │
│ └── Common Problems
│ ├── Vanishing Gradients
│ ├── Exploding Gradients
│ ├── Dying ReLU
│ └── Internal Covariate Shift
|
|
├── Training Neural Networks
│ │
│ ├── Loss Functions
│ │ ├── Regression Loss
│ │ │ ├── Mean Squared Error (MSE)
│ │ │ ├── Mean Absolute Error (MAE)
│ │ │ ├── Huber Loss
│ │ │ └── Log-Cosh Loss
│ │ │
│ │ ├── Classification Loss
│ │ │ ├── Binary Cross Entropy
│ │ │ ├── Categorical Cross Entropy
│ │ │ ├── Sparse Categorical Cross Entropy
│ │ │ ├── Hinge Loss
│ │ │ └── Focal Loss
│ │ │
│ │ ├── Contrastive Losses
│ │ │ ├── Triplet Loss
│ │ │ ├── InfoNCE Loss
│ │ │ └── NT-Xent Loss
│ │ │
│ │ └── Generative Losses
│ │ ├── Reconstruction Loss
│ │ ├── Adversarial Loss (GAN)
│ │ ├── KL Divergence Loss (VAE)
│ │ └── Perceptual Loss
│ │
│ ├── Backpropagation
│ │ ├── Computational Graph
│ │ ├── Forward Pass
│ │ ├── Backward Pass
│ │ └── Backpropagation Through Time (BPTT)
│ │
│ ├── Regularization
│ │ ├── L1 Regularization
│ │ ├── L2 Regularization (Weight Decay)
│ │ ├── Dropout
│ │ ├── Batch Normalization
│ │ ├── Layer Normalization
│ │ ├── Group Normalization
│ │ ├── Instance Normalization
│ │ ├── RMSNorm
│ │ ├── Early Stopping
│ │ ├── Data Augmentation
│ │ ├── Label Smoothing
│ │ ├── Mixup
│ │ └── Spectral Normalization
│ │
│ └── Training Techniques
│ ├── Mixed Precision Training (FP16/BF16)
│ ├── Gradient Accumulation
│ ├── Distributed Training
│ │ ├── Data Parallelism
│ │ ├── Model Parallelism
│ │ ├── Pipeline Parallelism
│ │ └── FSDP / DeepSpeed ZeRO
│ └── Checkpointing
|
├── Convolutional Neural Networks
│ ├── Convolution Layer
│ │ ├── 1x1 Convolution
│ │ ├── Dilated / Atrous Convolution
│ │ ├── Depthwise Separable Convolution
│ │ └── Transposed Convolution (Deconv)
│ ├── Filters / Kernels
│ ├── Stride
│ ├── Padding (Valid, Same)
│ ├── Pooling
│ │ ├── Max Pooling
│ │ ├── Average Pooling
│ │ └── Global Average Pooling
│ ├── Feature Maps
│ ├── Receptive Field
│ ├── Skip / Residual Connections
│ │
│ └── Notable CNN Architectures
│ ├── LeNet-5
│ ├── AlexNet
│ ├── VGGNet (VGG-16/19)
│ ├── GoogLeNet / Inception
│ ├── ResNet
│ ├── DenseNet
│ ├── MobileNet
│ ├── EfficientNet
│ └── U-Net
|
├── Recurrent Neural Networks
│ ├── Vanilla RNN
│ │ ├── Hidden State
│ │ └── Vanishing Gradient Problem
│ ├── LSTM
│ │ ├── Forget Gate
│ │ ├── Input Gate
│ │ ├── Output Gate
│ │ └── Cell State
│ ├── GRU
│ │ ├── Update Gate
│ │ └── Reset Gate
│ ├── Bidirectional RNN
│ ├── Sequence-to-Sequence
│ │ ├── Encoder-Decoder
│ │ └── Teacher Forcing
│ └── Attention Mechanism (Bahdanau/Luong)
|
|
├── Transformer Architecture
│ ├── Tokenization
│ │ ├── Byte Pair Encoding (BPE)
│ │ ├── WordPiece
│ │ ├── SentencePiece
│ │ └── Unigram
│ │
│ ├── Embeddings
│ │ ├── Token Embeddings
│ │ ├── Word2Vec (CBOW, Skip-gram)
│ │ ├── GloVe
│ │ └── Contextual Embeddings
│ │
│ ├── Positional Encoding
│ │ ├── Sinusoidal Positional Encoding
│ │ ├── Learned Positional Encoding
│ │ ├── Rotary Position Embedding (RoPE)
│ │ └── ALiBi
│ │
│ ├── Attention Mechanisms
│ │ ├── Self Attention
│ │ │ ├── Query
│ │ │ ├── Key
│ │ │ └── Value
│ │ ├── Scaled Dot-Product Attention
│ │ ├── Multi-Head Attention
│ │ ├── Cross-Attention
│ │ ├── Causal / Masked Attention
│ │ ├── Grouped-Query Attention (GQA)
│ │ ├── Multi-Query Attention (MQA)
│ │ └── Flash Attention
│ │
│ ├── Feed Forward Network
│ │ ├── SwiGLU Activation
│ │ └── Gated Linear Units
│ │
│ ├── Layer Normalization
│ │ ├── Pre-Norm vs Post-Norm
│ │ └── RMSNorm
│ │
│ ├── Residual Connections
│ │
│ └── Transformer Variants
│ ├── Encoder-Only (BERT, RoBERTa)
│ ├── Decoder-Only (GPT, LLaMA)
│ ├── Encoder-Decoder (T5, BART)
│ └── Vision Transformer (ViT)
|
|
├── Autoencoders
│ ├── Encoder
│ ├── Latent Space
│ ├── Decoder
│ ├── Vanilla Autoencoder
│ ├── Sparse Autoencoder
│ ├── Denoising Autoencoder
│ ├── Contractive Autoencoder
│ └── Variational Autoencoder
|
├── Graph Neural Networks
│ ├── Graph Representation
│ │ ├── Adjacency Matrix
│ │ ├── Node Features
│ │ └── Edge Features
│ ├── Message Passing
│ ├── GCN (Graph Convolutional Network)
│ ├── GAT (Graph Attention Network)
│ ├── GraphSAGE
│ └── Applications
│ ├── Node Classification
│ ├── Link Prediction
│ └── Graph Classification
|
|
├── Reinforcement Learning
│ │
│ ├── Core Concepts
│ │ ├── Environment
│ │ ├── Agent
│ │ ├── State
│ │ ├── Action
│ │ ├── Reward
│ │ ├── Policy (Deterministic / Stochastic)
│ │ ├── Value Function
│ │ ├── Discount Factor (γ)
│ │ └── Episode
│ │
│ ├── Markov Decision Process (MDP)
│ │ ├── State Transition Probability
│ │ └── Bellman Equation
│ │
│ ├── Exploration vs Exploitation
│ │ ├── Epsilon-Greedy
│ │ ├── UCB (Upper Confidence Bound)
│ │ └── Thompson Sampling
│ │
│ ├── Value-Based Methods
│ │ ├── Q-Learning
│ │ ├── Deep Q Network (DQN)
│ │ │ ├── Experience Replay
│ │ │ ├── Target Network
│ │ │ └── Double DQN
│ │ └── SARSA
│ │
│ ├── Policy-Based Methods
│ │ ├── Policy Gradient (REINFORCE)
│ │ ├── Actor-Critic
│ │ │ ├── A2C (Advantage Actor-Critic)
│ │ │ └── A3C (Async Advantage AC)
│ │ ├── TRPO
│ │ ├── PPO
│ │ ├── DDPG
│ │ └── SAC (Soft Actor-Critic)
│ │
│ ├── Model-Based RL
│ │ ├── World Models
│ │ └── Planning (Monte Carlo Tree Search)
│ │
│ └── Multi-Agent RL
|
|
├── Large Language Models
│ │
│ ├── Pretraining
│ │ ├── Causal Language Modeling (CLM)
│ │ ├── Masked Language Modeling (MLM)
│ │ ├── Span Corruption (T5-style)
│ │ └── Scaling Laws
│ │
│ ├── Tokenization (→ link to Transformer)
│ │
│ ├── Fine-Tuning
│ │ ├── Full Fine-Tuning
│ │ ├── Instruction Tuning
│ │ └── Parameter-Efficient Fine-Tuning (PEFT)
│ │ ├── LoRA
│ │ ├── QLoRA
│ │ ├── Adapters
│ │ └── Prefix Tuning
│ │
│ ├── Alignment
│ │ ├── RLHF
│ │ │ ├── Reward Model
│ │ │ └── PPO (→ link to RL)
│ │ ├── DPO (Direct Preference Optimization)
│ │ ├── Constitutional AI
│ │ └── GRPO
│ │
│ ├── Inference & Efficiency
│ │ ├── KV Cache
│ │ ├── Speculative Decoding
│ │ ├── Quantization
│ │ │ ├── GPTQ
│ │ │ ├── AWQ
│ │ │ └── GGUF / GGML
│ │ ├── Flash Attention
│ │ └── vLLM / Continuous Batching
│ │
│ ├── Architecture Concepts
│ │ ├── Context Window / Long Context
│ │ ├── Mixture of Experts (MoE)
│ │ │ ├── Gating / Routing
│ │ │ ├── Expert Specialization
│ │ │ └── Load Balancing
│ │ └── Emergent Abilities
│ │
│ ├── Prompting & Usage
│ │ ├── Prompt Engineering
│ │ │ ├── Zero-Shot Prompting
│ │ │ ├── Few-Shot Prompting
│ │ │ ├── Chain-of-Thought (CoT)
│ │ │ ├── Tree-of-Thought
│ │ │ └── System Prompts
│ │ ├── In-Context Learning
│ │ └── Retrieval Augmented Generation (RAG)
│ │ ├── Vector Databases
│ │ ├── Embedding Models
│ │ ├── Chunking Strategies
│ │ └── Reranking
│ │
│ ├── Decoding Strategies
│ │ ├── Greedy Decoding
│ │ ├── Beam Search
│ │ ├── Top-k Sampling
│ │ ├── Top-p (Nucleus) Sampling
│ │ └── Temperature
│ │
│ ├── LLM Challenges
│ │ ├── Hallucination
│ │ ├── Bias and Fairness
│ │ ├── Context Length Limitations
│ │ └── Catastrophic Forgetting
│ │
│ ├── Agents & Tool Use
│ │ ├── Function Calling
│ │ ├── ReAct Framework
│ │ ├── Planning and Reasoning
│ │ └── Multi-Agent Systems
│ │
│ ├── Multimodal Models
│ │ ├── Vision-Language Models (VLM)
│ │ ├── Image-Text Alignment
│ │ └── Audio-Language Models
│ │
│ └── Notable Model Families
│ ├── GPT Series
│ ├── LLaMA / Llama
│ ├── Claude
│ ├── Gemini
│ ├── Mistral / Mixtral
│ └── Open-Source Models
|
|
├── Model Compression & Efficiency
│ │
│ ├── Pruning
│ │ ├── Unstructured Pruning
│ │ ├── Structured Pruning
│ │ └── Magnitude-Based Pruning
│ │
│ ├── Quantization
│ │ ├── Post-Training Quantization
│ │ ├── Quantization-Aware Training
│ │ ├── INT8 / INT4 Quantization
│ │ └── FP16 / BF16 Mixed Precision
│ │
│ ├── Knowledge Distillation
│ │ ├── Teacher-Student Framework
│ │ ├── Soft Labels / Temperature
│ │ ├── Offline Distillation
│ │ └── Online Distillation
│ │
│ └── Low-Rank Factorization
