├── Classical Machine Learning Algorithms
│ │
│ ├── Regression Algorithms
│ │ ├── Linear Regression
│ │ │ ├── Ordinary Least Squares
│ │ │ └── Normal Equation
│ │ ├── Ridge Regression (L2)
│ │ ├── Lasso Regression (L1)
│ │ ├── Elastic Net
│ │ └── Polynomial Regression
│ │
│ ├── Classification Algorithms
│ │ ├── Logistic Regression
│ │ │ ├── Binary Logistic Regression
│ │ │ └── Multinomial Logistic Regression
│ │ ├── Naive Bayes
│ │ │ ├── Gaussian Naive Bayes
│ │ │ ├── Multinomial Naive Bayes
│ │ │ └── Bernoulli Naive Bayes
│ │ ├── k-Nearest Neighbors
│ │ │ ├── Distance Metrics (Euclidean, etc.)
│ │ │ └── Weighted KNN
│ │ ├── Support Vector Machine
│ │ │ ├── Linear SVM
│ │ │ ├── Kernel Trick
│ │ │ │ ├── RBF Kernel
│ │ │ │ ├── Polynomial Kernel
│ │ │ │ └── Sigmoid Kernel
│ │ │ └── Support Vectors & Margin
│ │ └── Perceptron
│ │
│ ├── Tree-Based Models
│ │ ├── Decision Tree
│ │ │ ├── Gini Impurity
│ │ │ ├── Information Gain (Entropy)
│ │ │ ├── Pruning (Pre/Post)
│ │ │ └── CART Algorithm
│ │ ├── Random Forest
│ │ │ ├── Feature Bagging
│ │ │ └── Out-of-Bag Error
│ │ └── Gradient Boosting
│ │ ├── XGBoost
│ │ ├── LightGBM
│ │ └── CatBoost
│ │
│ └── Unsupervised Algorithms
│ ├── Clustering
│ │ ├── K-Means
│ │ │ ├── K-Means++
│ │ │ └── Elbow Method
│ │ ├── Hierarchical Clustering
│ │ │ ├── Agglomerative
│ │ │ └── Divisive
│ │ ├── DBSCAN
│ │ ├── Gaussian Mixture Models (GMM)
│ │ └── Mean Shift
│ │
│ ├── Dimensionality Reduction
│ │ ├── PCA
│ │ │ └── Explained Variance Ratio
│ │ ├── t-SNE
│ │ ├── UMAP
│ │ ├── LDA (Linear Discriminant Analysis)
│ │ └── Autoencoders (→ link to DL)
│ │
│ └── Association Rule Learning
│ ├── Apriori
│ └── FP-Growth
