Nauka sieci neuronowych w Pythonie z wykorzystaniem PyTorch

Część 1

1. Budowa sieci neuronowej – podstawowe elementy
   • Co to jest neuron i jak działa?
   • Sieć neuronowa jako zbiór połączonych neuronów
   • Warstwy w sieci: wejściowa, ukryte, wyjściowa
2. Perceptron i sieci wielowarstwowe
   • Perceptron jako podstawowa jednostka obliczeniowa
   • Perceptron wielowarstwowy (MLP)
   • Zastosowanie MLP do klasyfikacji prostych zbiorów danych
3. Podstawowe operacje w PyTorch – tensory i ich znaczenie
   • Definicja tensora
   • Operacje na tensorach w PyTorch
   • Propagacja danych przez sieć jako operacje na tensorach
4. Struktura sieci – jak wybrać odpowiednią architekturę?
   • Liczba warstw i liczba neuronów w warstwach
   • Wpływ głębokości sieci na zdolność modelu do generalizacji
   • Jakie struktury sprawdzają się w różnych problemach?
5. Proces i optymalizacja uczenia sieci neuronowej
   • Uczenie jako minimalizacja błędu
   • Forward pass i backward pass
   • Znaczenie losowej inicjalizacji wag
   • Współczynnik uczenia (learning rate)
   • Strategie dobierania wartości learning rate
6. Warstwy aktywacji i ich znaczenie
   • Przegląd funkcji aktywacji: ReLU, Sigmoid, Tanh, Softmax
   • Wybór funkcji aktywacji w zależności od problemu
   • Wpływ różnych aktywacji na uczenie modelu
7. Funkcje straty i metryki oceny modelu
   • Różnica między funkcją straty a metryką
   • Popularne funkcje straty: MSE, CrossEntropy, Hinge Loss
   • Metryki oceny: Accuracy, Precision, Recall, F1-score
8. Analiza skuteczności modelu – wykresy i interpretacja wyników
   • Krzywa ROC i AUC
   • Macierz pomyłek i analiza błędów klasyfikacji
   • Wykresy strat i metryk
9. Metody optymalizacji i unikanie problemów uczenia
   • Gradient Descent i jego warianty (SGD, Adam, RMSprop)
   • Problemy uczenia głębokiego – przeuczenie (overfitting) i niedouczenie (underfitting)
   • Metody regularyzacji: dropout, L1/L2, wczesne zatrzymanie (early stopping)

Część 2

1. Sieci neuronowe do regresji i klasyfikacji
2. Analiza szeregów czasowych za pomocą sieci neuronowych
   • Zastosowanie sieci neuronowych do predykcji danych czasowych
   • Tworzenie modelu do przewidywania wartości finansowych lub pogodowych
   • Problemy ze zmiennością danych i strategie ich rozwiązania
3. Sieci neuronowe w analizie skupień
   • Wprowadzenie do autoenkoderów
   • Jak sieci neuronowe mogą wykrywać struktury w danych?
   • Przykłady zastosowania np. analiza anomalii, segmentacja klientów
4. Automatyzacja procesu uczenia – callbacki
   • Model Checkpoint – zapisywanie najlepszego modelu w trakcie treningu
   • Early Stopping – zatrzymanie treningu
   • Implementacja callbacków w PyTorch
5. Klasyfikacja wieloklasowa – modele i strategie
   • Porównanie podejść One-vs-All i Softmax
   • Klasyfikacja zdjęć różnych gatunków zwierząt
6. Konwolucyjne sieci neuronowe (CNN)
   • Przetwarzanie obrazów: normalizacja, augmentacja
   • Tworzenie i trenowanie CNN do klasyfikacji obrazów
   • Klasyfikacja obrazów przy użyciu własnej sieci
7. Transfer learning – wykorzystanie gotowych modeli
   • Wprowadzenie do transfer learningu
   • Wykorzystanie pretrenowanych modeli np. ResNet, VGG
   • Fine-tuning – dostosowanie gotowego modelu do nowych danych
8. Rekurencyjne sieci neuronowe (RNN) i NLP
   • Przetwarzanie tekstu – wektoryzacja i tokenizacja
   • Analiza sentymentu w tekście
9. Porównanie regresji klasycznej z siecią neuronową