Глубинное обучение 1. Семинар 1

Таймкоды: 00:00 Начало семинара 01:30 Введение в PyTorch и план занятия 02:48 Создание нейросетей и оптимизация в PyTorch 03:28 Отличия Adam и AdamW 04:10 torch.nn: готовые слои нейросети 04:45 nn.Linear: полносвязный слой и Bias 05:32 Вывод структуры нейросети 06:12 Создание тензоров и Forward Pass 06:38 Инициализация весов: Xavier и Kaiming 08:12 nn.Sequential и именованные слои 08:49 Создание собственной архитектуры через nn.Module 09:15 Регистрация параметров в PyTorch 09:43 requires_grad и необучаемые тензоры 10:39 Статистики BatchNorm и регистрация буферов 11:23 Autograd: автоматическое вычисление градиентов 12:00–19:00 Повреждённый участок расшифровки 19:00 Режимы model.train() и model.eval() 19:28 Управление requires_grad для всей модели 19:42 model.parameters(): параметры нейросети 21:56 Оптимизаторы в PyTorch 22:35 Группы параметров оптимизатора 24:01 Заморозка слоёв при Fine-tuning 24:33 Предварительное вычисление признаков для классификатора 27:47 Настройка Momentum, Weight Decay и групп параметров 28:41 state_dict(): сохранение параметров и буферов 30:36 Разница между Parameter, Buffer и обычным Tensor 33:12 Регистрация обучаемых параметров 38:00 Конфигурация архитектуры и её гиперпараметров 40:00 Хранение конфигураций и Hydra 42:01 Визуализация вычислительного графа через ONNX 44:00 Функции потерь: MAE, MSE и CrossEntropy 46:00 Почему backward() вызывается от скаляра 48:01 Ландшафт функции потерь и локальные минимумы 50:00 Обучающая и тестовая выборки: обобщающая способность 53:30 Dataset и TensorDataset в PyTorch 55:00 Реализация собственного Dataset 57:00 DataLoader: батчи и перемешивание данных 59:00 Параллельная загрузка данных и num_workers 1:02:00 Аугментации данных и Albumentations 1:04:00 Встроенные датасеты torchvision 1:06:00 MNIST: датасет рукописных цифр 1:08:00 Визуализация и устройство MNIST 1:09:00 Цикл обучения нейросети 1:10:00 zero_grad(), backward() и optimizer.step() 1:11:00 Оценка модели на тестовой выборке 1:12:00 Организационные вопросы и завершение семинара