Все ноутбуки на Google Drive 
Таблица со ссылками на материалы по DS, ML, DL За основу некоторых ноутбуков использовались материалы из следующих курсов
- Основы глубинного обучения (НИУ ВШЭ) GitHub
- Нейронные сети и их применение в научных исследованиях (МГУ) Website
| Название | Описание | Ссылка |
|---|---|---|
| Google Colab | Основы работы в Colab |  |
| Python основы | Основные типы данных и конструкции языка Python | |
| Python ООП, исключения | Основы ООП в Python, примеры реализации и переопределения магических методов классов, 4 принципа ООП, обработка и вызов исключений | |
| Итераторы и генераторы в Python | Как устроены итераторы и генераторы в Python, примеры написания самописных итераторов и генераторов | |
| Многопоточность, многопроцессорность, асинхронность | Основы и примеры использования многопроцессорности, многопоточности и асинхронности в Python | |
| Декораторы в Python | Примеры написания декораторов в Python через функции и классы | |
| Web scraping, парсинг | Как получать актуальные данные для обучения моделей, парсинг сайтов с помощью библиотек BeautifulSoup и Selenium, получение данных через API и стронние библиотеки на примере Yfinance | |
| SQL в Python | Взаимодействие с SQL в Python через библиотеки Sqlite3, Aiosqlite, SQLAlchemy | |
| Flask, FastAPI | Основы и примеры написания web-приложений на фреймворках Flask и FastAPI | |
| FastAPI Deploy | Написание простого веб-приложения на фреймворке FastAPI + SQLAlchemy и его запуск через виртуальное окружение. Деплой этого приложения на облачный сервис, подключение и настройка сервера NGINX, подключение своего домена (сайта) и настройка SSL сертификатов для работы приложения по протоколу HTTPS |
|
| Название | Описание | Ссылка |
|---|---|---|
| Docker | Команды Docker, WSL, основы работы с Docker образами и контейнерами, примеры сборки своих образов и деплой на арендованный сервер | |
| Docker, Docker Compose | Запуск простого приложения Клиент - Сервер на фреймворке FastAPI через Docker Compose. Развертывание PostgreSQL через Docker и Docker Compose. Пример веб-приложения с PostgreSQL + SQLAlchemy + Flask и его развертывание с использованием Docker Compose. |
|
| Docker Compose, LLM | Запуск библиотек для инференса LLM, VLM через Docker и Docker Compose, в том числе библиотек с веб-интерфейсами (Llama.cpp, Ollama, OpenWebUI, AnythingLLM), отправка API запросов в библиотеках llama.cpp и Ollama. Установка двайверов NVIDIA + CUDA + Pytorch + Docker + NVIDIA Container Tollkit на арендованном сервере + деплой чат бота с веб-интерфейсом на основе образов Ollama и OpenWebUI через Docker Compose на облачный сервер |
|
| Название | Описание | Ссылка |
|---|---|---|
| Numpy | Обзор библиотеки numpy, создание массивов, размерности, срезы | |
| Matplotlib | Основы Matplotlib, примеры отрисовки частоиспользуемых графиков | |
| Pandas Основы статистики | Основы статистики в Pandas на примере датасета автомобилей (работа с пропусками и выбросами, преобразрвание типов данных, описательные статистики, квартили, корреляция, ящик с усами), примеры отрисовки графиков в Pandas | |
| Проверка_гипотез | Основы проверки гипотез, что такое p-value, расчет p-value через z-тест и методом Монте-Карло | |
| AB тестирование | Пример проверки гипотезы на наличие тренда в данных, расчет p-value, мощности теста, ROC-AUC, AB-тестирование, AA-тест, тест Манна-Уитни | |
| Временные ряды | Основные характеристики временных рядов, стационарность, тренд, сезонность, автокорреляция, алгоритмы ARMA, ARIMA, SARIMA, SARIMAX, примеры кода прогнозирования временных рядов несколькими популярными библиотеками | |
| KNN, ANN | Обучение и разбор алгоритма KNN, применение алгоритма ANN на примере поиска похожих слов | |
| Линейная регрессия, градиентный спуск | Как работают линейная регрессия, алгоритм градиентного спуска, их реализация в коде, пример с LinearRegression из sklearn на датасете стоимости жилья, как работает нормализация данных через MinMaxScaler и StandartScaler | |
| Логистическая регрессия | Как работает алгоритм логистической регрессии, визуализация его геометрической интерпретации, что такое метод максимального правдоподобия, функция ошибки Log Loss (бинарная кросс-энтропия, он же отрицательный логарифм правдоподобия), пример с обучением LogisticRegression из библиотеки Sklearn | |
| Регуляризация | Регуляризация (L1, L2, Ridge) на примере алгоритма полиномиальной регрессии с градиентным спуском | |
| Метрики классификации | Метрики классификации: Confusion matrix, Precision, Recall, F1 score, PR curve, ROC-AUC | |
| Многоклассовая классификация | Как работает многоклассовая классификация, как устроен выходной слой в моделях классификации и нейронных сетях, функция Softmax, Softmax с температурой, функция ошибки CCE (Категориальная кросс-энтропия) | |
| Методы снижения размерности | Пример применения алгоритмов снижения размерности (PCA, UMAP, TSNE) для векторных представлений слов (эмбеддингов, embeddings) | |
| Деревья решений, подбор гиперпараметров, отбор и важность признаков, кросс-валидация | Подбор гиперпараметров для обучения моделей при помощи GridSearchCV, RandomizedSearchCV, Optuna, оценка значимости признаков (Feature importances), методы отбора признаков(SelectKBest, RFE, RFECV, LogisticRegression, корреляция), оценка качества модели с помощью кросс-валидации. Пошаговый разбор как работают деревья решений для задач классификации и регрессии. |
|
| Случайный лес, Бэггинг, Бустинг | Обзор алгоритмов ML - бэггинг, случайный лес, бустинг, пример применения на датасете с платформы Kaggle | |
| Кластеризация | Применение алгоритмов Kmeans, DBSCAN, HDBSCAN на примере двух задач: кластеризация клиентов супермаркета и кластеризация отзывов на товары интернет-магазина | |
| Классификация сообщений в Telegram (через кластеризацию) | Векторизация сообщений моделями-энкодерами из HuggingFace Понижение размерности векторов алгоритмами PCA, UMAP Кластеризация векторов алгоритмами KMeans, DBSCAN, HDBSCAN, OPTICS, BRIRCH Генерация классов для каждого кластера через LLM (библиотеки transformers, llama-cpp, llama-cpp-python) |
|
| Веб-приложение на Streamlit и Gradio | Обучение моделей для решения задачи классификации по предсказанию вероятности диабета. Написание web-приложений на фреймворках Streamlit и Gradio. Деплой приложений на платформу Hugging Face |
|
| Название | Описание | Ссылка |
|---|---|---|
| Обработка изображений | Основы работы с изображениями в python, чтение, обработка, популярные фреймворки, как делать нормализацию изображений, как применять аугментации перед подачей в модель | |
| Hugging Face | Обзор платформы Hugging Face - где можно найти модели для итогового/пет проекта (которые можно использовать сразу или дообучить под свою задачу), как ими пользоваться на примере нескольких моделей для обработки и генерации текста, генерации изображений, работы с аудио. Пример написания простого Telegram бота и бота для генерации изображений и текста, которые могут стать частью итогового/пет проекта |
|
| Pytorch | Операции с тензорами в Pytorch, работа с GPU, создание самописных датасетов, даталоадеры, пример обучения линейной модели на датасете изображений | |
| Линейные модели, функции активации | Устройство линейного слоя в библиотеке Pytorch, частоиспользуемые функции активации нейронных сетей, как писать свои слои, нейронные сети и объекты Pytorch, пример обучения нейронной сети на датасете | |
| Сверточные сети | Сверточные сети, их параметры, пример обучения и инференса сверточной сети на датасете изображений | |
| Upscaling, Batch normalization, Dropout | Методы увеличения размерности тензоров (Unpooling, ConvTranspose, Upsample), интерполяция, слои нормализации тензоров (BatchNorm, LayerNorm, InstanceNorm, GroupNorm, RMSNorm), слои Dropout, пример обучения моделей и сравнения графиков обучения | |
| Transfer Learning, Fine-Tuning | Как использовать предобученные модели из модуля torchvision и их дообучение с помощью механизмов Transfer learning, Fine-Tuning, а так же краткий обзор и демонcтрация планировщиков скорости обучения (shedulers) | |
| Дистилляция, прунинг | Обзор методов оптимизации (компрессии) нейронных сетей - дистилляция и прунинг | |
| Квантизация | Примеры использования различных фреймворков для квантизации моделей и ускорения инференса, преобразование моделей в форматы для инференса - ONNX, OpenVINO, квантизация моделей в формат GGUF через llama.cpp и их инференс через llama.cpp и llama-cpp-python | |
| Автокодировщики, AE | Реализация автокодировщика с линейными и сверточными слоями, обучение автокодировщика для задачи восстановления и удаления шума с изображений, визуализация скрытого пространства энкодеров | |
| Автокодировщики, VAE, CVAE, VQVAE | Реализация автокодировщика с архитектурами VAE, CVAE, VQVAE, обучение автокодировщика для задачи восстановления и удаления шума с изображений, визуализация скрытого пространства энкодера | |
| Генеративно - Состязательные сети (GAN) | Реализация и обучение DCGAN - GAN на основе сверточных сетей | |
| Stable Diffusion | Примеры инференса модели Stable Diffusion, краткий обзор основных компонент Stable Diffusion и пошаговый пример генерации изображения с их использованием, примеры использования моделей CLIP, SigLIP | |
| Рекуррентные сети | Устройство рекуррентных слоев RNN и LSTM в Pytorch, пример обучения рекуррентной нейронной сети на задачу генерации текста и пример обучения рекуррентной нейронной сети на задачу предсказания значений временного ряда | |
| Архитектура Энкодер-Декодер, механизм внимания | Пример реализации архитектур Seq2Seq Encoder-Decoder и Encoder-Decoder с механизмом внимания, а так же их обучение на задаче машинного перевода | |
| Архитектура Трансформер | Разбор и реализация архитектуры трансформера и его обучение на задаче машинного перевода | |
| Bert | Примеры использования моделей семейства Bert на различных задачах и пример дообучения модели Bert для классификации текстов | |
| Классификация текстов | Пример препроцессинга и классификации текстов спортивных новостей на 4 класса при помощи моделей и методов: TF-IDF + LogisticRegression и CatBoost Pretrained Embeddings + LogisticRegression и CatBoost Embeddings + Полносвязная сеть (FCN) Embeddings + Рекуррентная сеть (RNN) Embeddings + Рекуррентная сеть c механизмом внимания (RNN With Attention) Embeddings + Сверточная сеть (CNN) Word2Vec + Рекуррентная сеть (RNN) |
|
| LLM Fine Tuning, LoRA, Datasets | Демонстрация дообучения LLM на примере маленькой модели с платформы Hugging Face, примеры создания и обратботки датасетов для обучения через библиотеку transformers | |
| LLM Fine-Tuning, LoRA | Пример дообучения языковой модели с платформы Hugging Face на датасете вопросов и ответов с медицинских форумов с применением квантования из библиотеки bitsandbytes и метода LoRA (QLoRA) | |
| LLM Fine-Tuning Qwen2.5, LoRA | Пример дообучения языковой модели Qwen2.5 на датасете новостей с помощью библиотеки transformers и с применением метода LoRA, логгирование процесса обучения через wandb, сохранение/объединение модели, конвертация в формат GGUF, отправка всех вариантов моделей на Hugging Face | |
| TTS STT Telegram Bot | Написание Telegram бота, который преобразет речь в текст (Speech-to-Text), генерирует ответ, и преобразует его обратно в речь(Text-to-Speech), разбор инференса компонентов бота | |
| LLM Gradio Chatbot | Чат-бот на основе библиотеки llama-cpp-python и с веб-интерфейсом на фреймворке Gradio Тестирование через PyTest и запросы через Gradio Client GitHub Actions для автоматизации тестирования, деплоя, сборки и релиза Docker образа Деплой чат-бота на облачный сервер, подключение к нему сервера NGINX, аренда своего домена (сайта). Получение SSL сертификата для работы сайта по протоколу HTTPS |
|
| Semantic Text Image Vector Search | Векторизация и поиск похожих текстов через TF-IDF, BM25, Word2Vec, Doc2Vec, FastText, эмбединги (Bi-Encoder) на примере датасета описаний товаров с маркетплейса Поиск похожих текстов через алгоритм ANN с векторизацией через эмбединги, TF-IDF, BM25, Word2Vec, Doc2Vec, FastText Кластеризация эмбедингов текстов и поиск похожих текстов с учетом предсказанного кластера Ранжирование текстов через модели Cross-Encoder Создание векторной БД через библиотеку Milvus, поиск похожих текстов через эмбединги и через гибридный поиск (TF-IDF / эмбединги) Вычисление похожести между текстами, между картинками и текстами и между картинками через мультимодальные энкодеры |
|
| RAG Gradio Chatbot | Как работает механизм RAG, его реализации вручную и с ипользованием библиотеки Langchain, обзор библиотеки Langchain. Написание web-приложения чат-бота с механизмом RAG на фреймворке Gradio + Docker |
|
| Метрики задачи детекции объектов | Основные метрики для задачи детекции объектов и пример дообучения модели Faster-R-CNN | |
| Обзор моделей YOLO | Примеры детекции объектов, детекции ключевых точек, сегментации на изображениях и видео с помощью моделей Detectron 2, R-CNN и YOLO (v5, v7, v11) | |
| Дообучение модели YOLO | Дообучение модели YOLOv8 на датасете животных | |
| YOLOv8 Detector App part 1 | Написание веб-приложения на фреймворке Gradio для детекции фото и видео с использованием моделей YOLO из библиотеки Ultralytics | |
| YOLOv8 Detector App part 2 | Деплой приложения на арендованный сервер. Настройка сервера NGINX для эффективной работы приложения. Аренда домена для сайта и его подключение к серверу с приложением. Установка SSL сертификата для работы приложения по протоколу HTTPS. Настройка сертификатов чтобы свой сайт работал на удаленном сервере по протоколу HTTPS с использованием Docker Compose, экспорт и инференс модели на основе YOLOv8 в формат ONNX |
|
| YOLO NAS SAHI | Разбор ноутбука со следующими темами: YOLO NAS Super Gradients - библиотека для обнаружения объектов с SOTA моделями. YOLO Multi-Object Tracking - Трекинг объектов на видео через библиотеку `ultralytics` Deep Sort - Трекинг оъектов на видео через библиотеку `deep-sort-realtime`. YOLO SAHI - Обнаружение мелких объектов. |
|
| Metric Learning, Siamese networks, Face Recognition | Реализация сиамской сети на PyTorch для определения сходства между изображениями в двух вариантах - с применением функций потерь Contrastive Loss и Triplet Loss, а так же примеры распознавания лиц с помощью сторонних библиотек. Обзор библиотеки DeepFace |
|
| Streamlit Face Recognition App | Примеры использования моделей для распознавания лиц, эмоций, пола и возраста в формате ONNX, написание на их основе веб-приложения с веб-интерфейсом на Streamlit для детекции фото и видео | |
| Сегментация изображений | Обзор метрик для задачи сегментации (IOU, DICE), обучение модели Unet на задачу сегментации на датасете домашних животных, примеры применения готовых моделей для сегментации изображений | |
| VIT | Разбор архитектуры VIT (Visual Transformer) | |
| OCR, OpenCV | Применение OCR (Optical Character Recognition) библиотек на задаче распознавания текста на изображении Детекция номеров авто с помощью библиотеки OpenCV через каскады Хаара и детектор Canny Написание веб-приложения для детекции номеров авто на фреймворке Gradio + контейнеризация через Docker |
|
| VLM, OCR | Применение VLM (Vision Language Models) моделей на задаче генерации описания к изображению и задаче распознавания символов (OCR - Optical Character Recognition) | |
| Adversarial attacks | Как произвести атаку на нейронную сеть на примере механизма Fast Gradient Sign Attack (FGSM) | |
| Обработка аудио | Представление звука в компьютере, основные виды параметризации аудио перед подачей в модель, примеры работы со звуковыми файлами через популярные библиотеки, примеры преобразования текста в речь (TTS) и синтеза речи из текста (STT) | |
| Классификация аудио | Пример обучения сверточной нейронной сети задаче классификации аудио на 10 классов, логирование процесса обучения через Wandb | |
| Использование библиотек для TTS, STT | Примеры кода по синтезу речи из текста (Text-to-Speech, TTS), распознавания текста из речи (Speech-to-Text, STT, ASR) и диаризации речи с помошью различных библиотек | |
| Обучение с подкреплением | Обучение моделей играть в игры из игровых сред Gym библиотеки Gymnasium с помощью алгоритмов Q-learning, Policy Gradient, A2C, PPO | |