Это курс по Data Analytics и системной аналитике.
Репозиторий содержит последовательный учебный маршрут по функциональному программированию на Python, работе в Jupyter Notebook, SQL, MySQL, pandas, языку R, R Markdown, Git, GitHub, Docker Compose, сетевым протоколам, API, проектированию ИИ-ассистентов и агентной работе с кодовой базой.
Материалы построены по принципу «от базовых упражнений к воспроизводимому аналитическому и системному решению»: сначала слушатель осваивает функциональный стиль программирования на Python и работу в Jupyter Notebook, затем SQL и аналитические библиотеки, после этого выполняет проекты на Python и R, изучает полный аналитический пайплайн, основы системного взаимодействия, системные инструкции для ИИ и агентный сценарий разработки.
| Раздел | Основная тема |
|---|---|
| Item 1 | Функциональное программирование на Python в Jupyter Notebook: функции, преобразование данных и итоговая практика |
| Item 2 | Основы SQL и MySQL, CRUD, связи и JOIN, переход от SQL к pandas, форматы данных |
| Item 3 | Последовательная практика в Jupyter Notebook и разбор решения |
| Item 4 | Приведение данных к консистентному виду и минимально достаточный итоговый анализ на Python |
| Item 5 | Основы R: типы и структуры данных, функции, визуализация, импорт, очистка и агрегирование данных |
| Item 6 | Минимально достаточный итоговый анализ на R, Git, GitHub и Docker Compose |
| Item 7 | Полный аналитический пайплайн, анализ взаимосвязей, проверка гипотез и работа с ИИ |
| Item 8 | Препромпты, проектирование ИИ-ассистентов, три сценария работы с ИИ и карьерные треки |
| Item 9 | ООП в Python, DNS/HTTP/SSH, API/REST API и продвинутая инструкция для ИИ-ассистента |
| Item 10 | Агентный сценарий работы с ИИ, OpenCode, AGENTS.md, Todo CLI и пример итоговой работы |
Папка: Item_1
Раздел знакомит с форматом .ipynb, организацией вычислений в Jupyter Notebook и базовыми принципами функционального программирования на Python. Последовательные notebook показывают, как выделять логику в функции, передавать данные через аргументы и возвращаемые значения, применять функции к последовательностям, декомпозировать задачу на небольшие преобразования и собирать их в единый вычислительный процесс.
Инструкция_ipynb.pdf— базовая инструкция по открытию, запуску и последовательному выполнению файлов.ipynbв Jupyter Notebook.
pr_stage_1.ipynb— первый этап: объявление функций, параметры, аргументы, возвращаемые значения и отделение вычислительной логики от входных данных.pr_stage_2.ipynb— второй этап: функции как объекты, анонимные функцииlambda, применение функций к коллекциям и базовые операции преобразования и фильтрации данных.pr_stage_3.ipynb— третий этап: функции высшего порядка, композиция небольших преобразований и построение последовательного функционального процесса обработки данных.fv_stage_4.ipynb— завершающий этап: объединение изученных приёмов функционального программирования в одну законченную практическую работу.
Assignment.ipynb— самостоятельное задание на применение функций и функциональной декомпозиции при решении задачи на Python.Sample_Solution.ipynb— пример решения задания с последовательным разбором функционального подхода и возможностью сравнить его со своей реализацией.
complete_modernized.ipynb— объединённая модернизированная версия всего блока по функциональному программированию с дополнительными пояснениями и последовательной структурой.pr_stage_1_modernized.ipynb— подробно прокомментированная версия первого этапа: устройство функции, входные параметры и возвращаемый результат.pr_stage_2_modernized.ipynb— подробно прокомментированная версия второго этапа:lambda-функции и применение функций к наборам данных.pr_stage_3_modernized.ipynb— подробно прокомментированная версия третьего этапа: декомпозиция, повторное использование и связывание функций в единый процесс.fv_stage_4_modernized.ipynb— расширенная версия завершающей работы с пояснениями по каждому основному шагу решения.
Папка: item_2
Раздел посвящён основам работы с реляционными базами данных, SQL и MySQL. Материалы охватывают базовые CRUD-операции, связи между таблицами, JOIN, получение результата SQL-запроса в виде DataFrame, дальнейший анализ с помощью pandas, очистку данных и работу с CSV, JSON и Excel.
SQL_p_1.md— первая часть текстового учебного материала по SQL.SQL_p_2.md— вторая часть текстового учебного материала по SQL.
part_1.ipynb— первая часть практического занятия в Jupyter Notebook.part_2.ipynb— продолжение практического занятия.Assignment.ipynb— самостоятельное задание по материалам раздела.Sample_solution.ipynb— пример решения для проверки и разбора.
part_1.ipynb— основной notebook следующего практического блока.Assignment.ipynb— самостоятельное задание по практическому блоку.Sample_solution.ipynb— пример решения задания.
Расширенный комплект материалов, который связывает SQL, MySQL и дальнейшую аналитическую обработку данных в Python.
01_mysql_start_crud_beginner.md— руководство для начинающих по запуску MySQL и базовым CRUD-операциям: созданию, чтению, изменению и удалению данных.01_mysql_start_crud_beginner.pdf— PDF-версия руководства по MySQL и CRUD.02_mysql_relations_joins_beginner.md— руководство для начинающих по связям между таблицами и операциямJOIN.02_mysql_relations_joins_beginner.pdf— PDF-версия руководства по связям иJOIN.03_sql_result_as_dataframe_intro.ipynb— введение в получение результата SQL-запроса в видеpandas.DataFrame.04_assignment_sql_pandas_bridge.ipynb— практическое задание на переход от SQL-запросов к обработке данных вpandas.05_after_sql_basic_analysis_in_pandas.ipynb— базовый аналитический разбор данных вpandasпосле их получения из SQL.06_extra_data_formats_csv_json_excel.ipynb— дополнительный материал по загрузке и обработке CSV, JSON и Excel.07_extra_assignment_data_cleaning_and_formats.ipynb— дополнительное задание по очистке данных и работе с несколькими форматами файлов.Лекционный_материал_SQL_MySQL_pandas_для_слушателей.docx— лекционный материал для слушателей по SQL, MySQL иpandas.Альтернатива— альтернативный вариант учебных материалов данного блока.
Папка: item_3
Раздел продолжает практическую работу в Jupyter Notebook. Материал разделён на последовательные notebook и отдельный блок с примером решения.
part_1.ipynb— первая часть практического материала.part_2.ipynb— вторая часть практического материала.
part_1.ipynb— самостоятельный практический notebook следующего блока.Sample_solution.ipynb— пример решения для проверки результата и разбора подхода.
Папка: item_4
Раздел показывает минимально достаточный пример итоговой работы аналитика данных на Python: от исходного датасета и приведения данных к консистентному виду до аналитического исследования и оформления выводов. Дополнительно используется проектная инструкция для ИИ-ассистента в Qwen, GPT или другом совместимом интерфейсе.
AI_assist_preprompt.md— препромпт, то есть системная инструкция и правила работы ИИ-ассистента в контексте проекта.MoviesOnStreamingPlatforms.csv— исходный датасет о фильмах на стриминговых платформах.example.ipynb— notebook с приведением данных к консистентному виду и последующим аналитическим анализом; минимально достаточный пример итоговой работы по Data Analytics.
Папка: item_5
Раздел содержит последовательный практикум по основам языка R: от синтаксиса, переменных и структур данных до функций, визуализации, импорта файлов, очистки, преобразования и агрегирования данных. Для практики используется учебный набор данных о сотрудниках, представленный в CSV, JSON и Excel, что позволяет сравнить способы загрузки и обработки разных форматов.
docker-compose.yml— конфигурация контейнерного окружения для воспроизводимого запуска учебной среды с R.employees_data.csv— учебный набор данных о сотрудниках в формате CSV.employees_data.json— тот же набор данных в формате JSON для практики чтения полуструктурированных данных.employees_data.xlsx— тот же набор данных в формате Excel для практики импорта электронных таблиц.
Описания ниже используются как навигационная карта учебной последовательности. Для технической документации конкретных операций следует дополнительно сверять формулировку с кодом соответствующего
.R-файла.
part1.R— знакомство с R: структура скрипта, комментарии, выполнение команд и базовые арифметические операции.part2.R— переменные и оператор присваивания: сохранение значений, переиспользование результатов и правила именования объектов.part3.R— базовые типы данных и преобразование типов: числа, строки, логические значения и проверка структуры объекта.part4.R— векторы и векторизованные операции: создание последовательностей, вычисления сразу над набором значений и базовые агрегаты.part5.R— индексация и логический отбор: получение отдельных элементов и фильтрация значений по условию.part6.R— матрицы и многомерные структуры: создание, обращение к строкам и столбцам, выполнение табличных вычислений.part7.R— списки: объединение объектов разных типов и извлечение вложенных элементов.part8.R— факторы и категориальные признаки: хранение категорий, уровни факторов и подготовка категориальных данных к анализу.part9.R—data.frame: создание таблиц, просмотр структуры, обращение к строкам, столбцам и отдельным значениям.part10.R— условные конструкцииif,elseи векторные проверки для реализации правил обработки данных.part11.R— циклыforиwhile: повторение однотипных операций и обработка последовательностей.part12.R— пользовательские функции: параметры, возвращаемые значения и вынесение повторяющейся логики в переиспользуемый код.part13.R— создание базовых визуализаций: точечные и линейные графики, гистограммы, столбчатые диаграммы и диаграммы размаха.part14.R— описательная статистика: минимум, максимум, среднее, медиана, квантили, разброс и первичное описание распределений.part15.R— проверка качества данных: поиск пропусков и дубликатов, обработка некорректных значений и подготовка таблицы к анализу.part16.R— импорт и экспорт CSV: чтение табличного файла, проверка разделителей и типов столбцов, сохранение результата.part17.R— работа с JSON: загрузка полуструктурированных данных и преобразование результата в удобную табличную форму.part18.R— работа с Excel: чтение листов и диапазонов, проверка структуры и подготовка импортированной таблицы.part19.R— выбор, фильтрация и сортировка строк и столбцов для формирования аналитической выборки.part20.R— преобразование данных: создание производных столбцов, изменение типов и нормализация значений.part21.R— группировка и агрегирование: расчёт показателей по категориям и сравнение отдельных сегментов сотрудников.part22.R— итоговая сквозная практика: загрузка набора данных о сотрудниках, проверка качества, преобразование, расчёт показателей и интерпретация результата.
Папка: item_6
Раздел объединяет минимально достаточный пример итоговой работы по Data Analytics на R с базовой инженерной практикой: воспроизводимым окружением, Git, GitHub и Docker Compose. Аналитическая часть включает приведение данных к консистентному виду, исследование датасета и оформление результата в R Markdown.
MoviesOnStreamingPlatforms.csv— исходный датасет о фильмах на стриминговых платформах.part1.Rmd— R Markdown-документ с подготовкой данных, аналитическим исследованием и оформлением минимально достаточной итоговой работы на R.
github_simple_guide.md— базовое руководство по работе с Git и GitHub.git_part_2_extended_guide.md— расширенное руководство по работе с Git и GitHub.
docker_compose_basic_guide.md— базовое руководство по работе с Docker Compose.jupiter/docker-compose.yml— конфигурация Docker Compose для запуска учебной Jupyter-среды.r_studio— каталог конфигурации среды RStudio для выполнения практики на R.
Папка: item_7
Раздел переводит отдельные аналитические операции в полный воспроизводимый пайплайн: от поиска и получения данных до контроля качества, анализа взаимосвязей, проверки гипотез, интерпретации результатов и итогового вывода. Отдельно показано, как использовать ИИ-ассистента для поддержки анализа, не подменяя им проверку данных и метода.
AI_assist— учебный препромпт для ИИ-ассистента в Qwen, GPT или другом интерфейсе; достаточная версия для выполнения учебных задач.MoviesOnStreamingPlatforms— проект с приведением данных к консистентному виду и последующим аналитическим анализом; минимально достаточный пример итоговой работы по Data Analytics.ai_analysis_prompt_series_a_to_z_revised.md— серия промптов для полного анализа датасета с ИИ: от поиска и получения данных до проверки и итогового вывода.analytical_pipeline_movies_example.md— полный аналитический пайплайн на примере анализа фильмов на стриминговых платформах.relationships_and_hypothesis_testing_from_a_to_z_commented_executed.ipynb— практический notebook от А до Я по анализу взаимосвязей и тестированию гипотез с комментариями и выполненными ячейками.universal_analytics_pipeline_steps.md— универсальный аналитический пайплайн, разложенный на последовательные шаги.
Папка: item_8
Раздел посвящён пользовательскому сценарию работы с ИИ и проектированию специализированных ИИ-ассистентов. Здесь рассматриваются системные инструкции, препромпты, генерация новых препромптов, перенос правил из донорского ассистента, а также карьерные треки и три сценария использования ИИ.
AI_assist_preprompt.md— учебная версия препромпта для ИИ-ассистента по Data Analytics; достаточна для учебных целей.AI_preprompt_reengineering_generator.md— мета-препромпт для создания и реинжиниринга других препромптов, то есть генератор системных инструкций для новых ИИ-ассистентов.Sublime_Text_instruct.docx— инструкция по установке и базовой работе в Sublime Text.example_promt_to_create_pm_assist_in_prompt_gen_assist.md— пример пользовательского промпта для генератора препромптов: создание нового PM-ассистента на основе донорской системной инструкции.intro_part_in_ai_assist.md— преамбула, то есть небольшая вводная часть препромпта для проекта в Qwen, GPT или другом интерфейсе.it_career_tracks_junior_to_senior.md— три сценария работы с ИИ и прикладные технические треки развития в ИТ от первого шага до Senior.pm_architect_preprompt.md— препромпт для PM Architect, или Архитектора проектного управления.
Папка: item_9
Раздел расширяет базовую подготовку аналитика в сторону разработки и системного анализа. В него входят объектно-ориентированное программирование в Python, основы сетевого взаимодействия, API и REST API, а также продвинутая системная инструкция для рабочего аналитического и системного ИИ-ассистента.
Item_9_OOP_in_Python_beginner_detailed.ipynb— подробный notebook для начинающих по объектно-ориентированному программированию в Python: классы, объекты, атрибуты, методы, наследование, полиморфизм и связанные понятия.data_systems_intelligence_architect_preprompt.md— продвинутая рабочая версия препромпта для Data & Systems Intelligence Architect; избыточна для простых учебных задач, но подходит как основа для коммерческих аналитических и системных задач.part_1_http_https_ftp_ssh.md— DNS, HTTP, HTTPS, FTP, SSH и SFTP: основы сетевого взаимодействия с примерами на Python.part_2_api_rest_api.md— API и REST API: от первого запроса до более надёжной интеграции на Python.
Папка: item_10
Раздел посвящён третьему сценарию работы с ИИ — агентному. В этом сценарии ИИ получает разрешённый доступ к инструментам, читает репозиторий, изучает инструкции проекта, изменяет файлы, запускает команды и тесты, а затем предоставляет проверяемый результат.
OpenCode/OpenCode_Todo_для_новичков.md— подробная инструкция для начинающих по третьему сценарию работы с ИИ: установке OpenCode и созданию консольного Todo-приложения на Python с помощью ИИ-агента.
todo-cli— консольное Todo-приложение, созданное с помощью OpenCode.todo-cli/AGENTS.md— основная проектная инструкция для ИИ-агента. По назначению она аналогична препромпту проекта из пользовательского сценария, но применяется внутри репозитория и задаёт правила агентной работы с кодом, файлами, командами и проверками.todo-cli/docs— дополнительные проектные инструкции. БольшойAGENTS.mdможно декомпозировать на логически самостоятельные документы, а основной файл использовать как точку входа и карту ссылок на подробные правила.
Такое разделение позволяет хранить отдельно требования к архитектуре, стилю кода, тестированию, документации, безопасности и другим частям проекта, не превращая основной AGENTS.md в один чрезмерно большой файл.
FV_examle/example_one— пример итоговой работы по Data Analytics.
- Item 1: освоить Jupyter Notebook и базовые принципы функционального программирования на Python.
- Item 2: изучить SQL, MySQL, CRUD, связи между таблицами,
JOINи передачу результатов вpandas. - Item 3: закрепить работу в notebook на последовательных практических заданиях и разборе решения.
- Item 4: выполнить минимально достаточный аналитический проект на Python — от подготовки данных до выводов.
- Item 5: освоить основы R, структуры данных, функции, визуализацию и импорт нескольких форматов.
- Item 6: выполнить итоговый анализ в R Markdown и добавить базовые инженерные навыки Git, GitHub и Docker Compose.
- Item 7: перейти от отдельных операций к полному аналитическому пайплайну, анализу взаимосвязей и проверке гипотез.
- Item 8: освоить пользовательский сценарий работы с ИИ и проектирование специализированных ИИ-ассистентов.
- Item 9: расширить подготовку основами ООП, сетей, API и системного анализа интеграций.
- Item 10: перейти к агентному сценарию, в котором ИИ работает с репозиторием и выполняет последовательность инструментальных действий по правилам
AGENTS.md.
Пользователь работает с ИИ через интерфейс Qwen, GPT, Claude или другого сервиса. Контекст и правила задаются в препромпте проекта. Примеры находятся в item_4, item_7, item_8 и item_9.
Приложение обращается к модели программно через API. Для этого необходимы знания HTTP/HTTPS, JSON, аутентификации, обработки ошибок и REST API. База для этого сценария находится в item_9.
ИИ-агент получает доступ к разрешённым инструментам и выполняет действия в репозитории. Правила задаются через AGENTS.md и связанные документы. Практический пример с OpenCode находится в item_10.