Skip to content

ETL для перекачки данных из Kafka в ClickHouse

Notifications You must be signed in to change notification settings

vadim-miroshnik/ETL_Kafka_ClickHouse

Repository files navigation

ETL для перекачки данных из Kafka в ClickHouse

Запуск окружения (кафка и кликхаус):

make run_environment

Доступ к кафке: http://127.0.0.1:9021/

После поднятия окружения требуется установить зависимости для скрипта, который настроит etl:

make prepare && make setup_etl

Тестовые данные для кафки можно сгенерировать командой:

make gen_views

Запуск сервиса для production

Для запуска сервиса в проде (отключить проброс портов сервиса и запустить nginx):

make run_prod

Доступ к openapi сервиса ugc: http://127.0.0.1/api/openapi

Исследование

Описание здесь

About

ETL для перекачки данных из Kafka в ClickHouse

Topics

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published