서울시 생활물류 데이터
- google cloud의 폴더 하위의 파일정보를 이름순으로 정렬
- 제일 최신 데이터의 날짜와 현재 날짜를 비교
- 제일 최신 데이터의 년월 정보가 현재 날짜의 년(월-1)정보보다 작으면 업데이트 수행
홈페이지의 정보가 약 3달 정도 느린것을 확인했기 때문에 현재 년(월-1)와 비교
- 최신 데이터의 년월~api의 최신 데이터까지 월별로 csv저장해서 클라우드 스토리지에 저장
config.json
{
"seoul_api_key": "공공데이터포털 KEY정보",
"GOOGLE_APPLICATION_CREDENTIALS": "구글스토리지정보"
}
[cmd]
python AUTO_ETL_seoul_life_logistics.py
서울시 생활물류 데이터
홈페이지의 정보가 약 3달 정도 느린것을 확인했기 때문에 현재 년(월-1)와 비교
config.json
{
"seoul_api_key": "공공데이터포털 KEY정보",
"GOOGLE_APPLICATION_CREDENTIALS": "구글스토리지정보"
}
[cmd]
python AUTO_ETL_seoul_life_logistics.py