Skip to content

데이터 수집 자동화 시도 #15

@es3442

Description

@es3442

서울시 생활물류 데이터

  1. google cloud의 폴더 하위의 파일정보를 이름순으로 정렬
  2. 제일 최신 데이터의 날짜와 현재 날짜를 비교
  3. 제일 최신 데이터의 년월 정보가 현재 날짜의 년(월-1)정보보다 작으면 업데이트 수행
    홈페이지의 정보가 약 3달 정도 느린것을 확인했기 때문에 현재 년(월-1)와 비교
  4. 최신 데이터의 년월~api의 최신 데이터까지 월별로 csv저장해서 클라우드 스토리지에 저장

config.json
{
"seoul_api_key": "공공데이터포털 KEY정보",
"GOOGLE_APPLICATION_CREDENTIALS": "구글스토리지정보"
}

[cmd]
python AUTO_ETL_seoul_life_logistics.py

Metadata

Metadata

Assignees

Labels

No labels
No labels

Type

No type
No fields configured for issues without a type.

Projects

Status
Done

Milestone

No milestone

Relationships

None yet

Development

No branches or pull requests

Issue actions