疫情爬虫,爬取卫健委官网的新闻列表
- 安装node
- 安装redis
- 根目录
npm install
- 二次开发
创建爬虫实例,参数为
{
id: 'taian', // 城市id
url: 'http://wjw.taian.gov.cn/col/col45779/index.html', // 网站地址
target: 'ul.main-fr-box', // 包含新闻<li>的模块
interval: 60 * 1000 // 大致间隔
}
由爬虫结果页面,转换为目标信息:
[{
href: string, // 新闻列表href
text: string // 新闻标题
}, {...}]
将结果发送至目标服务器