应用程序爬虫-scrapy

如何开始爬取

进入 src 文件夹，运行 uv run scrapy crawl <爬虫名>，名称见支持表格

支持多种日志输出方式：文件(LOG_FILE)或标准输出(LOG_STDOUT)，但暂不支持同时做这两个输出

支持以下应用软件商店

商店名称	首页	文件	爬虫名称
360手机助手	360手机助手	spiders/a360.py	a360
应用汇	应用汇	spiders/appchina.py	appchina
联想应用商店	联想应用商店	spiders/leshangdian.py	leshangdian

爬取内容

数据库定义在 database_def 文件夹下

App信息

class AppInfo(scrapy.Item):
    # 应用名称
    name = scrapy.Field()
    # 商店名称
    store = scrapy.Field()
    # 评分/1分满分
    score = scrapy.Field()
    # 应用简介
    description = scrapy.Field()
    # 更新时间
    update_time = scrapy.Field()
    # 分类
    category = scrapy.Field()
    # 开发者
    developer = scrapy.Field()
    # 下载次数
    download_times = scrapy.Field()
    # 评论次数
    review_times = scrapy.Field()
    # 应用ID
    app_id = scrapy.Field()
    # 安装包MD5校验码
    md5 = scrapy.Field()

App评论

class AppComment(scrapy.Item):
    # 评论内容
    content = scrapy.Field()
    # 评论时间
    time = scrapy.Field()
    # 用户名
    user = scrapy.Field()
    # 评分
    score = scrapy.Field()
    # 应用ID
    app_id = scrapy.Field()
    # 来源商店
    store = scrapy.Field()
    # 评论ID
    review_id = scrapy.Field()