全能爬虫工具

小说 · 漫画 · 视频 一站式搜索/下载/管理

功能

• 小说搜索下载 — 8个源并行搜索（笔趣阁系），自动识别章节，合并导出TXT
• 漫画搜索下载 — 10个源并行搜索（中英文），自动分章存图，支持PDF导出
• 视频下载 — YouTube + B站，yt-dlp驱动，支持分辨率/字幕/播放列表
• AI塔罗占卜 — 78张牌深度解读，三牌阵叙事合成
• 桌面应用 — pywebview 原生窗口，双击即用

快速开始

# 1. 安装依赖
pip install -r requirements.txt

# 2. 启动服务
python server.py

# 3. 打开浏览器
http://127.0.0.1:8765

桌面模式

pip install pywebview
python desktop_app.py

或双击 Desktop/全能爬虫工具.bat

代理配置

外网搜索需要代理（默认 127.0.0.1:7897），修改方式：

set CRAWLER_PROXY=http://你的代理地址:端口
python server.py

命令行模式

# 下载整本小说
python novel.py https://www.bpshu.cc/xxxx/  # 目录页URL

# 搜索视频
python crawler.py

项目结构

crawler-tool/
  server.py        # FastAPI 主服务 (815行)
  novel.py         # 小说爬虫引擎
  comic.py         # 漫画爬虫引擎
  video_dl.py      # 视频下载器
  utils.py         # 编码检测/文件名清洗/HTTP客户端
  desktop_app.py   # pywebview 桌面壳
  tarot_engine.py  # 塔罗牌义引擎
  static/          # 前端 (index.html, games.html, tarot.html)
  downloads/       # 下载输出目录

技术栈

Python 3.11+ · FastAPI · httpx · yt-dlp · selectolax · pywebview · Pillow · reportlab

License

MIT