Skip to content

Releases: chaitin/rad

RAD 1.0

28 Apr 08:20
7238020
Compare
Choose a tag to compare

更新同步自:https://stack.chaitin.com/tool/detail?id=2

  • 新增批量爬取功能(--url-file)
  • 新增subdomain配置,用于控制是否爬取子域。
  • 增加mac arm版本
  • 优化了扫描性能
  • 取消了自动播放音频
  • 上层代理设置可以不携带协议名称
  • 大幅优化爬取效率(开启过滤同站点相似元素强度即可体验)
  • 修复了部分站点不爬取的bug
  • 修复了可能会出现爬到目标外站点的bug
  • 修复了爬取数量减少的bug
  • 修复已知问题

RAD 0.4

30 Apr 12:11
d903842
Compare
Choose a tag to compare

⚠️该版本配置与之前(0.3/0.2/0.1)版本不兼容,请保存旧的配置后重新生成配置。

  • 优化爬取效果,更强力更全面的页面分析能力,更优策略。
  • 优化调度,爬取过程更快速顺畅。
  • 将过滤分为加入爬取队列发送请求输出结果三部分配置,可以方便的控制各个环节的过滤。
  • 体验细节优化。

RAD 0.3

06 Nov 09:38
61aa53f
Compare
Choose a tag to compare
  • 优化部分页面的爬取效果;
  • 优化退出逻辑,防止ctrl-c退出时等待过久。
  • 修复user-agent配置不生效的问题;
  • 修复max-concurrent配置不生效的问题;
  • 新增自定义配置文件路径功能;
  • 新增自定义chrome执行路径功能;
  • 新增加载等待时间参数供配置;
  • 新增父目录发现功能,即使没有指向父目录的链接也会自动尝试判断父目录是否可访问。
  • 浏览器爬虫不再依赖中间人代理,不再监听本地端口

RAD 0.2

10 Sep 10:59
61aa53f
Compare
Choose a tag to compare

新增特性

  • 增加 json 输出功能,方便二次开发集成。 --json--json-output

    ./rad --json output.json -t http://example.com
    
  • 增加已经存在的文件自动增加序号的功能。--auto-index--index

    启用后若指定的输出文件为 result.json 但 result.json 存在,会自动为文件增加序号,保存为 result-1.json

  • 优化--full-text-output的输出

    使用50个 - 字符作为前后两个请求间的分割符号,便于视觉上的区分,也便于分析处理

  • 简化部分命令,使用更简单

    --text-output 可用 --text 代替
    --full-text-output 可用 --full 代替

问题修复:

  • 修复结果输出中 Referer 不全的问题
  • 修复配置自定义 Header 后 Cookie 不生效的问题
  • 修复部分 POST 表单无法在输出中展示的问题
  • 修复部分网站 URL 漏抓的问题

RAD 0.1

12 Aug 10:14
Compare
Choose a tag to compare

浏览器爬虫第一版,功能包括

  • 与 xray 无缝集成,启动 xray 扫描自动将 xray 设置为上游代理 (仅 xray 高级版)
  • 手动登录支持,免去认证配置烦恼,方便验证码/扫码登录的情况
  • 检测 bypass,模拟正常浏览器环境
  • 自动事件触发,防止后台请求漏抓
  • 自动表单填充,表单提交,提升漏洞扫描效果
  • 智能去重,过滤静态文件、重复请求减少资源消耗
  • 自定义请求关键字/正则过滤,防止危险请求触发、意外登出
  • 自定义请求头配置,自定义基础认证信息、cookie
  • 自定义并发控制,合理调配资源占用
  • 自定义行为控制,限制单个页面中点击深度,点击次数、点击时间间隔、超时时间