8000 GitHub - CyberIKUN/ant_god: 一款小爬虫器,递归爬取页面url数据后交给xray处理。
[go: up one dir, main page]
More Web Proxy on the site http://driver.im/
Skip to content

CyberIKUN/ant_god

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

3 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

介绍

🐶这是一款爬虫器,有以下特点:

  • 自动爬取js渲染后的url页面里的url链接
  • 链接去重
  • 链接限制同域
  • 递归爬取子页面
  • 将数据交给xray进行漏扫

这只是一个学习爬虫的案例,代码里带有了注释,供大家对js渲染的数据爬取进行学习。

使用

  1. 😪git clone https://github.com/CyberIKUN/ant_god.git
  2. 😏到项目路径执行./ant_god.exe -u https://www.baidu.com/

配置文件

在src\conf目录下有个conf.yaml配置文件,可根据配置文件进行参数选调。

命令行参数

只有两个:

  1. -u:指定url
  2. -o:指定输出文件路径,例如:-u C:\Users\1.txt

About

一款小爬虫器,递归爬取页面url数据后交给xray处理。

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages

0