BurpSuite 抓包 —— Spider 智能爬虫。

wei_Y

                               
登录/注册后可看大图

BurpSuite 抓包 —— 智能爬虫.

Spider是Burp的第三个模块，它提供爬虫功能，帮助来爬取网站目录结构。(此爬虫异常凶猛！慎用。)


0. 攻略！

在Proxy里抓到包右键发送到spider，或者在Target模块右键发送到spider都可以让spider开始工作起来。(注: 不要拿鱼C论坛来测试，否侧会被封IP以及丢失100鱼币，至于为什么会丢失之后会说- -。)

正在进行爬取，爬取的结果会反馈到Target界面。

爬虫会优先爬取那些已经发现，但还没有被请求过的网址，也就是被灰色标记出来的网址。
以及会重新提交一些表单来爬取新内容。
所以你如果登陆了鱼C并且用作测试的话，你会被Burp自动提交如  修改个人资料，发送动态消息，买入竞价列表(100个鱼币)。

所以为了财产及ip安全，还是不要拿鱼C测试。

小甲鱼老师也会很高兴你没有让服务器君承受过多压力的！

Spider Status.
爬虫状态，
有两个选项。

第一个用于开始和停止爬虫，第二个用于将要请求的队列(如果之后的爬虫列表里还有之前清理过的相似网址还会被添加进来)。

Spider Scope.
爬虫范围。

默认使用Scope中的网址进行爬取，也就是说如果你抓的包的网址没有在Scope中的话，它会先提示你是否加入进Scope.

第二个就是自定义范围了。

1. 装备！
Options.
(这个表情已经表达了对将要发生的无聊的叙述的态度。)

好，进入第一只环节。
Crawler Setting
爬虫设置。

[b]Check robots.txt
检索 robots.txt文件。
这个文件让爬虫(百度谷歌的)不会请求包含下列内容的目录。

http://bbs.fishc.com/robots.txt可以看一下呦~。
另外，我已经替大家试了admin.php。

detect custom "not found" responses
检索定制列表中"未找到(404)"的回复。有些时候可能会丢包所以会再次进行检索。
ignore links to non-text content
忽略非文本内容的链接。(js，image之类。)
Request the root of all directories
请求所有目录。(Spider会请求所有在Target确认的请求，如果这个网站的目录索引可以用的话，这个选项会非常有用。)
Make a non-parameterised request to each dynamic page.
动态页面使用无参数的请求。(如果无参数请求没有接受，那么从反馈信息中Brup会分析出需要什么参数。)
Maximum link depth  
最大深度
Maximum parameterised requests per URL  
每个URL最多可以有几个参数。[/b]

Passive Spidering
被动爬虫。
Passively Spider in your browse   
勾选此项会被动的在你的浏览器上爬取网站。(也就是你通过Proxy抓到的网址，会在Target界面显示。)
Link depth to associate with Proxy requests
此项控制通过Proxy请求的链接深度。(0的话就只有当前一个请求。)


Form Submission
表单提交。

Individuate Forms

根据选项Burp来自动生成表单内容。
Don't Submit Forms   不提交表单。
Prompt for guidance  勾选后，Burp在提交表单前会给你提示，提交由你确认的表单信息。
Automatically submit  勾选后，Burp将会自动提交一个表单，将会根据下列的规则进行表单内容填充。(默认自动提交！)
默认情况下呢，它是自动提交表单滴，如果关闭，那就不用担心用鱼C测试时要注意的状况！(除了封ip。)

Application Login
登陆应用。

Dot't submit login forms  不提交。(默认)
Prompt for guidance  提示提交。
Handle as ordinary forms  Burp会根据你的配置像提交其他表单一样提交这个表单。也就是上面表单的配置。
Automatically Submit these credentials，自动提交你想提交的username和password.

Spider Engine
爬虫引擎。

Number of thread  爬虫线程。
Number of retries on network failure  出现网络问题的连接失败时的重试次数。
Pause before retry  当重试一个失败的请求时Brup等待的时间。(以毫秒计算。)
Throttle between requests  (不知道怎么翻译。)Burp可以在请求每一个链接前等待一段时间。(毫秒计算。)以避免一个过载或者比较隐蔽的应用。(没用过- -。)
Add random variations to throttl  给上面那个添加一个随机的时间。

线程默认是10还是比较快的。



Requests Header
爬虫爬取时填入的HTTP头，学习python的小伙伴应该都熟的不能再熟了吧！


默认使用HTTP1.1，有些网站可能是HTTP1.0如果遇到关闭就好了。

Gud

感谢分享！~

七煞

看不懂感觉好厉害

rahmanjan

真的厉害啊

～风介～

可以弄一个burpsuite的淘贴呀！

c0okie

楼主有bp的爆破的字典么

wei_Y

c0okie 发表于 2016-3-28 13:21
楼主有bp的爆破的字典么

没。

小甲鱼

好屌的工具！！

三林小猎人

不明觉厉！！！！！

时光不老

很强势

羽毛大皮皮

6的一笔啊。。

beiank

嘿嘿 看来很给力 谢谢楼主