有没有通过主页面爬取子页面的链接方法
比如只通过这个网站：豆瓣.com
获取到：
豆瓣.com/review/best/
豆瓣.com/tv/
等等....
不让我发链接。大佬们将就看下！ 我觉得你需要一个“网站下载器”软件 你要是学习过web渗透，就会知道很简单。
首先，网上有很多别人写好的工具，一般我们称之为攻击网站之前的获取域名信息。
如果你要自己实现的话，可以去网上找一个域名字典，然后利用爬虫，去访问，如果返回200，即说明这个网页存在，返回404则不存在 这个属于web渗透信息收集中的内容，网上有很多别人写好的工具，如果你自己写的话，需要一个域名字典，然后写个python爬虫，去一一访问，如果返回200，表示存在，返回404，表示不存在。
大体是这个思路。
页:
[1]