[已解决]有没有通过主页面爬取子页面的链接方法

a870950142

比如只通过这个网站：
豆瓣.com



获取到：
豆瓣.com/review/best/
豆瓣.com/tv/
等等....

不让我发链接。大佬们将就看下！

最佳答案

月排行榜 / 总排行榜

自学小白菜

2022-11-24 10:23:42

你要是学习过web渗透，就会知道很简单。
首先，网上有很多别人写好的工具，一般我们称之为攻击网站之前的获取域名信息。
如果你要自己实现的话，可以去网上找一个域名字典，然后利用爬虫，去访问，如果返回200，即说明这个网页存在，返回404则不存在

跳转到最佳答案楼层

cflying

我觉得你需要一个“网站下载器”软件

自学小白菜

你要是学习过web渗透，就会知道很简单。
首先，网上有很多别人写好的工具，一般我们称之为攻击网站之前的获取域名信息。
如果你要自己实现的话，可以去网上找一个域名字典，然后利用爬虫，去访问，如果返回200，即说明这个网页存在，返回404则不存在

自学小白菜

这个属于web渗透信息收集中的内容，网上有很多别人写好的工具，如果你自己写的话，需要一个域名字典，然后写个python爬虫，去一一访问，如果返回200，表示存在，返回404，表示不存在。
大体是这个思路。