深度爬取之·类封装加多线程队列爬取校花网

那皇沫路python

所需要的包
python +requests +queue+Beautifulsoup+threading


很多人可能对类封装概念不太熟悉，所以我写了一个基于类的爬虫小例子，
可以深度爬取所有页面，类中初始化了两个深度，请求深度（模拟浏览器点击页面，寻找页面跳转标签并加到队列）和下载深度，注意理解。
好像权限不够，没法发压缩包，总之，不太会用这个

1. class Depth:
   
2.     def __init__(self, request,down_depth=5,request_depth=0):
   
3.         self.request = request

复制代码

down_depth     下载深度        这里我默认下载5个页面的内容
request_depth    请求深度      模拟浏览器点击页面，寻找页面跳转标签并加到队列

其余的应该都看得懂

看懂了可以自定义爬取任何可以直接下载的所有内容

游客，如果您要查看本帖隐藏内容请回复