深度爬取之·类封装加多线程队列爬取校花网

那皇沫路python · 发表于 2019-1-6 11:16:15

马上注册，结交更多好友，享用更多功能^_^

您需要登录才可以下载或查看，没有账号？立即注册

x

本帖最后由那皇沫路python 于 2019-1-6 11:16 编辑

所需要的包
python +requests +queue+Beautifulsoup+threading

很多人可能对类封装概念不太熟悉，所以我写了一个基于类的爬虫小例子，
可以深度爬取所有页面，类中初始化了两个深度，请求深度（模拟浏览器点击页面，寻找页面跳转标签并加到队列）和下载深度，注意理解。
好像权限不够，没法发压缩包，总之，不太会用这个

class Depth:
    def __init__(self, request,down_depth=5,request_depth=0):
        self.request = request

down_depth 下载深度这里我默认下载5个页面的内容
request_depth 请求深度模拟浏览器点击页面，寻找页面跳转标签并加到队列

其余的应该都看得懂

看懂了可以自定义爬取任何可以直接下载的所有内容

游客，如果您要查看本帖隐藏内容请回复

ILOVEPAPA · 发表于 2019-1-6 17:34:31

==================

Python—小白 · 发表于 2019-1-15 22:02:54

C'rɑごy · 发表于 2019-1-29 15:25:28

looklook

我是你大哥 · 发表于 2019-2-1 18:36:47

xuexiyixai

_谪仙 · 发表于 2019-2-3 09:51:00

ABC23 · 发表于 2019-2-3 12:04:44

andylesin · 发表于 2019-2-4 13:23:01

tyfyu

夏天的枫 · 发表于 2019-2-5 02:30:49

xuexiyixai

小cp · 发表于 2019-2-6 21:09:32

刘开封 · 发表于 2019-2-8 15:29:36

学习学习

lychee007007 · 发表于 2019-3-18 19:55:24

来看看

famousq · 发表于 2019-3-18 21:51:40

wow~~~

Y0uWill_1Will · 发表于 2019-3-19 10:37:47

厉害

沉迷include · 发表于 2019-3-20 09:16:21

emmmmmmm

六芒星 · 发表于 2019-3-24 13:43:22

学习学习

xu247698454 · 发表于 2019-3-25 12:58:25

支持楼主

123459682 · 发表于 2019-3-25 17:51:24

看看

皮皮鲁123 · 发表于 2019-3-25 20:16:36

morton · 发表于 2019-3-26 12:08:11

gggg

账号		自动登录	找回密码
密码			立即注册

[技术交流] 深度爬取之·类封装加多线程队列爬取校花网

马上注册，结交更多好友，享用更多功能^_^