反爬虫与论坛爬虫相关问题求助

会计的会怎么念

- 学爬虫也一年多了，我学习爬虫除了B站各种视频课，主要是跟着崔庆才的书走了一遍。
- 我觉得python基础和爬虫我也学了一些东西，最近开始回复一些自己能回答的求助。

我实在想吐槽一下！
1. 学爬虫请先补充一下前端的知识，回复爬虫问题我看到最多的就是，“反爬！”，“你换ip”，“headers写全”。
        - 推荐一个我自己看过的，有讲爬虫必要的前端知识的课，Python网络爬虫（基础篇）
2. 分明是xpath没写对，还偏听偏信以为自己遇到了反爬？！哪有那么多反爬？
        - 常见反爬，崔庆才的书里都有讲，而且全面，系统。
        - 如果真觉得自己需要强大的发爬虫能力，推荐《Python3反爬虫原理与绕过实战》—韦世东

3. 回答问题的同学，你不想看人家代码就不要回答，张口就来反爬！他连css选择器是什么都不知道，你教他反爬，典型的误人子弟！

爬虫学习思路：
- 基础的，不再详述。我上面推荐的视频系列有进阶和高级，自己搜索，里面的内容崔庆才的书都有涉及。
- 爬虫进阶有两个方向，一个是使用别人的框架，例如最多的Scrapy。功能强大，框架庞杂，需要时间适应。
- 另一个就是Python学习，自己构造框架，想Python更上一步的可以看一下《流畅的Python》。

永恒的蓝色梦想

听说《流畅的Python》不错，下载一份看看

会计的会怎么念

永恒的蓝色梦想 发表于 2020-4-24 13:23
听说《流畅的Python》不错，下载一份看看

确实写的很不错！虽然我只看了流程控制和协程那一部分。

shenlingdong203

想问问楼主,一般不反爬的网站我写个爬虫也基本OK,小甲鱼好像推荐requests 而摒弃urllib库,我大概看了一下这个B站的基础篇视频,他还是在用urllib,我有必要跟着学吗?

会计的会怎么念

shenlingdong203 发表于 2020-4-26 19:12
想问问楼主,一般不反爬的网站我写个爬虫也基本OK,小甲鱼好像推荐requests 而摒弃urllib库,我大概看了一下这 ...

requests是把urllib进行了封装，爬虫基本上没人用urllib，但是在初学的时候都会学一遍的。