新手学习python爬虫的几个问题

NeilDing · 发表于 2017-6-11 13:50:30

马上注册，结交更多好友，享用更多功能^_^

您需要登录才可以下载或查看，没有账号？立即注册

x

1.request包和urllib包中的request有什么区别么？如果用BeautifulSoup来解析网页，用那一个比较好，（网页的编码问题，自定义Headers
等）

2.异步动态网页爬取的时候，每一次GET到的Request_Url是非常长的一串，而且规律也找不到，该怎么爬取？

3.collections中的deque返回的是集合还是列表？我该如何处理爬虫返回列表中重复的url？

4.XML/CSS我该如何才能看懂各个标签的含义，才能准确的用select或者find找到网页上我所确切需要的内容或者说我必须熟练掌握麻烦的正则表达式么？你这一个select语句写好了，换另一个不同结构的网页爬，就又会得不到想要的内容，这种情况怎么办？只能针对不同的网页写不同的select语句吗，即使我仅仅获得看起来类似位置的内容

SixPy · 发表于 2017-6-11 14:16:16

十万个为什么

基础太薄弱，别急，慢慢学吧~

NeilDing · 发表于 2017-6-11 14:19:49

SixPy 发表于 2017-6-11 14:16
十万个为什么

基础太薄弱，别急，慢慢学吧~

是啊……慢慢来吧

smallFishBug · 发表于 2017-6-11 15:34:55

等大神来回答~！
也可以看看电子书呀我觉得这本书挺好的《python学习手册》封面是一只老鼠

NeilDing · 发表于 2017-6-11 17:35:28

smallFishBug 发表于 2017-6-11 15:34
等大神来回答~！
也可以看看电子书呀我觉得这本书挺好的《python学习手册》封面是一只老鼠

恩恩，我看了廖雪峰的python3，菜鸟教程，，，还有用Python进行数据分析，视频和电子书结合起来用，边看边敲学得挺快

得意洋洋 · 发表于 2017-6-11 20:03:15

加油吧

smallFishBug · 发表于 2017-6-11 21:43:49

NeilDing 发表于 2017-6-11 17:35
恩恩，我看了廖雪峰的python3，菜鸟教程，，，还有用Python进行数据分析，视频和电子书结合起来用，边看 ...

兄弟可以哦~向你学习~！

NeilDing · 发表于 2017-6-11 22:38:22

smallFishBug 发表于 2017-6-11 21:43
兄弟可以哦~向你学习~！

如果你想要资源的话我把PDF发你啊

NeilDing · 发表于 2017-6-12 00:08:10

本帖最后由 NeilDing 于 2017-6-12 00:09 编辑

问题2和4解决了一部分，XML其实就是一个个标签，静态网页中只要找到标签就可以找到自己想找的数据，用find_all,正则表达式，查找标签或者关键字，然后get_text就好，在爬取动态网页的过程中，我发现只用python的request库还是太薄弱了，异步数据是没办法的，审查元素和查看源代码显示不一样内容，而python本身只可以获得查看网页源代码部分，后来才知道这是ajax异步请求数据，果断开始入坑selenium
http://bbs.fishc.com/forum.php?m ... 2644&typeid=393
关于问题1.后来网上查了很多资料，requests库是基于urllib的，更高级一点，写headers用一个dict就好
问题3.deque和list的区别就是，list是线性存储，dequeue可以实现双向插入或删除元素，更高效，至于是集合还是列表……无所谓了。重复的url就用这个来实现，添加的过程中判断是否重复就好，爬过的url出队列，没爬过的入队列。
现在的问题还是集中在encode和decode上，有的网页如果不decode，输出格式很难看，还有就是中文会显示乱码……真是头疼啊

smallFishBug · 发表于 2017-6-12 09:00:15

NeilDing 发表于 2017-6-11 22:38
如果你想要资源的话我把PDF发你啊

哈~不用，我自己基本上都有~谢谢

账号		自动登录	找回密码
密码			立即注册