Mike_python小 发表于 2020-4-13 07:48:08

爬虫疑问

pyspider和requests是一个东西吗

Mike_python小 发表于 2020-4-13 07:49:13

python
python

zltzlt 发表于 2020-4-13 08:00:01

存在即合理，不是一个东西。。。。

编程鱼C 发表于 2020-4-13 08:00:49

pyspider和Scrapy的比较百度一下你就知道
1.pyspider 提供 WebUI,Scrapy它采用的是代码和命令行操作，但可以通过对接 Portia 现可视化配置
2.pyspider 支持 PhantomJS来进行 JavaScript 谊染页面的采集 Scrapy 可以对接 Sc rapy-Splash组件，这需要额外配置
3.pyspider 中内置pyquery 作为选择器而Scrapy 接了XPath 对接css选择器和正则匹配
4.pyspider的可扩展程度不高，Scrapy可以通过对接其他的模块实现强大的功能，模块之间的耦合度低
总结
所以如果要快速实现一个页面的抓取，推荐使用 pyspider,开发更加便捷,如果要应对反爬程度很强、超大规模的抓取，推荐使用 Scrapy ，


编程鱼C 发表于 2020-4-13 11:03:03

我是百度一下

Mike_python小 发表于 2020-4-13 11:04:35

编程鱼C 发表于 2020-4-13 11:03
我是百度一下

你的意思是说我不应该给你最佳答案是吗

编程鱼C 发表于 2020-4-13 11:05:30

Mike_python小 发表于 2020-4-13 11:04
你的意思是说我不应该给你最佳答案是吗

随你，你觉得答案对你有帮助就行

Mike_python小 发表于 2020-4-13 11:05:56

编程鱼C 发表于 2020-4-13 11:05
随你，你觉得答案对你有帮助就行

那不就得了

编程鱼C 发表于 2020-4-13 11:06:13

Mike_python小 发表于 2020-4-13 11:05
那不就得了

加好友
页: [1]
查看完整版本: 爬虫疑问