[已解决]爬虫疑问

Mike_python小 · 发表于 2020-4-13 07:48:08

马上注册，结交更多好友，享用更多功能^_^

您需要登录才可以下载或查看，没有账号？立即注册

x

pyspider和requests是一个东西吗

最佳答案

月排行榜 / 总排行榜

编程鱼C

2020-4-13 08:00:49

pyspider和Scrapy的比较百度一下你就知道
1.pyspider 提供 WebUI,Scrapy它采用的是代码和命令行操作，但可以通过对接 Portia 现可视化配置
2.pyspider 支持 PhantomJS来进行 JavaScript 谊染页面的采集 Scrapy 可以对接 Sc rapy-Splash组件，这需要额外配置
3.pyspider 中内置pyquery 作为选择器而Scrapy 接了XPath 对接css选择器和正则匹配
4.pyspider的可扩展程度不高，Scrapy可以通过对接其他的模块实现强大的功能，模块之间的耦合度低
总结
所以如果要快速实现一个页面的抓取，推荐使用 pyspider,开发更加便捷,如果要应对反爬程度很强、超大规模的抓取，推荐使用 Scrapy ，

跳转到最佳答案楼层

Mike_python小 · 发表于 2020-4-13 07:49:13

python
python

zltzlt · 发表于 2020-4-13 08:00:01

存在即合理，不是一个东西。。。。

编程鱼C · 发表于 2020-4-13 08:00:49

pyspider和Scrapy的比较百度一下你就知道
1.pyspider 提供 WebUI,Scrapy它采用的是代码和命令行操作，但可以通过对接 Portia 现可视化配置
2.pyspider 支持 PhantomJS来进行 JavaScript 谊染页面的采集 Scrapy 可以对接 Sc rapy-Splash组件，这需要额外配置
3.pyspider 中内置pyquery 作为选择器而Scrapy 接了XPath 对接css选择器和正则匹配
4.pyspider的可扩展程度不高，Scrapy可以通过对接其他的模块实现强大的功能，模块之间的耦合度低
总结
所以如果要快速实现一个页面的抓取，推荐使用 pyspider,开发更加便捷,如果要应对反爬程度很强、超大规模的抓取，推荐使用 Scrapy ，

编程鱼C · 发表于 2020-4-13 11:03:03

我是百度一下

Mike_python小 · 发表于 2020-4-13 11:04:35

编程鱼C 发表于 2020-4-13 11:03
我是百度一下

你的意思是说我不应该给你最佳答案是吗

编程鱼C · 发表于 2020-4-13 11:05:30

Mike_python小发表于 2020-4-13 11:04
你的意思是说我不应该给你最佳答案是吗

随你，你觉得答案对你有帮助就行

Mike_python小 · 发表于 2020-4-13 11:05:56

编程鱼C 发表于 2020-4-13 11:05
随你，你觉得答案对你有帮助就行

那不就得了

编程鱼C · 发表于 2020-4-13 11:06:13

Mike_python小发表于 2020-4-13 11:05
那不就得了

加好友

账号		自动登录	找回密码
密码			立即注册