设置pycharm调试scrapy框架爬虫

孤独的嫖客 · 发表于 2018-10-9 12:59:34

您需要登录才可以下载或查看，没有账号？立即注册

x

初次接触scrapy爬虫的同学可能遇到启动scrapy爬虫都是通过命令行方式启动的
如我们耳熟能详的

scrapy crawl xxxxx

但是这样一来就给调试带来诸多不便,不停的切换窗口不说,而且还要反复重复的输入框架爬虫启动命令,都疯了好吗?
下面给大家带来一波福利,教大家如何用pycharm启动(vscode以及其他编辑器都可以使用)

登录/注册后可看大图

然而对于初次运行这样的代码的同学可能会遇到如下报错:

登录/注册后可看大图

这个错误处理很简单 ,利用pip install 安装一下缺少的模块就行了 ,不过这里注意要安装的模块名字是pypiwin32(我不会告诉你们这个报错是win操作系统独有的,Linux不会有这个报错)
好了执行我们的安装

pip install pypiwin32

极个别用户提示已安装,但是还是无法运行scrapy,请参考这篇文章:Python-“import win32api”报“ImportError：DLL load failed：找不到指定的模块。”错误的解决
我们重新在编辑器启动调试,可以看到如下结果:

登录/注册后可看大图

对没错,我们已经可以在pycharm里随时启动scrapy框架爬虫了,下面附上程序main.py源码:

游客，如果您要查看本帖隐藏内容请回复

开启愉快的scrapy框架爬虫之旅吧!

孤独的嫖客 · 发表于 2018-10-9 21:28:32

请参考这篇文章:Python-“import win32api”报“ImportError：DLL load failed：找不到指定的模块。”错误的解决
https://www.jianshu.com/p/d119d0a3632d

超链接失效, 直接放置网址

孤星破红尘 · 发表于 2018-10-9 21:35:10

安装好了，但是.xpath 和。text 方法出不来

孤独的嫖客 · 发表于 2018-10-9 22:49:24

孤星破红尘发表于 2018-10-9 21:35
安装好了，但是.xpath 和。text 方法出不来

pycharm在scrapy这里的.xpath是没有补全的具体原因我也不知但是写法是没问题的你也不能太依赖自动补全
毕竟面试的笔试环节,你还想着能自动补全吗

sndncel · 发表于 2018-10-17 13:22:12

谢谢分享，支持一下呀！

astyu · 发表于 2018-10-21 14:17:33

谢谢

StarEyes星眸 · 发表于 2019-7-26 10:28:00

66666666

83519489 · 发表于 2019-8-26 15:41:05

正正需要scrapy的学习，接触下来一头雾水

ghoob321 · 发表于 2019-8-28 22:13:48

开启愉快的scrapy框架爬虫之旅吧

ghoob321 · 发表于 2019-8-29 08:38:36

安装好了，试用正常

f190622996 · 发表于 2019-9-9 10:22:08

学习！！！

random233 · 发表于 2019-9-23 11:12:49

66666666

紫锋 · 发表于 2019-11-30 15:52:40

学习！！！

songver · 发表于 2019-12-21 20:52:54

rgtsrgsdfgs

ghoob321 · 发表于 2019-12-21 21:54:48

我初次接触scrapy爬虫就是启动scrapy爬虫都是通过命令行方式启动
scrapy crawl xxxxx

jtxs0000 · 发表于 2020-9-17 16:11:11

a17338679007 · 发表于 2020-9-22 23:04:54

谢谢分享

lirenbing01 · 发表于 2020-9-23 09:45:43

鱼C有你更精彩^_^

gaowei1 · 发表于 2020-11-24 22:20:09

账号		自动登录	找回密码
密码			立即注册

[技术交流] 设置pycharm调试scrapy框架爬虫