孤独的嫖客 发表于 2018-10-9 12:59:34

设置pycharm调试scrapy框架爬虫

初次接触scrapy爬虫的同学可能遇到启动scrapy爬虫都是通过命令行方式启动的
如我们耳熟能详的
scrapy crawl xxxxx
但是这样一来 就给调试带来诸多不便,不停的切换窗口不说,而且还要反复重复的输入框架爬虫启动命令,都疯了好吗?
下面给大家带来一波福利,教大家如何用pycharm启动(vscode以及其他编辑器都可以使用)

[*]在项目文件夹里创建一个py文件,命名为main.py(名字真的随意,你也可以叫run.py)
[*]使用如下代码来执行cmd命令

https://upload-images.jianshu.io/upload_images/10004381-bcdd6e40077acf12.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1000/format/webp
然而 对于初次运行这样的代码的同学 可能会遇到如下报错:
https://upload-images.jianshu.io/upload_images/10004381-9edc0ea252550181.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/926/format/webp
这个错误处理很简单 ,利用pip install 安装一下缺少的模块就行了 ,不过这里注意要安装的模块名字是pypiwin32(我不会告诉你们这个报错是win操作系统独有的,Linux不会有这个报错)
好了执行我们的安装
pip install pypiwin32
极个别用户提示已安装,但是还是无法运行scrapy,请参考这篇文章:Python-“import win32api”报“ImportError：DLL load failed：找不到指定的模块。”错误的解决
我们重新在编辑器启动调试,可以看到如下结果:
https://upload-images.jianshu.io/upload_images/10004381-d2b7c3d1ad755385.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1000/format/webp
对没错,我们已经可以在pycharm里随时启动scrapy框架爬虫了,下面附上程序main.py源码:
**** Hidden Message *****


开启愉快的scrapy框架爬虫之旅吧!

孤独的嫖客 发表于 2018-10-9 21:28:32

请参考这篇文章:Python-“import win32api”报“ImportError：DLL load failed：找不到指定的模块。”错误的解决
https://www.jianshu.com/p/d119d0a3632d

超链接失效, 直接放置网址

孤星破红尘 发表于 2018-10-9 21:35:10

安装好了，但是.xpath 和。text 方法出不来

孤独的嫖客 发表于 2018-10-9 22:49:24

孤星破红尘 发表于 2018-10-9 21:35
安装好了，但是.xpath 和。text 方法出不来

pycharm在scrapy这里 的.xpath是没有补全的 具体原因我也不知 但是写法是没问题的你也不能太依赖自动补全
毕竟面试的笔试环节,你还想着能自动补全吗

sndncel 发表于 2018-10-17 13:22:12

谢谢分享，支持一下呀！

astyu 发表于 2018-10-21 14:17:33

谢谢

StarEyes星眸 发表于 2019-7-26 10:28:00

66666666

83519489 发表于 2019-8-26 15:41:05

正正需要scrapy的学习，接触下来一头雾水

ghoob321 发表于 2019-8-28 22:13:48

开启愉快的scrapy框架爬虫之旅吧

ghoob321 发表于 2019-8-29 08:38:36

安装好了，试用正常

f190622996 发表于 2019-9-9 10:22:08

学习！！！

random233 发表于 2019-9-23 11:12:49

66666666

紫锋 发表于 2019-11-30 15:52:40

学习！！！

songver 发表于 2019-12-21 20:52:54

rgtsrgsdfgs

ghoob321 发表于 2019-12-21 21:54:48

我初次接触scrapy爬虫就是启动scrapy爬虫都是通过命令行方式启动
scrapy crawl xxxxx

jtxs0000 发表于 2020-9-17 16:11:11

{:10_272:}

a17338679007 发表于 2020-9-22 23:04:54

谢谢分享

lirenbing01 发表于 2020-9-23 09:45:43

        鱼C有你更精彩^_^

gaowei1 发表于 2020-11-24 22:20:09

1
页: [1]
查看完整版本: 设置pycharm调试scrapy框架爬虫