chen1203 发表于 2021-9-13 03:21:20

不懂scrapy框架爬取网页过程，应该怎么搞，我有点乱！

希望大牛能够告诉我scrapy该怎么用的过程！谢啦！{:10_266:}

江湖散人 发表于 2021-9-13 08:36:42

scrapy框架都是在命令行执行的，编写的程序很少。
1.首先你的把路径切换到你正在用的当前路径
2.创建项目 scrapy startproject scrapy_pachong这里的(scrapy_pachong是你要定义的项目的名称，随便写，但是不能是数字开头，也不能有中文)
3.切换到当前项目，cd scrapy_pachong\scrapy_pachong\spiders 这里就是创建爬虫项目
4.开始爬取 scrapy genspider pachong http://www.baidu.com这里的pachong和上边的不一样，这是要运行的文件名，后边的url是你要爬取的网页，也可以说的起始页
5.在scrapy文件中，找到你刚创建的名字叫pachong的py文件，打开，在里边进行编程
6.编写好后在命令行再输入scrapy crawl pachong 回车，就开始运行了
前四个和第六个都是在命令行输入的，命令行就是按键盘上win+r，然后在出现的对话框中输入cmd，再回车就到了命令行输入框

buhaozhao 发表于 2021-9-14 20:06:29

scrapy 的中文开发文档，基本操作方法和常见的坑都有提及
https://scrapy-chs.readthedocs.io/zh_CN/latest/
页: [1]
查看完整版本: 不懂scrapy框架爬取网页过程，应该怎么搞，我有点乱！