Scrapy学习篇08--Scrapy的实际案例01-豆瓣Top250

Stubborn

Scrapy的实际案例01(普通爬虫)-豆瓣Top250

豆瓣top250 ->https://movie.douban.com/top250?start=0  

首先，建立好爬虫项目，新建一个scrapy爬虫(普通爬虫<scrapy genspider Douban douban.com>)，定义好需要采集的信息：

items.py文件

游客，如果您要查看本帖隐藏内容请回复

下面开始编写爬虫文件了。

游客，如果您要查看本帖隐藏内容请回复

爬虫文件编辑好之后，嗯，数据到管道（Pinline）了,这里只是做简单的示范，就不存数据库里面去了

1. class DoubanPipeline(object):
   
2. 
   
3.     def process_item(self, item, spider):
   
4.         String = f"{item['name'],item['comment'],item['score'],item['assess'],item['actor']}\n"
   
5.         with open("douban.csv", "a", encoding="utf-8") as f:
   
6.             f.write(String)
   
7.    
   
8.         return item

复制代码

最后记得在setting里面设置一些东西：

1. 
   
2. # Crawl responsibly by identifying yourself (and your website) on the user-agent
   
3. # 设置请求头
   
4. USER_AGENT = 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36'
   
5. 
   
6. # Obey robots.txt rules
   
7. # 不遵循协议，遵循啥都没有，QAQ
   
8. ROBOTSTXT_OBEY = False
   
9. 
   
10. # 开启定义好的数据管道
    
11. ITEM_PIPELINES = {
    
12.    'ScrapyMode.pipelines.DoubanPipeline': 300,
    
13. }
    
14. 
    

复制代码

最后关于运行。你可以选择在cmd 上进入到 项目目录里面，使用：

1. scrapy crawl Douban  # 豆瓣是我的爬虫名字，即DoubanSpider里面的name属性

复制代码

最后教一个黑科技。可以写代码运行Scrapy爬虫：

游客，如果您要查看本帖隐藏内容请回复

maogo

最近正好要爬取贴吧什么的，过来学习学习

maogo

BUG：简评和评价人数的规则搞反了

Stubborn

maogo 发表于 2020-1-9 16:03
BUG：简评和评价人数的规则搞反了

这都被你看出来了

maogo

Stubborn 发表于 2020-1-9 16:17
这都被你看出来了

我可是有认真在看  哈哈

Stubborn

maogo 发表于 2020-1-9 18:10
我可是有认真在看  哈哈

qq532401019

1

0714

666

john_sj

565221708

大佬，小弟今天刚学scrapy，遇到一个问题就是单独一个的scrapy是不是无法爬取动态数据呢，比如淘宝和百度的搜索页面进行爬取

Stubborn

565221708 发表于 2020-1-31 00:43
大佬，小弟今天刚学scrapy，遇到一个问题就是单独一个的scrapy是不是无法爬取动态数据呢，比如淘宝和百度的 ...

刚学不要爬淘宝这么劲爆的网站，百度的搜索页面是可以爬取的

老农民py

学习

ruojianzhiyin

看看

刘志佳

谢谢

wertdf

当然

天涯野客

好

小小小菜菜菜

强

KevinMiao

学习学习学习

书读纵横

学习学习

牧木学编程

学习