scrapy爬虫案例~-~ 进入fishc学习python至今挺久啦，主要学习爬虫今天分享一下

温木zou

爬虫文件

1. import scrapy
   
2. from fishc.items import FishcItem
   
3. class FcSpider(scrapy.Spider):
   
4.     name = 'fc'
   
5.     allowed_domains = ['fishc.com']
   
6.     start_urls = ['https://fishc.com.cn/forum.php?mod=guide']
   
7.     def parse(self, response):
   
8.         selectors = response.xpath('//*[@id="threadlist"]/div[2]/table/tbody')
   
9.         for i in selectors:
   
10.             item=FishcItem()
    
11.             item['name']=i.xpath('./tr/th/a/text()').get()
    
12.             item['type']=i.xpath('./tr/td[2]/a/text()').get()
    
13.             item['writer']=i.xpath('./tr/td[3]/cite/a/text()').get()
    
14.             item['time']=i.xpath('./tr/td[3]/em/span').xpath('string(.)').get().replace('\xa0','')
    
15.             item['views']=i.xpath('./tr/td[4]/a/text()').get()
    
16.             yield item

复制代码

item文件

1. import scrapy
   
2. class FishcItem(scrapy.Item):
   
3.     name=scrapy.Field()
   
4.     type=scrapy.Field()
   
5.     writer=scrapy.Field()
   
6.     time=scrapy.Field()
   
7.     views=scrapy.Field()

复制代码

管道文件1 #这里我是使用pymysql存入数据库的,没有mysql的自己安装哦
没有pymysql的也可以使用下面的一个管道，是存入csv文件的

1. import pymysql
   
2. 
   
3. class FishcPipeline(object):
   
4.     def __init__(self):
   
5.         self.db = pymysql.connect(host='localhost', user='root', passwd='123456', db='zhuaba')
   
6.         self.cursor = self.db.cursor()
   
7.         self.cursor.execute("delete from fishc")
   
8.         self.db.commit()
   
9.     def process_item(self, item, spider):
   
10. 
    
11.         insert_sql="insert into fishc(name,type,writer,time,views) values(%s,%s,%s,%s,%s)"
    
12.         data = {
    
13.             'name' : item['name'],
    
14.             'type' : item['type'],
    
15.             'writer' : item['writer'],
    
16.             'time' : item['time'],
    
17.             'views' : item['views']
    
18.         }
    
19.         # name =  pymysql.escape_string(data['name'])
    
20.         try:
    
21.             self.cursor.execute(insert_sql,(data['name'],data['type'],data['writer'],data['time'],data['views']))
    
22.             self.db.commit()
    
23.         except Exception as e:
    
24.             print('问题数据跳过！.......', e)
    
25.             self.db.rollback()
    
26. 
    
27.         return item
    
28.     def close_spider(self, spider):
    
29.         self.cursor.close()
    
30.         self.db.close()

复制代码

管道文件2 #存入入csv文件  这个要有csv 没有的也请安装下。

1. import csv
   
2. class FishcPipeline(object):
   
3.     def __init__(self):
   
4.         self.file = open('fishc.csv', 'w', newline='')
   
5.         self.csvwriter = csv.writer(self.file)
   
6.         self.csvwriter.writerow(['name', 'type', 'writer', 'time','views'])
   
7. 
   
8.     def process_item(self, item, spider):
   
9.         self.csvwriter.writerow([item['name'], item['type'],
   
10.                                  item['writer'], item['time'],item['views']])
    
11.         return item
    
12. 
    
13.     def close_spider(self, spider):
    
14.         self.file.close()

复制代码

最后提醒一下everbody  记得把setting文件里的爬虫协议改成false
并且打开管道

爬虫协议

打开管道

且看结果
存入数据库

mysql

存入csv文件

csv文件

源码我也放上来了，可以自己下过去瞅瞅。
因为是爬fishc.com的  我怕
fishc.zip (11.31 KB, 下载次数: 29)

2020-12-3 14:52 上传

点击文件名下载附件
scrapy框架源码

兄弟们悠着点，我怕帖子被甲鱼删了
请别瞎搞

不懂就评论问

疾风怪盗

厉害，膜拜大佬

咸蛋蛋

大佬

jayleom

可以有

hornwong

感谢分享！

v.ki

可以可以

545208057

感谢

胡鸣谦

厉害

心驰神往

强

奋斗者4

感谢分享！

weiter

大佬牛皮！
寻思着只要不过分使用问题不大

1336069416

+

不完美小孩

1

李际豪

大佬

叼辣条闯世界

大佬

苏穆大人

1336069416 发表于 2020-12-4 20:33
+

优秀啊

mhxy199069

感觉相当牛逼的样子，膜拜

兢兢

殃及池鱼

XiaoPaiShen

厉害厉害

bhcqzf

大佬厉害