关于scrapy crawlspider

fan1993423

塔利班 发表于 2018-12-13 11:21
爬虫方面我感觉真不是大佬，我觉得楼上的和幽梦三影都可以，多线程爬取吧，
最近事情比较多，本人还得 ...

好吧

zyj321321312

归类的话用导航页http://news.sina.com.cn/guide/。我的思路就是你爬一次导航页把类别归好，然后就是文章页的url匹配到细分类中的一个，把它塞过去就好了。

fan1993423

zyj321321312 发表于 2018-12-13 13:19
归类的话用导航页http://news.sina.com.cn/guide/。我的思路就是你爬一次导航页把类别归好，然后就是文章页 ...

归类我倒是实现了，就是如何将文章页放到小类里，我弄得很头疼，我用的是scrapy crawlspider来写的

1. class XlSpider(CrawlSpider):
   
2.     name = 'xl'
   
3.     #allowed_domains = ['https://www.sina.com.cn/']
   
4.     start_urls = ['https://www.sina.com.cn/']
   
5. 
   
6.     rules = (Rule(LinkExtractor(allow=r'https://www.sina.com.cn/'), callback='parse_parent', follow=False),
   
7.              Rule(LinkExtractor(restrict_xpaths='//div[@class="main-nav"]/div[@class!="nav-mod-1 nav-w nav-hasmore"]/ul/li[position()>1]'), follow=True),
   
8.              Rule(LinkExtractor(allow='https:.+\.shtml'),follow=True,callback='parse_article'))
   
9.     def parse_parent(self, response):
   
10.         item = XinlangItem()
    
11.         a=response.xpath('//div[@class="main-nav"]/div[@class!="nav-mod-1 nav-w nav-hasmore"]/ul')
    
12.         for each in a:
    
13.             li1title=each.xpath('./li[1]/a/b/text()').extract()[0]
    
14.             li2title = each.xpath('./li[2]/a/text()').extract()[0]
    
15.             li3title = each.xpath('./li[3]/a/text()').extract()[0]
    
16.             li4title = each.xpath('./li[4]/a/text()').extract()[0]
    
17.             pname='e:/小爬爬成果/新浪/'+li1title
    
18.             li1url=each.xpath('./li[1]/a/@href').extract()[0]
    
19.             li2url = each.xpath('./li[2]/a/@href').extract()[0]
    
20.             li3url = each.xpath('./li[3]/a/@href').extract()[0]
    
21.             li4url = each.xpath('./li[4]/a/@href').extract()[0]
    
22.             if not os.path.exists(pname):
    
23.                 os.makedirs(pname+'/'+li2title)
    
24.                 os.makedirs(pname+'/'+li3title)
    
25.                 os.makedirs(pname+'/'+li4title)
    
26.             item['parent_title']=li1title
    
27.             item['sub_title']=li2title+','+li3title+','+li4title
    
28.             item['parent_url']=li1url
    
29.             item['son_url']=li2url+','+li3url+','+li4url
    
30.             yield item
    
31.     def parse_article(self, response):
    
32.         item = XinlangItem()
    
33.         item['head']=response.xpath('//h1[@class="main-title"]/text()').extract()[0]
    
34.         b=response.xpath('//div[@id="article"]/p/text()').extract()
    
35.         content=''
    
36.         for each in b:
    
37.             content+=each
    
38.         item['content']=content
    
39.         yield item
    

复制代码

这是我写的，要不你也写一下吧，看了代码就一清二楚了