[已解决]scrapy爬虫抓取问题

中了毒的dhf

1. # -*- coding: utf-8 -*-
   
2. import scrapy
   
3. from tutorial.items import DemzItem
   
4. 
   
5. 
   
6. class DmozSpider(scrapy.Spider):
   
7.     name = 'dmoz'
   
8.     allowed_domains = ['dmoz.org']
   
9.     start_urls = [
   
10.         'https://www.dmoztools.net/Computers/Programming/Languages/Python/Books/',
    
11.         'https://www.dmoztools.net/Computers/Programming/Languages/Python/Resources/'
    
12.         ]
    
13. 
    
14.     def parse(self, response):
    
15.         sel = scrapy.selector.Selector(response)
    
16.         sites = sel.xpath('//div/div/div[@class="title-and-desc"]')
    
17.         items = []
    
18.         for site in sites:
    
19.             item = DemzItem()
    
20.             item['title'] = site.xpath('a/div/text()').extract()
    
21.             item['link'] = site.xpath('div[@class="site-descr "]/text()').extract()
    
22.             item['desc'] = site.xpath('a/@href').extract()
    
23.             items.append(item)
    
24. 
    
25.         return items
    

复制代码

我想问一下上面代码中allowed_domains = ['dmoz.org']改成[‘dmoztools.net’]为什么就爬不了东西？只有填dmoz.org才行？不是说[]里面要填正确的域名么？上面是小甲鱼python零基础第63课——Scrapy框架的代码

最佳答案

月排行榜 / 总排行榜

qiuyouzhi

2020-2-29 12:16:02

应该是dmoztools.net的证书有问题

跳转到最佳答案楼层

qiuyouzhi

应该是dmoztools.net的证书有问题