[已解决]定义爬虫爬取范围时，无需https://或http://吗？？？

lzb1001

import scrapy


class Dmoztools_spider(scrapy.Spider):
    name = 'Dmoztools'
    allowed_domains = ['dmoztools.net'] # 无需https://或http://吗？？？
    start_urls = [ # 将爬取的url加入列表
        'http://dmoztools.net/Computers/Programming/Languages/Python/Books/',
        'http://dmoztools.net/Computers/Programming/Languages/Python/Resources/'
    ]

最佳答案

月排行榜 / 总排行榜

isdkz

2022-5-7 19:01:29

url 才会带上协议，domain 是域名的意思，所以写域名就行了

跳转到最佳答案楼层

qq1151985918

这个还真没深入研究过，就是ssl协议问题，大多数不加应该没影响吧。不过一般我们明确知道的时候还是加上，反正复制粘贴

isdkz

url 才会带上协议，domain 是域名的意思，所以写域名就行了