求各位大神指点，关于scrapy爬虫返回403错误的问题

tmc81

请问下我在学习scrapy进行爬取是，返回了Crawled (403)错误信息，我在网上查了资料说是采用了防爬技术，需要设置用户代理，请问下应该怎么设置用户代理？多谢！
2017-07-01 23:00:30 [scrapy.core.engine] DEBUG: Crawled (403) <GET http://www.dm
oz.org/Computers/Programming/Languages/Python/Resources/> (referer: None)


我用的书上的代码
import scrapy

class DmozSpider(scrapy.Spider):
    name = "dmoz"
    allowed_domains = ["dmoz.org"]
    start_urls = [
        "http://www.dmoz.org/Computers/Programming/Languages/Python/Books/",
        "http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/"
    ]

    def parse(self,response):
        filename = response.url.split("/")[ -2]
        with open(filename,'wb') as f:
            f.write(response.body)

yongxi

小甲鱼的视频教程里面有关于如何防止被封的内容，不仅仅限于代理。请仔细观看

tmc81

好的，谢谢！

tmc81

yongxi 发表于 2017-7-2 00:03
小甲鱼的视频教程里面有关于如何防止被封的内容，不仅仅限于代理。请仔细观看

请问下能麻烦发下小甲鱼的视频教程的链接吗？我看了论坛里的链接都找不到小甲鱼的视频教程，多谢！

yongxi

tmc81 发表于 2017-7-2 10:25
请问下能麻烦发下小甲鱼的视频教程的链接吗？我看了论坛里的链接都找不到小甲鱼的视频教程，多谢！

http://blog.fishc.com/category/python/spider

所有爬虫和正则表达式的教程都在这里