[已解决]零基础python63讲scrapy示例，但是结果不一样

sww-python

域名用的是中国联通，url用的是联通的两个子网页，在scrapy crawl edu时，域名和url均出现了404
在scrapy shell“url”时，针对url同时出现了404和200
不知道为什么会这样，谢谢！

最佳答案

月排行榜 / 总排行榜

小甲鱼

2017-7-16 22:50:04

根目录下没有存放 robots.txt 自然就是 404 咯~

跳转到最佳答案楼层

小甲鱼

根目录下没有存放 robots.txt 自然就是 404 咯~

sww-python

小甲鱼 发表于 2017-7-16 22:50
根目录下没有存放 robots.txt 自然就是 404 咯~

robots.txt怎么用？
视频中好像没讲这一点，我不太懂。是我需要放置吗？为什么视频中没放置？谢谢小甲鱼

sww-python

小甲鱼 发表于 2017-7-16 22:50
根目录下没有存放 robots.txt 自然就是 404 咯~

能不能模拟百度的爬虫去抓取页面啊？甲鱼哥

小甲鱼

sww-python 发表于 2017-7-16 22:57
robots.txt怎么用？
视频中好像没讲这一点，我不太懂。是我需要放置吗？为什么视频中没放置？谢谢小甲鱼 ...

网站通过 robots.txt 文件指定搜索引擎只收录指定的内容，默认情况下 robots.txt 文件应该放在网站根目录下，爬虫会根据这个文档进行判断抓取哪些“合法”，哪些“非法”。但有些网站为了安全考虑，它并没有放置 robots.txt 文件……

参考 -> https://baike.baidu.com/item/robot.txt