[已解决]为啥我爬取搜狗页面 出错啦

R_jun

1. # _*_ coding:utf-8
   
2. # author:小军
   
3. # @Time:1/30/2021 3:12 PM
   
4. # @File:requests网页采集器.py
   
5. 
   
6. import requests
   
7. if __name__ == '__main__':
   
8. 
   
9.     headers = {'Uers_Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.96 Safari/537.36 Edg/88.0.705.53'}
   
10. 
    
11.     url = 'https://www.sogou.com/web？'
    
12. 
    
13.     content = input('请输入搜索内容：')
    
14.     param = { 'query': content }
    
15. 
    
16.     response = requests.get(url = url,params = param ,headers = headers)
    
17.     page_text = response.text
    
18. 
    
19.     FileName = content + '.html'
    
20.     with open(FileName,'w',encoding='utf-8') as fp:
    
21.         fp.write(page_text)
    
22.     print(FileName,'保存成功！')
    
23. 
    
24. 
    

复制代码

返回的  .html文件 在浏览器打开是  404 Not Found
大佬们为啥呢！！！

最佳答案

月排行榜 / 总排行榜

逃兵

2021-2-1 08:16:54

R_jun 发表于 2021-1-31 18:07
修改url之后 网页提示访问出错，是不是被反爬了

是的，被反爬了
反爬原因是爬虫伪装头部信息写错了

1. # _*_ coding:utf-8
   
2. # author:小军
   
3. # @Time:1/30/2021 3:12 PM
   
4. # @File:requests网页采集器.py
   
5. 
   
6. import requests
   
7. if __name__ == '__main__':
   
8. 
   
9.     headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.96 Safari/537.36 Edg/88.0.705.53'}
   
10. 
    
11.     url = 'https://www.sogou.com/web'
    
12. 
    
13.     content = input('请输入搜索内容：')
    
14.     param = { 'query': content }
    
15. 
    
16.     response = requests.get(url = url,params = param ,headers = headers)
    
17.     page_text = response.text
    
18. 
    
19.     FileName = content + '.html'
    
20.     with open(FileName,'w',encoding='utf-8') as fp:
    
21.         fp.write(page_text)
    
22.     print(FileName,'保存成功！')
    
23. 
    
24. 
    

复制代码

跳转到最佳答案楼层

逃兵

爬虫必须保证url是正确的
代码中url

1. url = 'https://www.sogou.com/web？'

复制代码

你的url直接从网页打开就是404
爬出来也是404
你改一下url吧

1. url = 'https://www.sogou.com/web'

复制代码

南归

你url的问号是中文的

R_jun

逃兵 发表于 2021-1-31 10:43
爬虫必须保证url是正确的
代码中url
你的url直接从网页打开就是404

修改url之后 网页提示访问出错，是不是被反爬了

笨鸟学飞

你是想url+搜索内容爬取既定搜索内容吧？
有几个错误：
1、url错误
2、Uers_Agent错误，应该是User-Agent
======具体做法=======
打开搜狗网站，F12检查，点network，搜索任意关键字，例如甲鱼
看到第2条，是get请求
Request URL: https://www.sogou.com/sogou?query=%E7%94%B2%E9%B1%BC&pid=sogou-site-b02d46e8a3d8d9fd
query: 甲鱼
pid: sogou-site-b02d46e8a3d8d9fd
==测试url
https://www.sogou.com/sogou?query=甲鱼
顺利打开
==写代码
url = 'https://www.sogou.com/sogou'  # 带字典访问是不需要?的
headers = ……  # 记得修改正确
其他代码没大问题

逃兵

R_jun 发表于 2021-1-31 18:07
修改url之后 网页提示访问出错，是不是被反爬了

是的，被反爬了
反爬原因是爬虫伪装头部信息写错了

1. # _*_ coding:utf-8
   
2. # author:小军
   
3. # @Time:1/30/2021 3:12 PM
   
4. # @File:requests网页采集器.py
   
5. 
   
6. import requests
   
7. if __name__ == '__main__':
   
8. 
   
9.     headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.96 Safari/537.36 Edg/88.0.705.53'}
   
10. 
    
11.     url = 'https://www.sogou.com/web'
    
12. 
    
13.     content = input('请输入搜索内容：')
    
14.     param = { 'query': content }
    
15. 
    
16.     response = requests.get(url = url,params = param ,headers = headers)
    
17.     page_text = response.text
    
18. 
    
19.     FileName = content + '.html'
    
20.     with open(FileName,'w',encoding='utf-8') as fp:
    
21.         fp.write(page_text)
    
22.     print(FileName,'保存成功！')
    
23. 
    
24. 
    

复制代码