[已解决]为啥我爬取搜狗页面 出错啦

R_jun

# _*_ coding:utf-8
# author:小军
# @Time:1/30/2021 3:12 PM
# @File:requests网页采集器.py

import requests
if __name__ == '__main__':

    headers = {'Uers_Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.96 Safari/537.36 Edg/88.0.705.53'}

    url = 'https://www.sogou.com/web？'

    content = input('请输入搜索内容：')
    param = { 'query': content }

    response = requests.get(url = url,params = param ,headers = headers)
    page_text = response.text

    FileName = content + '.html'
    with open(FileName,'w',encoding='utf-8') as fp:
        fp.write(page_text)
    print(FileName,'保存成功！')

返回的  .html文件 在浏览器打开是  404 Not Found
大佬们为啥呢！！！

最佳答案

月排行榜 / 总排行榜

逃兵

2021-2-1 08:16:54

R_jun 发表于 2021-1-31 18:07
修改url之后 网页提示访问出错，是不是被反爬了

是的，被反爬了
反爬原因是爬虫伪装头部信息写错了

# _*_ coding:utf-8
# author:小军
# @Time:1/30/2021 3:12 PM
# @File:requests网页采集器.py

import requests
if __name__ == '__main__':

    headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.96 Safari/537.36 Edg/88.0.705.53'}

    url = 'https://www.sogou.com/web'

    content = input('请输入搜索内容：')
    param = { 'query': content }

    response = requests.get(url = url,params = param ,headers = headers)
    page_text = response.text

    FileName = content + '.html'
    with open(FileName,'w',encoding='utf-8') as fp:
        fp.write(page_text)
    print(FileName,'保存成功！')

跳转到最佳答案楼层

逃兵

爬虫必须保证url是正确的
代码中url

url = 'https://www.sogou.com/web？'

你的url直接从网页打开就是404
爬出来也是404
你改一下url吧

url = 'https://www.sogou.com/web'

南归

你url的问号是中文的

R_jun

逃兵 发表于 2021-1-31 10:43
爬虫必须保证url是正确的
代码中url
你的url直接从网页打开就是404

修改url之后 网页提示访问出错，是不是被反爬了

笨鸟学飞

你是想url+搜索内容爬取既定搜索内容吧？
有几个错误：
1、url错误
2、Uers_Agent错误，应该是User-Agent
======具体做法=======
打开搜狗网站，F12检查，点network，搜索任意关键字，例如甲鱼
看到第2条，是get请求
Request URL: https://www.sogou.com/sogou?query=%E7%94%B2%E9%B1%BC&pid=sogou-site-b02d46e8a3d8d9fd
query: 甲鱼
pid: sogou-site-b02d46e8a3d8d9fd
==测试url
https://www.sogou.com/sogou?query=甲鱼
顺利打开
==写代码
url = 'https://www.sogou.com/sogou'  # 带字典访问是不需要?的
headers = ……  # 记得修改正确
其他代码没大问题

逃兵

R_jun 发表于 2021-1-31 18:07
修改url之后 网页提示访问出错，是不是被反爬了

是的，被反爬了
反爬原因是爬虫伪装头部信息写错了

# _*_ coding:utf-8
# author:小军
# @Time:1/30/2021 3:12 PM
# @File:requests网页采集器.py

import requests
if __name__ == '__main__':

    headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.96 Safari/537.36 Edg/88.0.705.53'}

    url = 'https://www.sogou.com/web'

    content = input('请输入搜索内容：')
    param = { 'query': content }

    response = requests.get(url = url,params = param ,headers = headers)
    page_text = response.text

    FileName = content + '.html'
    with open(FileName,'w',encoding='utf-8') as fp:
        fp.write(page_text)
    print(FileName,'保存成功！')