R_jun 发表于 2021-1-30 18:18:48

为啥我爬取搜狗页面 出错啦

# _*_ coding:utf-8
# author:小军
# @Time:1/30/2021 3:12 PM
# @File:requests网页采集器.py

import requests
if __name__ == '__main__':

    headers = {'Uers_Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.96 Safari/537.36 Edg/88.0.705.53'}

    url = 'https://www.sogou.com/web？'

    content = input('请输入搜索内容：')
    param = { 'query': content }

    response = requests.get(url = url,params = param ,headers = headers)
    page_text = response.text

    FileName = content + '.html'
    with open(FileName,'w',encoding='utf-8') as fp:
      fp.write(page_text)
    print(FileName,'保存成功！')




返回的.html文件 在浏览器打开是404 Not Found
大佬们为啥呢！！！

逃兵 发表于 2021-1-31 10:43:55

爬虫必须保证url是正确的
代码中urlurl = 'https://www.sogou.com/web？'
你的url直接从网页打开就是404
爬出来也是404
你改一下url吧
url = 'https://www.sogou.com/web'

南归 发表于 2021-1-31 13:41:56

你url的问号是中文的

R_jun 发表于 2021-1-31 18:07:58

逃兵 发表于 2021-1-31 10:43
爬虫必须保证url是正确的
代码中url
你的url直接从网页打开就是404


修改url之后 网页提示访问出错，是不是被反爬了{:10_285:}

笨鸟学飞 发表于 2021-1-31 23:12:10

你是想url+搜索内容爬取既定搜索内容吧？
有几个错误：
1、url错误
2、Uers_Agent错误，应该是User-Agent
======具体做法=======
打开搜狗网站，F12检查，点network，搜索任意关键字，例如甲鱼
看到第2条，是get请求
Request URL: https://www.sogou.com/sogou?query=%E7%94%B2%E9%B1%BC&pid=sogou-site-b02d46e8a3d8d9fd
query: 甲鱼
pid: sogou-site-b02d46e8a3d8d9fd
==测试url
https://www.sogou.com/sogou?query=甲鱼
顺利打开
==写代码
url = 'https://www.sogou.com/sogou'# 带字典访问是不需要?的
headers = ……# 记得修改正确
其他代码没大问题

逃兵 发表于 2021-2-1 08:16:54

R_jun 发表于 2021-1-31 18:07
修改url之后 网页提示访问出错，是不是被反爬了

是的，被反爬了
反爬原因是爬虫伪装头部信息写错了
# _*_ coding:utf-8
# author:小军
# @Time:1/30/2021 3:12 PM
# @File:requests网页采集器.py

import requests
if __name__ == '__main__':

    headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.96 Safari/537.36 Edg/88.0.705.53'}

    url = 'https://www.sogou.com/web'

    content = input('请输入搜索内容：')
    param = { 'query': content }

    response = requests.get(url = url,params = param ,headers = headers)
    page_text = response.text

    FileName = content + '.html'
    with open(FileName,'w',encoding='utf-8') as fp:
      fp.write(page_text)
    print(FileName,'保存成功！')


页: [1]
查看完整版本: 为啥我爬取搜狗页面 出错啦