田憨憨 发表于 2021-3-7 13:58:49

爬虫方面遇到的问题 求大神解答

import urllib.request
from bs4 import BeautifulSoup

def getHtml(url):
    html = urllib.request.urlopen(url).read()
    soup = BeautifulSoup(html,'lxml')
    print(soup.prettify())


if __name__ == '__main__':
    getHtml("https://gleaming.cn/2021/02/13/Why-two-survivor-spaces/")


上面这一段代码我可以得到正确的结果
而下面这一段我改用requests库，但是运行结果是http error 418，在网上查到的解决方案都是千篇一律要加headers，但是我代码中原本就有，求大神解答我的问题

from bs4 import BeautifulSoup
import requests


def gethtml(url):
    headers = {
      'User-Agent': "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.190 Safari/537.36"
    }
    response = requests.get(url, headers=headers)
    if response.status_code == 200:
      return response.text
    return None


def parsehtml(html):
    soup = BeautifulSoup(html, 'lxml')
    print(soup.prettify())


if __name__ == '__main__':
    url = "https://gleaming.cn/2021/02/13/Why-two-survivor-spaces/"
    html = gethtml(url)
    parsehtml(html)

逃兵 发表于 2021-3-9 11:00:11

你爬多了，被认定为攻击，暂时加黑名单了

你间隔时间长点再试试

田憨憨 发表于 2021-3-10 18:17:26

逃兵 发表于 2021-3-9 11:00
你爬多了，被认定为攻击，暂时加黑名单了

你间隔时间长点再试试

谢谢大佬
页: [1]
查看完整版本: 爬虫方面遇到的问题 求大神解答