wangwang123 发表于 2021-11-15 21:41:26

大家还能爬新浪热搜吗?我是被封了?

url = "https://s.weibo.com/top/summary?cate=realtimehot"
header = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
                                 'Chrome/94.0.4606.81 Safari/537.36'}
request = urllib.request.Request(url,headers=header)
response = urllib.request.urlopen(request).read().decode("GBK")
print(response)

我用的就是上面的代码,但是一直出不来微博热搜的html的内容,htf-8根本就用不了。。下面是一部分

<!DOCTYPE html>
<html>
<head>
    <meta http-equiv="Content-type" content="text/html; charset=gb2312"/>
    <title>Sina Visitor System</title>
</head>
<body>
<span id="message"></span>
<script type="text/javascript" src="/js/visitor/mini_original.js?v=20161116"></script>
<script type="text/javascript">
    window.use_fp = "1" == "1"; // 是否采集设备指纹。

请问大家也是这样吗?怎么解决呢
页: [1]
查看完整版本: 大家还能爬新浪热搜吗?我是被封了?