[已解决]【小白爬虫问题】转换各式

liuzhengyuan

这个网站登进去的时候好像是要用鼠标手动点一下屏幕才可以正式登上。

liuzhengyuan

加一个cookie 参数就好了

1. from requests import get
   
2. headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.5060.134 Safari/537.36 Edg/103.0.1264.77"
   
3.         ,"cookie":cookie
   
4.          }
   
5. res = get("https://s.weibo.com/top/summary?cate=realtimehot", headers = headers)
   
6. print(res.text)

复制代码

liuzhengyuan

hello? 发表于 2022-8-7 00:16
好像不对头

好像cookie加不加都可以，去掉还是可以打印出来

第八行不懂。。。网页采取的编码一般都是 utf8
第九行就是获取 lxml
还是得加 cookie，不然微博有反爬，中途可以print一下soup的类型，就知道soup是什么了（就是bs4的类）
然后是可以正常使用的

1. import requests
   
2. from bs4 import BeautifulSoup
   
3. 
   
4. url="https://s.weibo.com/top/summary?cate=realtimehot"
   
5. headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.5060.134 Safari/537.36 Edg/103.0.1264.77",
   
6.          "cookie":cookie}
   
7. 
   
8. response=requests.get(url,headers=headers)
   
9. content = response.text
   
10. soup=BeautifulSoup(content,'lxml')
    
11. print(type(soup)) # <class 'bs4.BeautifulSoup'>
    
12. for i in soup.find_all("td", class_ = "td-02"):
    
13.     print(i.a.text)

复制代码

liuzhengyuan

hello? 发表于 2022-8-7 01:25
我似乎找到答案了，应该是将utf-8改为gbk

可以！