[已解决]爬微博数据

温木zou

以下是爬虫源码  求大佬帮调以下  为什么我啥也爬不下来

1. import requests
   
2. import bs4
   
3. import re
   
4. 
   
5. def open_url(url):
   
6.     headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.98 Safari/537.36'}
   
7. 
   
8.     res = requests.get(url, headers=headers)
   
9. 
   
10.     return res
    
11. 
    
12. def find_top(res):
    
13.     soup = bs4.BeautifulSoup(res.text,'html.parser')
    
14. 
    
15.     title = []
    
16.     tag = soup.find_all('a',class_='S_txt1')
    
17.     for each in tag:
    
18.         title.append(each.text)
    
19. 
    
20.     number = []
    
21.     tag = soup.find_all('span',class_='number')
    
22.     for each in tag:
    
23.         number.append(each.text)
    
24.     result = []
    
25.     length = len(number)
    
26.     for i in range(length):
    
27.         result.append(title[i] + number[i])
    
28.     return result
    
29. 
    
30. def main():
    
31.     host = 'https://d.weibo.com/231650'
    
32.     res = open_url(host)
    
33. 
    
34.     result = []
    
35. 
    
36.     result.extend(find_top(res))
    
37.     with open('wb.txt','w',encoding='utf-8') as f:
    
38.         for each in result:
    
39.             f.write(each)
    
40. 
    
41. if __name__ == '__main__':
    
42.     main()
    

复制代码

最佳答案

月排行榜 / 总排行榜

Twilight6

2020-7-6 21:00:08

温木zou 发表于 2020-7-6 19:13
python交流   极客爬虫那里

好吧，那是我的疏忽了

微博反爬比较难搞，你的代码比较简易，爬到的网站都是被反爬后的，你可以去参考这几个文章：

https://blog.csdn.net/lwgkzl/article/details/89237060

https://blog.csdn.net/qq_38316655/article/details/80671358

Ps：这些都是去年之前的了，微博应该还是会有改动的，这里面只能仅供参考了

跳转到最佳答案楼层

Twilight6

呃 ... 你headers 都小写了....

1. headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.98 Safari/537.36'}

复制代码

温木zou

Twilight6 发表于 2020-7-6 17:41
呃 ... 你headers 都小写了....

我看老污龟爬虫的代码里也是这样的呀
应该没问题的吧

cj0313

不会

Twilight6

温木zou 发表于 2020-7-6 17:46
我看老污龟爬虫的代码里也是这样的呀
应该没问题的吧

在哪？我记得必须要严格规范呀

温木zou

Twilight6 发表于 2020-7-6 18:35
在哪？我记得必须要严格规范呀

python交流   极客爬虫那里

Twilight6

温木zou 发表于 2020-7-6 19:13
python交流   极客爬虫那里

好吧，那是我的疏忽了

微博反爬比较难搞，你的代码比较简易，爬到的网站都是被反爬后的，你可以去参考这几个文章：

https://blog.csdn.net/lwgkzl/article/details/89237060

https://blog.csdn.net/qq_38316655/article/details/80671358

Ps：这些都是去年之前的了，微博应该还是会有改动的，这里面只能仅供参考了

温木zou

Twilight6 发表于 2020-7-6 21:00
好吧，那是我的疏忽了

微博反爬比较难搞，你的代码比较简易，爬到的网站都是被反爬后的，你可以 ...

有没有交反爬知识的教程  能顺便推荐下不？

Twilight6

温木zou 发表于 2020-7-7 08:14
有没有交反爬知识的教程  能顺便推荐下不？

我也不太清楚，不过可以建议你去看看 《Python 3网络爬虫开发实战》 这本书不错