翻页爬取微博标题

小小鹏 · 发表于 2020-9-9 10:06:01

您需要登录才可以下载或查看，没有账号？立即注册

x

import requests
import bs4
import re
def open_url(url):
headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.98 Safari/537.36'}
res = requests.get(url = url,headers=headers)
return res
def find_title(res):
soup = bs4.BeautifulSoup(res.text,"html.parser")
title = []
targets = soup.find_all("div",class_= "WB_text W_f14")
for each in targets:
title.append(each.a.text)
result = []
length = len(title)
for i in range(length):
result.append(title[i]+ '\n')
return result
def find_depth(res):
soup = bs4.BeautifulSoup(res.text, 'html.parser')
depth = soup.find('a', class_='page next S_txt1 S_line1').previous_sibling.previous_sibling.text
return int(depth)
def main():
host = "https://weibo.com/rmrb?is_all=1&stat_date=202001&page=1#feedtop"
res = open_url(host)
depth = find_depth(res)
result = []
for i in range(depth):
url = "https://weibo.com/rmrb?is_all=1&stat_date=202001&page="+ str(i+1)+"#feedtop"
res = open_url(url)
result.extend(find_title(res))
with open("新闻标题.txt", "w", encoding="utf-8") as f:
for each in result:
f.write(each)
if __name__ == "__main__":
main()

复制代码

想翻页爬取微博标题，但是运行提示我报错，要怎么修改呢，soup没怎么学会

登录/注册后可看大图

疾风怪盗 · 发表于 2020-9-9 10:15:19

https://m.weibo.cn/api/container/getIndex?type=uid&value=2803301701&containerid=1076032803301701
获取这里的JSON数据，更方便

suchocolate · 发表于 2020-9-9 10:19:15

微博需要先登录，你从浏览器复制你的cookie加到headers里再说吧。

1q23w31 · 发表于 2020-9-9 10:19:48

soup 没有找到对象，所以报错，

zy88888 · 发表于 2020-9-9 10:27:21

还要学很久才能学到这

小小鹏 · 发表于 2020-9-9 10:31:47

1q23w31 发表于 2020-9-9 10:19
soup 没有找到对象，所以报错，

所以我才想问怎么用soup来找到对象

1q23w31 · 发表于 2020-9-9 10:45:08

本帖最后由 1q23w31 于 2020-9-9 11:29 编辑

小小鹏发表于 2020-9-9 10:31
所以我才想问怎么用soup来找到对象

找到了，问题如下：微博获取翻页的元素，涉及到ajax动态加载，只有加载到这一页结束后，才会出现相应元素，

第二点：微博的翻页不是靠点击页面的数字标签来实现的，而是一个文字标签“下一页”，无法获取到下一页的页码

suchocolate · 发表于 2020-9-9 11:44:08

小小鹏发表于 2020-9-9 10:31
所以我才想问怎么用soup来找到对象

说了得先登录

小小鹏 · 发表于 2020-9-9 14:32:36

suchocolate 发表于 2020-9-9 11:44
说了得先登录

已经把headers写好了

小小鹏 · 发表于 2020-9-9 14:33:14

疾风怪盗发表于 2020-9-9 10:15
https://m.weibo.cn/api/container/getIndex?type=uid&value=2803301701&containerid=1076032803301701
获 ...

好的，我试试，谢谢

suchocolate · 发表于 2020-9-9 14:33:25

小小鹏发表于 2020-9-9 14:32
已经把headers写好了

没看到，你的headers里还是没有cookie，也没有单独挂cookie。

疾风怪盗 · 发表于 2020-9-9 16:59:00

小小鹏 · 发表于 2020-9-9 17:31:58

1q23w31 发表于 2020-9-9 10:45
找到了，问题如下：微博获取翻页的元素，涉及到ajax动态加载，只有加载到这一页结束后，才会出现相应元 ...

好的我试着解决谢谢

账号		自动登录	找回密码
密码			立即注册