小小鹏 发表于 2020-9-9 10:06:01

翻页爬取微博标题

import requests
import bs4
import re

def open_url(url):
    headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.98 Safari/537.36'}
    res = requests.get(url = url,headers=headers)
    return res

def find_title(res):
    soup = bs4.BeautifulSoup(res.text,"html.parser")

    title = []
    targets = soup.find_all("div",class_= "WB_text W_f14")
    for each in targets:
      title.append(each.a.text)


    result = []
    length = len(title)
    for i in range(length):
      result.append(title+ '\n')

    return result

def find_depth(res):
    soup = bs4.BeautifulSoup(res.text, 'html.parser')
    depth = soup.find('a', class_='page next S_txt1 S_line1').previous_sibling.previous_sibling.text
    return int(depth)

def main():
    host = "https://weibo.com/rmrb?is_all=1&stat_date=202001&page=1#feedtop"
    res = open_url(host)
    depth = find_depth(res)

    result = []
    for i in range(depth):
      url = "https://weibo.com/rmrb?is_all=1&stat_date=202001&page="+ str(i+1)+"#feedtop"
      res = open_url(url)
      result.extend(find_title(res))

    with open("新闻标题.txt", "w", encoding="utf-8") as f:
      for each in result:
            f.write(each)
   
if __name__ == "__main__":
    main()


想翻页爬取微博标题，但是运行提示我报错，要怎么修改呢，soup没怎么学会
https://pic.downk.cc/item/5f583878160a154a67d35ba0.jpg

疾风怪盗 发表于 2020-9-9 10:15:19

https://m.weibo.cn/api/container/getIndex?type=uid&value=2803301701&containerid=1076032803301701
获取这里的JSON数据，更方便

suchocolate 发表于 2020-9-9 10:19:15

微博需要先登录，你从浏览器复制你的cookie加到headers里再说吧。

1q23w31 发表于 2020-9-9 10:19:48

soup 没有找到对象，所以报错，

zy88888 发表于 2020-9-9 10:27:21

还要学很久才能学到这

小小鹏 发表于 2020-9-9 10:31:47

1q23w31 发表于 2020-9-9 10:19
soup 没有找到对象，所以报错，

所以我才想问怎么用soup来找到对象

1q23w31 发表于 2020-9-9 10:45:08

本帖最后由 1q23w31 于 2020-9-9 11:29 编辑

小小鹏 发表于 2020-9-9 10:31
所以我才想问怎么用soup来找到对象

找到了，问题如下：微博获取翻页的元素，涉及到ajax动态加载，只有加载到这一页结束后，才会出现相应元素，

第二点：微博的翻页不是靠点击页面的数字标签来实现的，而是一个文字标签“下一页”，无法获取到 下一页的页码

suchocolate 发表于 2020-9-9 11:44:08

小小鹏 发表于 2020-9-9 10:31
所以我才想问怎么用soup来找到对象

说了得先登录

小小鹏 发表于 2020-9-9 14:32:36

suchocolate 发表于 2020-9-9 11:44
说了得先登录

已经把headers写好了

小小鹏 发表于 2020-9-9 14:33:14

疾风怪盗 发表于 2020-9-9 10:15
https://m.weibo.cn/api/container/getIndex?type=uid&value=2803301701&containerid=1076032803301701
获 ...

好的，我试试，谢谢

suchocolate 发表于 2020-9-9 14:33:25

小小鹏 发表于 2020-9-9 14:32
已经把headers写好了

没看到，你的headers里还是没有cookie，也没有单独挂cookie。

疾风怪盗 发表于 2020-9-9 16:59:00

https://fishc.com.cn/thread-179792-1-1.html
看看这个，这样去爬

小小鹏 发表于 2020-9-9 17:31:58

1q23w31 发表于 2020-9-9 10:45
找到了，问题如下：微博获取翻页的元素，涉及到ajax动态加载，只有加载到这一页结束后，才会出现相应元 ...

好的我试着解决谢谢
页: [1]
查看完整版本: 翻页爬取微博标题