设为首页收藏本站
切换到窄版

鱼C论坛

 找回密码
 立即注册
鱼C论坛»论坛 › 编程语言专区 › Python交流 › B站的评论爬取
返回列表 发新帖
查看: 1966|回复: 7

B站的评论爬取

[复制链接]
1248762042
发表于 2021-11-28 12:49:32 | 显示全部楼层 |阅读模式
60鱼币
爬取视频评论爬取不出来

EQCIO61TLVO13$8O}CYQ1_L.png
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

1248762042
 楼主| 发表于 2021-12-4 22:15:59 | 显示全部楼层
  1. import time
  2. import json
  3. import requests
  4. import pymysql
  5. from pyquery import  PyQuery as pq

  7. def getNum(headers):
  8.     # 获取投币、点赞、收藏数
  9.     def get_num(clsName, doc):
  10.         sign = doc(clsName)
  11.         sign.find("i").remove()
  12.         sign.find("canvas").remove()
  13.         return sign.text()
  14.     global like, coin, collect
  15.     url = "https://www.bilibili.com/video/BV1s34y1R7u9?spm_id_from=333.851.b_7265636f6d6d656e64.3"
  16.     r = requests.get(url, headers=headers)
  17.     doc = pq(r.text)

  19.     like = get_num(".like", doc)
  20.     coin = get_num(".coin", doc)
  21.     collect = get_num(".collect", doc)

  23. # 获取页面评论数据
  24. def get_html(url):

  26.     try:
  27.         r = requests.get(url, timeout=50, headers=headers)
  28.         r.raise_for_status()
  29.         r.encoding = 'utf-8'
  30.     except:
  31.         print("请求发生错误")
  32.         return None
  33.     else:
  34.         return r.text

  36. def get_comments(url):
  37.     global commentsNum
  38.     comments = []
  39.     html = get_html(url)
  40.     if not html:
  41.         return None

  43.     try:
  44.         data = json.loads(html)
  45.     except:
  46.         print("JSON数据转化错误")

  48.     num = len(data['data']['replies'])  # 获取每页评论栏的数量

  50.     if not commentsNum:
  51.         commentsNum = data['data']['cursor']['all_count']

  53.     i = 0

  55.     while i < num:

  57.         comment = data['data']['replies'][i]  # 获取每栏信息
  58.         InfoDict = {}  # 存储每组信息字典
  59.         InfoDict['用户名'] = comment['member']['uname']
  60.         InfoDict['评论内容'] = comment['content']['message']
  61.         InfoDict['rpid'] = comment['rpid']
  62.         comments.append(InfoDict)
  63.         i += 1

  65.     return comments

  67. def WriteToFile(comments):
  68.     index = 0
  69.     with open('评论.txt', 'a+', encoding='utf-8') as f:
  70.         for comment in comments:
  71.             try:
  72.                 i = 1
  73.                 error = 0
  74.                 page = 1
  75.                 index += 1
  76.                 f.write('姓名：{}\t 评论内容：{}\t rpid: {} \n'
  77.                         .format(comment['用户名'], comment['评论内容'], comment['rpid']))

  79.                 while error == 0:
  80.                     url = "https://api.bilibili.com/x/v2/reply/reply?&jsonp=jsonp&pn=" + str(i) + \
  81.                           "&type=1&oid=807015981&ps=10&root=" + str(comment['rpid']) + \
  82.                           "&_=1638614197025"
  83.                     try:
  84.                         childComments = get_comments(url)

  86.                         for childComment in childComments:
  87.                             with open('子评论.txt', 'a+', encoding='utf-8') as f1:
  88.                                     f1.write('姓名：{}\t 评论内容：{}\t rpid: {} \n'
  89.                                             .format(childComment['用户名'], childComment['评论内容'], childComment['rpid']))

  91.                         i += 1
  92.                         print("\t正在爬取第", index, "条评论", "\t第", page, "子页")
  93.                         page = page + 1
  94.                         # 降低ip被封的风险，每爬2页 就歇1秒。
  95.                         if page % 2 == 0:
  96.                             time.sleep(1)
  97.                     except:
  98.                         error = 1

  100.             except:
  101.                 print("写文件时发生错误")

  103.     print('当前页面保存完成')

  105. def main():

  107.     getNum(headers)

  109.     error = 0
  110.     page = 1
  111.     endPage = 5 # 爬取评论的页数

  113.     while error == 0 and page <= endPage:

  115.         url = "https://api.bilibili.com/x/v2/reply/main?&jsonp=jsonp&next=" + str(
  116.             page) + "&type=1&oid=807015981&mode=3&plat=1&_=1634475863039"
  117.         try:
  118.             comments = get_comments(url)
  119.             if not comments:
  120.                 raise Exception
  121.             print("正在爬取第", page, "页")
  122.             WriteToFile(comments)
  123.             page = page + 1
  124.             # 降低ip被封的风险，每爬10页 就歇5秒。
  125.             if page % 10 == 0:
  126.                 time.sleep(5)

  128.         except:
  129.             error = 1

  131.     with open("(点赞 投币 收藏 评论)总数.txt", 'a+', encoding='utf-8') as f:
  132.         f.write("点赞数:{}\t 投币数:{}\t 收藏数:{}\t 评论数:{}\n".format(like, coin, collect, commentsNum))

  134. if __name__ == '__main__':
  135.     like = 0  # 点赞总数
  136.     coin = 0  # 投币总数
  137.     collect = 0  # 收藏总数
  138.     commentsNum = 0  # 评论总数

  140.     headers = {
  141.         'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
  142.         'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) appleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36',
  143.     }

  145.     main()
复制代码
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

1248762042
 楼主| 发表于 2021-11-28 12:56:20 | 显示全部楼层
用Selenium爬取时, 爬出不出评论部分的html代码
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

suchocolate
发表于 2021-11-28 13:22:35 | 显示全部楼层
你的代码呢
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

1248762042
 楼主| 发表于 2021-11-28 16:07:21 | 显示全部楼层
suchocolate 发表于 2021-11-28 13:22
你的代码呢
  1. import  requests
  2. from requests.exceptions import RequestException
  3. import  pymysql
  4. from pyquery import  PyQuery as pq
  5. from selenium import webdriver
  6. from selenium.webdriver.common.by import By
  7. from selenium.webdriver.support.ui import WebDriverWait
  8. from selenium.webdriver.support import expected_conditions as EC

  10. def get_num(clsName, doc):
  11.     sign = doc(clsName)
  12.     sign.find("i").remove()
  13.     sign.find("canvas").remove()
  14.     return sign.text()

  16. browser = webdriver.Chrome()
  17. browser.get('https://www.bilibili.com/video/BV17P4y1V7BX?spm_id_from=333.851.b_7265636f6d6d656e64.1')
  18. wait = WebDriverWait(browser, 10)

  20. div = wait.until( EC.presence_of_element_located( (By.CSS_SELECTOR, ".comment-list") ))

  22. doc1 = pq(browser.page_source)

  24. div = doc1(".comment-list")
  25. print(div)


  28. like = get_num(".like", doc1)
  29. coin = get_num(".coin", doc1)
  30. collect = get_num(".collect", doc1)

  32. print(like, coin, collect)

  34. browser.close()


  37. def main():
  38.     pass

  40. if __name__ == '__main__':
  41.     main()
复制代码
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

1248762042
 楼主| 发表于 2021-11-28 16:08:02 | 显示全部楼层
1248762042 发表于 2021-11-28 16:07
  1. <div class="comment-list "/>
  2. 结果只有一个这个
复制代码
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

路神
发表于 2021-11-29 09:11:34 | 显示全部楼层
直接请求接口省事
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

1248762042
 楼主| 发表于 2021-12-4 22:15:25 | 显示全部楼层
  1. import time
  2. import json
  3. import requests
  4. import pymysql
  5. from pyquery import  PyQuery as pq

  7. def getNum(headers):
  8.     # 获取投币、点赞、收藏数
  9.     def get_num(clsName, doc):
  10.         sign = doc(clsName)
  11.         sign.find("i").remove()
  12.         sign.find("canvas").remove()
  13.         return sign.text()
  14.     global like, coin, collect
  15.     url = "https://www.bilibili.com/video/BV1s34y1R7u9?spm_id_from=333.851.b_7265636f6d6d656e64.3"
  16.     r = requests.get(url, headers=headers)
  17.     doc = pq(r.text)

  19.     like = get_num(".like", doc)
  20.     coin = get_num(".coin", doc)
  21.     collect = get_num(".collect", doc)

  23. # 获取页面评论数据
  24. def get_html(url):

  26.     try:
  27.         r = requests.get(url, timeout=50, headers=headers)
  28.         r.raise_for_status()
  29.         r.encoding = 'utf-8'
  30.     except:
  31.         print("请求发生错误")
  32.         return None
  33.     else:
  34.         return r.text

  36. def get_comments(url):
  37.     global commentsNum
  38.     comments = []
  39.     html = get_html(url)
  40.     if not html:
  41.         return None

  43.     try:
  44.         data = json.loads(html)
  45.     except:
  46.         print("JSON数据转化错误")

  48.     num = len(data['data']['replies'])  # 获取每页评论栏的数量

  50.     if not commentsNum:
  51.         commentsNum = data['data']['cursor']['all_count']

  53.     i = 0

  55.     while i < num:

  57.         comment = data['data']['replies'][i]  # 获取每栏信息
  58.         InfoDict = {}  # 存储每组信息字典
  59.         InfoDict['用户名'] = comment['member']['uname']
  60.         InfoDict['评论内容'] = comment['content']['message']
  61.         InfoDict['rpid'] = comment['rpid']
  62.         comments.append(InfoDict)
  63.         i += 1

  65.     return comments

  67. def WriteToFile(comments):
  68.     index = 0
  69.     with open('评论.txt', 'a+', encoding='utf-8') as f:
  70.         for comment in comments:
  71.             try:
  72.                 i = 1
  73.                 error = 0
  74.                 page = 1
  75.                 index += 1
  76.                 f.write('姓名：{}\t 评论内容：{}\t rpid: {} \n'
  77.                         .format(comment['用户名'], comment['评论内容'], comment['rpid']))

  79.                 while error == 0:
  80.                     url = "https://api.bilibili.com/x/v2/reply/reply?&jsonp=jsonp&pn=" + str(i) + \
  81.                           "&type=1&oid=807015981&ps=10&root=" + str(comment['rpid']) + \
  82.                           "&_=1638614197025"
  83.                     try:
  84.                         childComments = get_comments(url)

  86.                         for childComment in childComments:
  87.                             with open('子评论.txt', 'a+', encoding='utf-8') as f1:
  88.                                     f1.write('姓名：{}\t 评论内容：{}\t rpid: {} \n'
  89.                                             .format(childComment['用户名'], childComment['评论内容'], childComment['rpid']))

  91.                         i += 1
  92.                         print("\t正在爬取第", index, "条评论", "\t第", page, "子页")
  93.                         page = page + 1
  94.                         # 降低ip被封的风险，每爬2页 就歇1秒。
  95.                         if page % 2 == 0:
  96.                             time.sleep(1)
  97.                     except:
  98.                         error = 1

  100.             except:
  101.                 print("写文件时发生错误")

  103.     print('当前页面保存完成')

  105. def main():

  107.     getNum(headers)

  109.     error = 0
  110.     page = 1
  111.     endPage = 5 # 爬取评论的页数

  113.     while error == 0 and page <= endPage:

  115.         url = "https://api.bilibili.com/x/v2/reply/main?&jsonp=jsonp&next=" + str(
  116.             page) + "&type=1&oid=807015981&mode=3&plat=1&_=1634475863039"
  117.         try:
  118.             comments = get_comments(url)
  119.             if not comments:
  120.                 raise Exception
  121.             print("正在爬取第", page, "页")
  122.             WriteToFile(comments)
  123.             page = page + 1
  124.             # 降低ip被封的风险，每爬10页 就歇5秒。
  125.             if page % 10 == 0:
  126.                 time.sleep(5)

  128.         except:
  129.             error = 1

  131.     with open("(点赞 投币 收藏 评论)总数.txt", 'a+', encoding='utf-8') as f:
  132.         f.write("点赞数:{}\t 投币数:{}\t 收藏数:{}\t 评论数:{}\n".format(like, coin, collect, commentsNum))

  134. if __name__ == '__main__':
  135.     like = 0  # 点赞总数
  136.     coin = 0  # 投币总数
  137.     collect = 0  # 收藏总数
  138.     commentsNum = 0  # 评论总数

  140.     headers = {
  141.         'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
  142.         'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) appleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36',
  143.     }

  145.     main()
复制代码
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2025-4-30 23:36

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表