爬取b站视频数据的时候，换了个网址就报错了

拽猫的尾巴

两个url：

url1：https://s.search.bilibili.com/ca ... mp;time_to=20210924

url2：https://s.search.bilibili.com/ca ... mp;time_to=20210924

两个url就cate_id不一样，一个171，一个172

url1不报错，url2报错，我把pagesize改成5又不报错了，然后新建一个文件测试 play_data2(url) 这个函数，pagesize=100 也没报错，不知道什么情况


代码：

1. 
   
2. import requests
   
3. import json
   
4. import time
   
5. import random
   
6. import pandas as pd
   
7. import re
   
8. 
   
9. def play_data1(number):
   
10.     headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3314.0 Safari/537.36 SE 2.X MetaSr 1.0'}
    
11.     url = 'https://www.bilibili.com/video/%s'%number
    
12.     res = requests.get(url, headers = headers).text
    
13. 
    
14.     '''
    
15.     播放量：view
    
16.     弹幕：danmaku
    
17.     点赞：like
    
18.     投币：coin
    
19.     收藏：favorite
    
20.     分享：share
    
21.     '''
    
22. 
    
23.     r = re.findall(r'"stat":\{"aid":.*?\}', res)
    
24.     r = str(r)
    
25. 
    
26. 
    
27.     view = re.findall(r'"view":(.*?),', r)
    
28.     danmaku = re.findall(r'"danmaku":(.*?),', r)
    
29.     like = re.findall(r'"like":(.*?),', r)
    
30.     coin = re.findall(r'"coin":(.*?),', r)
    
31.     favorite = re.findall(r'"favorite":(.*?),', r)
    
32.     share = re.findall(r'"share":(.*?),', r)
    
33.     d = {
    
34.         '播放量': view[0],
    
35.         '弹幕': danmaku[0],
    
36.         '点赞': like[0],
    
37.         '投币': coin[0],
    
38.         '收藏': favorite[0],
    
39.         '分享': share[0]
    
40.     }
    
41.     return d
    
42. 
    
43. def play_data2(url):
    
44.     headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3314.0 Safari/537.36 SE 2.X MetaSr 1.0'}
    
45. 
    
46.     res = requests.get(url, headers=headers).text
    
47. 
    
48.     r1 = res.encode('utf-8').decode('unicode_escape')
    
49.     r2 = re.findall(r'\{"senddate":[\s\S]*?\}', r1)
    
50. 
    
51.     l = []
    
52.     for i in r2:
    
53.         i_json = json.loads(i, strict = False)
    
54.         l.append({
    
55.             'title': i_json['title'],
    
56.             'arcurl': i_json['arcurl'],
    
57.             'bvid': i_json['bvid'],
    
58.             'author': i_json['author'],
    
59.             'pubdate': i_json['pubdate'],
    
60.             'tag': i_json['tag'],
    
61.             'review': i_json['review'],
    
62.             'duration': i_json['duration']
    
63.         })
    
64. 
    
65.     return l
    
66. 
    
67. def merge_data(url):
    
68.     l = play_data2(url)
    
69. 
    
70.     for l_1 in l:
    
71.         print(1)
    
72.         d = play_data1(l_1['bvid'])
    
73.         l_1.update(d)
    
74.         time.sleep(random.randint(1, 3))
    
75. 
    
76.     dd = {'title':[],
    
77.           'arcurl':[],
    
78.           'bvid':[],
    
79.           'author':[],
    
80.           'pubdate':[],
    
81.           'tag':[],
    
82.           'review':[],
    
83.           'duration':[],
    
84.           "播放量":[],
    
85.           "弹幕":[],
    
86.           "点赞":[],
    
87.           "投币":[],
    
88.           "收藏":[],
    
89.           "分享":[], }
    
90.     for l_2 in l:
    
91.         dd['title'].append(l_2['title'])
    
92.         dd['arcurl'].append(l_2['arcurl'])
    
93.         dd['bvid'].append(l_2['bvid'])
    
94.         dd['author'].append(l_2['author'])
    
95.         dd['pubdate'].append(l_2['pubdate'])
    
96.         dd['tag'].append(l_2['tag'])
    
97.         dd['review'].append(l_2['review'])
    
98.         dd['duration'].append(l_2['duration'])
    
99.         dd["播放量"].append(l_2["播放量"])
    
100.         dd["弹幕"].append(l_2["弹幕"])
     
101.         dd["点赞"].append(l_2["点赞"])
     
102.         dd["投币"].append(l_2["投币"])
     
103.         dd["收藏"].append(l_2["收藏"])
     
104.         dd["分享"].append(l_2["分享"])
     
105. 
     
106.     return dd
     
107. 
     
108. def convert_dic_to_dataframe(dic):
     
109.     data = pd.DataFrame(dic)
     
110.     data.to_csv(r'手机游戏.csv', encoding="utf_8_sig")
     
111. 
     
112. url = 'https://s.search.bilibili.com/cate/search?main_ver=v3&search_type=video&view_type=hot_rank&order=click&copy_right=-1&cate_id=172&page=1&pagesize=100&jsonp=jsonp&time_from=20210917&time_to=20210924'
     
113. 
     
114. convert_dic_to_dataframe(merge_data(url))
     

复制代码

suchocolate

有个评论的字符画里有反斜杠，导致报错了。

拽猫的尾巴

suchocolate 发表于 2021-9-24 17:48
有个评论的字符画里有反斜杠，导致报错了。

是json.loads(str)里不能有反斜杆吗？

拽猫的尾巴

suchocolate 发表于 2021-9-24 17:48
有个评论的字符画里有反斜杠，导致报错了。

但是这样可以爬取视频数据

1. import requests
   
2. import re
   
3. import json
   
4. 
   
5. headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3314.0 Safari/537.36 SE 2.X MetaSr 1.0'}
   
6. url = 'https://s.search.bilibili.com/cate/search?main_ver=v3&search_type=video&view_type=hot_rank&order=click&copy_right=-1&cate_id=172&page=100&pagesize=5&jsonp=jsonp&time_from=20210917&time_to=20210924'
   
7. 
   
8. def play_data2(url):
   
9.     headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3314.0 Safari/537.36 SE 2.X MetaSr 1.0'}
   
10. 
    
11.     res = requests.get(url, headers=headers).text
    
12. 
    
13.     r1 = res.encode('utf-8').decode('unicode_escape')
    
14.     r2 = re.findall(r'\{"senddate":[\s\S]*?\}', r1)
    
15. 
    
16.     l = []
    
17.     for i in r2:
    
18.         i_json = json.loads(i, strict = False)
    
19.         l.append({
    
20.             'title': i_json['title'],
    
21.             'arcurl': i_json['arcurl'],
    
22.             'bvid': i_json['bvid'],
    
23.             'author': i_json['author'],
    
24.             'pubdate': i_json['pubdate'],
    
25.             'tag': i_json['tag'],
    
26.             'review': i_json['review'],
    
27.             'duration': i_json['duration']
    
28.         })
    
29. 
    
30.     return l
    
31. print(play_data2(url))

复制代码