[已解决]Python爬虫练习——爬取QQ音乐精彩评论（编码问题请高人指点！）

Omed

2020年2月17日，采用Requests模块以及正则表达式完成了一次爬虫练习…

爬取QQ音乐精彩评论代码如下（欢迎各位指正）：

1. import requests
   
2. import re
   
3. 
   
4. #获取网页源代码
   
5. def get_code(url):
   
6.     headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:73.0)"
   
7.                              " Gecko/20100101 Firefox/73.0"}
   
8.     return requests.get(url, headers=headers).text
   
9. 
   
10. 
    
11. #从原网页中提取songid
    
12. song_url=input('请输入QQ音乐网页版网址（https://y.qq.com/n/yqq/song/x.html形式）：')
    
13. song_doc = get_code(song_url)
    
14. id = re.findall('"songid":(.*?),"',song_doc)[0]
    
15. name = re.findall('songname":"(.*?)"',song_doc)[0]
    
16. tgt = int(input('请输入需要爬取的页数：'))
    
17. #从js文件中提取评论
    
18. list = []      #防止评论重复
    
19. num = 0
    
20. for number in range(1,tgt):
    
21.     comment_url = "https://c.y.qq.com/base/fcgi-bin/fcg_global_comment_h5.fcg?g_tk" \
    
22.                   "=5381&loginUin=0&hostUin=0&format=jsonp&inCharset=utf8&outCharset" \
    
23.                   "=GB2312¬ice=0&platform=yqq&needNewCode=0&cid=205360772&reqtype" \
    
24.                   "=2&biztype=1&topid=%s&cmd=6&needmusiccrit=0&pagenum=%d&pagesize=" \
    
25.                   "15&ct=24&cv=10101010"%(id,number)
    
26.     comment_doc = get_code(comment_url)
    
27.     targets = re.findall('"rootcommentcontent":"(.*?)"',comment_doc)
    
28.     for each in targets:
    
29.         each = re.sub(r"([em](.*?)[/em])|(\\n)|(\\)|[|]",'',each)
    
30.         if each in list:
    
31.             pass
    
32.         else:
    
33.             file = open('热门评论\\'+name+'.txt', 'a')
    
34.             try:
    
35.                 num += 1
    
36.                 num_st = str(num)
    
37.                 list.append(each)
    
38.                 each = re.sub('\[|\]', '', each)
    
39.                 file.write('编号'+num_st+' '+each+'\n')
    
40.                 print('第'+num_st+'个评论已爬取！')
    
41.                 file.close()
    
42.             except Exception as err:
    
43.                 print(err)
    
44.     print('爬取成功！请查看当先文件夹下歌名文本!')
    

复制代码

有时候会出现这样的错误——

1. 'gbk' codec can't encode character '\xb4' in position 23:
   
2. illegal multibyte sequence

复制代码

看来应该是编码的问题，但未找到解决方案…

最佳答案

月排行榜 / 总排行榜

zltzlt

2020-2-17 21:02:39

Omed 发表于 2020-2-17 21:02

这样试试：

1. import requests
   
2. import re
   
3. 
   
4. #获取网页源代码
   
5. def get_code(url):
   
6.     headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:73.0)"
   
7.                              " Gecko/20100101 Firefox/73.0"}
   
8.     return requests.get(url, headers=headers).content.decode("utf-8")
   
9. 
   
10. 
    
11. #从原网页中提取songid
    
12. song_url=input('请输入QQ音乐网页版网址（https://y.qq.com/n/yqq/song/x.html形式）：')
    
13. song_doc = get_code(song_url)
    
14. id = re.findall('"songid":(.*?),"',song_doc)[0]
    
15. name = re.findall('songname":"(.*?)"',song_doc)[0]
    
16. tgt = int(input('请输入需要爬取的页数：'))
    
17. #从js文件中提取评论
    
18. list = []      #防止评论重复
    
19. num = 0
    
20. for number in range(1,tgt):
    
21.     comment_url = "https://c.y.qq.com/base/fcgi-bin/fcg_global_comment_h5.fcg?g_tk" \
    
22.                   "=5381&loginUin=0&hostUin=0&format=jsonp&inCharset=utf8&outCharset" \
    
23.                   "=GB2312¬ice=0&platform=yqq&needNewCode=0&cid=205360772&reqtype" \
    
24.                   "=2&biztype=1&topid=%s&cmd=6&needmusiccrit=0&pagenum=%d&pagesize=" \
    
25.                   "15&ct=24&cv=10101010"%(id,number)
    
26.     comment_doc = get_code(comment_url)
    
27.     targets = re.findall('"rootcommentcontent":"(.*?)"',comment_doc)
    
28.     for each in targets:
    
29.         each = re.sub(r"([em](.*?)[/em])|(\\n)|(\\)|[|]",'',each)
    
30.         if each in list:
    
31.             pass
    
32.         else:
    
33.             file = open('热门评论\\'+name+'.txt', 'a', encoding="utf-8")    # 修改
    
34.             try:
    
35.                 num += 1
    
36.                 num_st = str(num)
    
37.                 list.append(each)
    
38.                 each = re.sub(r'\[|\]', '', each)
    
39.                 file.write('编号'+num_st+' '+each+'\n')
    
40.                 print('第'+num_st+'个评论已爬取！')
    
41.                 file.close()
    
42.             except Exception as err:
    
43.                 print(err)
    
44.     print('爬取成功！请查看当先文件夹下歌名文本!')

复制代码

跳转到最佳答案楼层

zltzlt

1. import requests
   
2. import re
   
3. 
   
4. #获取网页源代码
   
5. def get_code(url):
   
6.     headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:73.0)"
   
7.                              " Gecko/20100101 Firefox/73.0"}
   
8.     return requests.get(url, headers=headers).content.decode("utf-8")
   
9. 
   
10. 
    
11. #从原网页中提取songid
    
12. song_url=input('请输入QQ音乐网页版网址（https://y.qq.com/n/yqq/song/x.html形式）：')
    
13. song_doc = get_code(song_url)
    
14. id = re.findall('"songid":(.*?),"',song_doc)[0]
    
15. name = re.findall('songname":"(.*?)"',song_doc)[0]
    
16. tgt = int(input('请输入需要爬取的页数：'))
    
17. #从js文件中提取评论
    
18. list = []      #防止评论重复
    
19. num = 0
    
20. for number in range(1,tgt):
    
21.     comment_url = "https://c.y.qq.com/base/fcgi-bin/fcg_global_comment_h5.fcg?g_tk" \
    
22.                   "=5381&loginUin=0&hostUin=0&format=jsonp&inCharset=utf8&outCharset" \
    
23.                   "=GB2312¬ice=0&platform=yqq&needNewCode=0&cid=205360772&reqtype" \
    
24.                   "=2&biztype=1&topid=%s&cmd=6&needmusiccrit=0&pagenum=%d&pagesize=" \
    
25.                   "15&ct=24&cv=10101010"%(id,number)
    
26.     comment_doc = get_code(comment_url)
    
27.     targets = re.findall('"rootcommentcontent":"(.*?)"',comment_doc)
    
28.     for each in targets:
    
29.         each = re.sub(r"([em](.*?)[/em])|(\\n)|(\\)|[|]",'',each)
    
30.         if each in list:
    
31.             pass
    
32.         else:
    
33.             file = open('热门评论\\'+name+'.txt', 'a')
    
34.             try:
    
35.                 num += 1
    
36.                 num_st = str(num)
    
37.                 list.append(each)
    
38.                 each = re.sub(r'\[|\]', '', each)
    
39.                 file.write('编号'+num_st+' '+each+'\n')
    
40.                 print('第'+num_st+'个评论已爬取！')
    
41.                 file.close()
    
42.             except Exception as err:
    
43.                 print(err)
    
44.     print('爬取成功！请查看当先文件夹下歌名文本!')

复制代码

Omed

zltzlt 发表于 2020-2-17 19:37

1.     return requests.get(url, headers=headers).content.decode("utf-8")

复制代码

这一行代码修改过后依然会出现这样的情况...

1. 'gbk' codec can't encode character '\u200b' in position 129: illegal multibyte sequence

复制代码

还是谢谢惹！

zltzlt

Omed 发表于 2020-2-17 20:57
这一行代码修改过后依然会出现这样的情况...

还是谢谢惹！

把完整报错信息发上来。

Omed

zltzlt 发表于 2020-2-17 20:58
把完整报错信息发上来。

1. C:\Users\asus\AppData\Local\Programs\Python\Python37\python.exe C:/Users/asus/Desktop/爬虫/爬取网易云音乐热门评论/comment.py
   
2. 请输入QQ音乐网页版网址（https://y.qq.com/n/yqq/song/x.html形式）：https://y.qq.com/n/yqq/song/003BkIIU2kGTDn.html  
   
3. 请输入需要爬取的页数：20
   
4. Traceback (most recent call last):
   
5.   File "C:/Users/asus/Desktop/爬虫/爬取网易云音乐热门评论/comment.py", line 37, in <module>
   
6.     file.write('编号'+num_st+' '+each+'\n')
   
7. UnicodeEncodeError: 'gbk' codec can't encode character '\xb4' in position 61: illegal multibyte sequence
   
8. 
   
9. Process finished with exit code 1

复制代码

zltzlt

Omed 发表于 2020-2-17 21:02

这样试试：

1. import requests
   
2. import re
   
3. 
   
4. #获取网页源代码
   
5. def get_code(url):
   
6.     headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:73.0)"
   
7.                              " Gecko/20100101 Firefox/73.0"}
   
8.     return requests.get(url, headers=headers).content.decode("utf-8")
   
9. 
   
10. 
    
11. #从原网页中提取songid
    
12. song_url=input('请输入QQ音乐网页版网址（https://y.qq.com/n/yqq/song/x.html形式）：')
    
13. song_doc = get_code(song_url)
    
14. id = re.findall('"songid":(.*?),"',song_doc)[0]
    
15. name = re.findall('songname":"(.*?)"',song_doc)[0]
    
16. tgt = int(input('请输入需要爬取的页数：'))
    
17. #从js文件中提取评论
    
18. list = []      #防止评论重复
    
19. num = 0
    
20. for number in range(1,tgt):
    
21.     comment_url = "https://c.y.qq.com/base/fcgi-bin/fcg_global_comment_h5.fcg?g_tk" \
    
22.                   "=5381&loginUin=0&hostUin=0&format=jsonp&inCharset=utf8&outCharset" \
    
23.                   "=GB2312&#172;ice=0&platform=yqq&needNewCode=0&cid=205360772&reqtype" \
    
24.                   "=2&biztype=1&topid=%s&cmd=6&needmusiccrit=0&pagenum=%d&pagesize=" \
    
25.                   "15&ct=24&cv=10101010"%(id,number)
    
26.     comment_doc = get_code(comment_url)
    
27.     targets = re.findall('"rootcommentcontent":"(.*?)"',comment_doc)
    
28.     for each in targets:
    
29.         each = re.sub(r"([em](.*?)[/em])|(\\n)|(\\)|[|]",'',each)
    
30.         if each in list:
    
31.             pass
    
32.         else:
    
33.             file = open('热门评论\\'+name+'.txt', 'a', encoding="utf-8")    # 修改
    
34.             try:
    
35.                 num += 1
    
36.                 num_st = str(num)
    
37.                 list.append(each)
    
38.                 each = re.sub(r'\[|\]', '', each)
    
39.                 file.write('编号'+num_st+' '+each+'\n')
    
40.                 print('第'+num_st+'个评论已爬取！')
    
41.                 file.close()
    
42.             except Exception as err:
    
43.                 print(err)
    
44.     print('爬取成功！请查看当先文件夹下歌名文本!')

复制代码

Omed

zltzlt 发表于 2020-2-17 21:02
这样试试：

这样可以的！非常感谢！