Requests爬虫问题

shenshuai

大佬们，我现在要用Requests包去爬一个网址，这个网址需要登录密码之后才可以爬取。我现在已经完成了登录操作，但是我发现在爬取出来的数据是有问题的，我最需要的数据无法爬取出来，如下图所示：


这是我的代码：


想问一下大佬们该如何解决？

suchocolate

你这不是提取出来了吗

Stubborn

但是我发现在爬取出来的数据是有问题的，我最需要的数据无法爬取出来，如下图所示：


需要的数据请求不到？还是什么问题？最后打印的响应请求文本没有需要的数据？？

suchocolate

我最需要的数据无法爬取出来，如下图所示：

红框里不就是你最需要的数据吗，不然你标红框干嘛？

shenshuai

suchocolate 发表于 2020-5-30 23:18
红框里不就是你最需要的数据吗，不然你标红框干嘛？

不是的，红框里显示告诉我，因为我的浏览器无法显示json数据，这是一段提示话。我真正需要的数据没有给我显示出来

kaohsing

我猜是这样：用session登录，然后用session去请求真是的数据网址

suchocolate

shenshuai 发表于 2020-5-31 00:25
不是的，红框里显示告诉我，因为我的浏览器无法显示json数据，这是一段提示话。我真正需要的数据没有给我 ...

headers调用试试

18307521742

1、登录后把请求头“Referer”带上
2、好好分析你要的数据的响应体是访问的哪个url

nahongyan1997

是.js文件还没有渲染出来，用selenium模块配合chromed driver加上谷歌浏览器就可以获取到渲染后的页面， 用switch_frame函数切换到你想要爬取的框架，就可以read到你想要获得的数据。

nahongyan1997

1. # 此脚本需要配合谷歌浏览器与谷歌驱动
   
2. # 作者：那宏岩
   
3. 
   
4. 
   
5. import urllib.request
   
6. import re
   
7. from selenium import webdriver
   
8. from selenium.webdriver.chrome.options import Options
   
9. def search(music=None,singer=None):
   
10.     if not music and not singer:
    
11.         raise ImportError('参数错误！！')
    
12.    
    
13.     if not music:
    
14.         name = singer
    
15.     else:
    
16.         name = music
    
17.    
    
18.     chrome_opt = Options()      # 创建参数设置对象.
    
19.     chrome_opt.add_argument('--headless')   # 无界面化.
    
20. #    chrome_opt.add_argument('--disable-gpu')    # 配合上面的无界面化.
    
21. 
    
22.     driver = webdriver.Chrome(chrome_options = chrome_opt,executable_path=r'C:\CLOUD Artification Intelligence\extanded_function\chromedriver.exe')
    
23.     driver.get('https://music.163.com/#/search/m/?s=' + name)
    
24.     driver.switch_to.frame('g_iframe')
    
25.     music_list = re.findall(r'<a href="/song\?id=(\d*)"><b title="(.*?)">',driver.page_source)
    
26.     singer_list = re.findall(r'<a href="/artist\?id=\d*">(.*?)</a>',driver.page_source)
    
27.     driver.quit()
    
28.     music_num = len(music_list)
    
29.     download_list = list()
    
30.     if singer:
    
31.         for i in range(music_num):
    
32.             if singer in singer_list[i]:
    
33.                 download_list.append(music_list[i]+(singer_list[i],))
    
34.     else:
    
35.         for i in range(music_num):
    
36.             download_list.append(music_list[i]+(singer_list[i],))
    
37.             
    
38.     print(download_list)
    
39.         
    
40.     down_load_sign = input(r'开始下载吗?[Y\N]:')
    
41.     if down_load_sign == 'Y':
    
42.         for each_music in download_list:
    
43.             print(f'{each_music[1]}-{each_music[2]}.mp3正在下载！')
    
44.             urllib.request.urlretrieve(f'http://music.163.com/song/media/outer/url?id={each_music[0]}.mp3',f'C:\\CLOUD Artification Intelligence\\clouddata\\Sound\\{each_music[1]}-{each_music[2]}.mp3')
    
45.             print(f'{each_music[1]}-{each_music[2]}.mp3下载完成！')
    
46.         
    
47.             
    
48. 
    
49. if __name__ == '__main__':
    
50.     while True:
    
51.         music_name = input('请输入歌曲名:')
    
52.         singer_name = input('请输入歌手名:')
    
53.         search(music_name,singer_name)
    
54. 
    

复制代码

nahongyan1997

你可以看看我这个代码，本来是一个爬取网易云音乐的代码，里面包含了selenium的用法。改一改就可以在你的程序里使用了。

nahongyan1997

1. # 此脚本需要配合谷歌浏览器与谷歌驱动
   
2. # 作者：那宏岩
   
3. 
   
4. 
   
5. import urllib.request
   
6. import re
   
7. from selenium import webdriver
   
8. from selenium.webdriver.chrome.options import Options
   
9. def search(music=None,singer=None):
   
10.     if not music and not singer:
    
11.         raise ImportError('参数错误！！')
    
12.    
    
13.     if not music:
    
14.         name = singer
    
15.     else:
    
16.         name = music
    
17.    
    
18.     chrome_opt = Options()      # 创建参数设置对象.
    
19.     chrome_opt.add_argument('--headless')   # 无界面化.
    
20. #    chrome_opt.add_argument('--disable-gpu')    # 配合上面的无界面化.
    
21. 
    
22.     driver = webdriver.Chrome(chrome_options = chrome_opt,executable_path=r'C:\CLOUD Artification Intelligence\extanded_function\chromedriver.exe')
    
23.     driver.get('https://music.163.com/#/search/m/?s=' + name)
    
24.     driver.switch_to.frame('g_iframe')
    
25.     music_list = re.findall(r'<a href="/song\?id=(\d*)"><b title="(.*?)">',driver.page_source)
    
26.     singer_list = re.findall(r'<a href="/artist\?id=\d*">(.*?)</a>',driver.page_source)
    
27.     driver.quit()
    
28.     music_num = len(music_list)
    
29.     download_list = list()
    
30.     if singer:
    
31.         for i in range(music_num):
    
32.             if singer in singer_list[i]:
    
33.                 download_list.append(music_list[i]+(singer_list[i],))
    
34.     else:
    
35.         for i in range(music_num):
    
36.             download_list.append(music_list[i]+(singer_list[i],))
    
37.             
    
38.     print(download_list)
    
39.         
    
40.     down_load_sign = input(r'开始下载吗?[Y\N]:')
    
41.     if down_load_sign == 'Y':
    
42.         for each_music in download_list:
    
43.             print(f'{each_music[1]}-{each_music[2]}.mp3正在下载！')
    
44.             urllib.request.urlretrieve(f'http://music.163.com/song/media/outer/url?id={each_music[0]}.mp3',f'C:\\CLOUD Artification Intelligence\\clouddata\\Sound\\{each_music[1]}-{each_music[2]}.mp3')
    
45.             print(f'{each_music[1]}-{each_music[2]}.mp3下载完成！')
    
46.         
    
47.             
    
48. 
    
49. if __name__ == '__main__':
    
50.     while True:
    
51.         music_name = input('请输入歌曲名:')
    
52.         singer_name = input('请输入歌手名:')
    
53.         search(music_name,singer_name)
    
54. 
    

复制代码

shenshuai

nahongyan1997 发表于 2020-5-31 12:49

好的，我看看哈

xiaosi4081

用selenium不香吗？

shenshuai

xiaosi4081 发表于 2020-6-1 16:27
用selenium不香吗？

不方便，我有上千个网页要爬，每个都要跟手动模式一样打开网页再点半天，肯定是不行的。要不然就是什么无头浏览器，那个写起来过于麻烦

均昊山

hearers 加下cookie 看看，或者私信QQ，帮你瞅瞅

陈尚涵

shenshuai 发表于 2020-6-1 16:55
不方便，我有上千个网页要爬，每个都要跟手动模式一样打开网页再点半天，肯定是不行的。要不然就是什么无 ...

这可是个大数据啊