[已解决]爬虫

kygschp

有没有老哥知道下面的代码出了啥问题，返回的是一个空列表

import requests
import bs4

url = 'https://www.ewi-psy.fu-berlin.de/en/mitarbeiterliste/index.html?show=profs'

headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.54 Safari/537.36'}

response = requests.get(url, headers=headers)

soup = bs4.BeautifulSoup(response.text, 'html.parser')

url_targets = soup.find_all('div', class_=('box-staff-list-table-name', 'col-s-12', 'col-l-4'))

最佳答案

月排行榜 / 总排行榜

suchocolate

2021-10-31 23:29:08

真正的数据在ajax response里。

1. import requests
   
2. from bs4 import BeautifulSoup
   
3. 
   
4. 
   
5. def main():
   
6.     # 基础信息
   
7.     basic_url = 'https://www.ewi-psy.fu-berlin.de'
   
8.     url = 'https://www.ewi-psy.fu-berlin.de/en/mitarbeiterliste/index.html?show=profs'
   
9.     headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)'}
   
10.     ajax_headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)',
    
11.                     'X-Requested-With': 'XMLHttpRequest',
    
12.                     'Referer': 'https://www.ewi-psy.fu-berlin.de/en/mitarbeiterliste/index.html?show=profs'}
    
13. 
    
14.     # 获取ajax url
    
15.     r = requests.get(url, headers=headers)
    
16.     soup = BeautifulSoup(r.text, 'html.parser')
    
17.     ajax_url = soup.find_all('div', class_="cms-box-ajax-content")[1]['data-ajax-url']
    
18. 
    
19.     # 合成正式 url
    
20.     url = f'{basic_url}{ajax_url}'
    
21.    
    
22.     # 查找div
    
23.     r = requests.get(url, headers=ajax_headers)
    
24.     soup = BeautifulSoup(r.text, 'html.parser')
    
25.     url_targets = soup.find_all('div', class_=('box-staff-list-table-name', 'col-s-12', 'col-l-4'))
    
26.     print(url_targets)
    
27. 
    
28. 
    
29. if __name__ == "__main__":
    
30.     main()
    

复制代码

跳转到最佳答案楼层

suchocolate

真正的数据在ajax response里。

1. import requests
   
2. from bs4 import BeautifulSoup
   
3. 
   
4. 
   
5. def main():
   
6.     # 基础信息
   
7.     basic_url = 'https://www.ewi-psy.fu-berlin.de'
   
8.     url = 'https://www.ewi-psy.fu-berlin.de/en/mitarbeiterliste/index.html?show=profs'
   
9.     headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)'}
   
10.     ajax_headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)',
    
11.                     'X-Requested-With': 'XMLHttpRequest',
    
12.                     'Referer': 'https://www.ewi-psy.fu-berlin.de/en/mitarbeiterliste/index.html?show=profs'}
    
13. 
    
14.     # 获取ajax url
    
15.     r = requests.get(url, headers=headers)
    
16.     soup = BeautifulSoup(r.text, 'html.parser')
    
17.     ajax_url = soup.find_all('div', class_="cms-box-ajax-content")[1]['data-ajax-url']
    
18. 
    
19.     # 合成正式 url
    
20.     url = f'{basic_url}{ajax_url}'
    
21.    
    
22.     # 查找div
    
23.     r = requests.get(url, headers=ajax_headers)
    
24.     soup = BeautifulSoup(r.text, 'html.parser')
    
25.     url_targets = soup.find_all('div', class_=('box-staff-list-table-name', 'col-s-12', 'col-l-4'))
    
26.     print(url_targets)
    
27. 
    
28. 
    
29. if __name__ == "__main__":
    
30.     main()
    

复制代码

kygschp

suchocolate 发表于 2021-10-31 23:29
真正的数据在ajax response里。

竟然还可以这样，但是我想找的内容只有div class="box-staff-list-table-name col-s-12 col-l-4"，这里爬出来的内容还包括div class="box-staff-list-table-phone col-s-12 col-l-2"、div class="box-staff-list-table-link col-s-12 col-l-3这些不相关的内容，请问这是怎么回事呢

suchocolate

kygschp 发表于 2021-11-1 21:40
竟然还可以这样，但是我想找的内容只有div class="box-staff-list-table-name col-s-12 col-l-4"，这里爬 ...

那你改成这个试试

1. url_targets = soup.find_all('div', class_="box-staff-list-table-name")

复制代码

我只是参考你的语法，并不清楚你想爬的具体内容。

kygschp

suchocolate 发表于 2021-11-1 22:06
那你改成这个试试
我只是参考你的语法，并不清楚你想爬的具体内容。

可以了，感谢大佬，太强了