soup 中选择器的问题

1564641461

1. import urllib.request
   
2. import urllib.parse
   
3. from bs4 import BeautifulSoup
   
4. 
   
5. class ZLspider(object):
   
6.     url = 'https://sou.zhaopin.com/?'
   
7.     def __init__(self, jl, kw, start_page, end_page):
   
8.         self.jl = jl
   
9.         self.kw = kw
   
10.         self.start_page = start_page
    
11.         self.end_page = end_page
    
12.     # 拼接url 生成请求对象
    
13.     def handle_request(self, page):
    
14.         data = {
    
15.             'p': page,
    
16.             'jl': self.jl,
    
17.             'kw': self.kw
    
18.         }
    
19.         headers = {
    
20.             'user - agent': 'Mozilla / 5.0(Windows NT 10.0;WOW64) AppleWebKit / 537.36(KHTML, likeGecko) Chrome / 69.0.3947.100Safari / 537.36'
    
21.         }
    
22.         url_now = self.url + urllib.parse.urlencode(data) #self.url
    
23.         request = urllib.request.Request(url=url_now, headers=headers)
    
24.         return request
    
25.     # 解析内容函数
    
26.     def parse_content(self, content):
    
27.         #生成对象
    
28.         soup = BeautifulSoup(content, 'lxml')
    
29.         # 获取每一个职位信息
    
30.         zhiwei_list = soup.select(".contentpile__content__wrapper clearfix")
    
31.         print(zhiwei_list)
    
32.         print(len(zhiwei_list))
    
33.     # 爬取程序
    
34.     def run(self):
    
35.         # 循环爬取每一页数据
    
36.         for page in range(self.start_page, self.end_page + 1):
    
37.             request = self.handle_request(page)
    
38.             # 发送请求，获取内容
    
39.             content = urllib.request.urlopen(request).read().decode()
    
40.             # 解析内容
    
41.             self.parse_content(content)
    
42. 
    
43. 
    
44. def main():
    
45.     # url所需要的相关参数
    
46.     jl = input('请输入工作地点:')
    
47.     kw = input('请输入工作职位:')
    
48.     start_page = int(input('请输入起始页码:'))
    
49.     end_page = int(input('请输入结束页码:'))
    
50. 
    
51.     # 创建对象启动爬虫程序
    
52.     spider = ZLspider(jl, kw, start_page, end_page)
    
53.     spider.run()
    
54. 
    
55. 
    
56. if __name__ == '__main__':
    
57.     main()

复制代码

问题在def parse_content()中 我使用soup.selct('.contentpile__content__wrapper clearfix') 返回的列表是空值 麻烦大佬给看看

qiuyouzhi

1. 请用代码格式发代码！

复制代码

一个账号

qiuyouzhi 发表于 2020-3-7 19:02

已改

qiuyouzhi

一个账号 发表于 2020-3-7 19:06
已改

666
我看下

1564641461

qiuyouzhi 发表于 2020-3-7 19:02

不好意思，第一次发，有点不太熟练

一个账号

1564641461 发表于 2020-3-7 19:16
不好意思，第一次发，有点不太熟练

我已经帮你改了