soup 中选择器的问题

1564641461

import urllib.request
import urllib.parse
from bs4 import BeautifulSoup

class ZLspider(object):
    url = 'https://sou.zhaopin.com/?'
    def __init__(self, jl, kw, start_page, end_page):
        self.jl = jl
        self.kw = kw
        self.start_page = start_page
        self.end_page = end_page
    # 拼接url 生成请求对象
    def handle_request(self, page):
        data = {
            'p': page,
            'jl': self.jl,
            'kw': self.kw
        }
        headers = {
            'user - agent': 'Mozilla / 5.0(Windows NT 10.0;WOW64) AppleWebKit / 537.36(KHTML, likeGecko) Chrome / 69.0.3947.100Safari / 537.36'
        }
        url_now = self.url + urllib.parse.urlencode(data) #self.url
        request = urllib.request.Request(url=url_now, headers=headers)
        return request
    # 解析内容函数
    def parse_content(self, content):
        #生成对象
        soup = BeautifulSoup(content, 'lxml')
        # 获取每一个职位信息
        zhiwei_list = soup.select(".contentpile__content__wrapper clearfix")
        print(zhiwei_list)
        print(len(zhiwei_list))
    # 爬取程序
    def run(self):
        # 循环爬取每一页数据
        for page in range(self.start_page, self.end_page + 1):
            request = self.handle_request(page)
            # 发送请求，获取内容
            content = urllib.request.urlopen(request).read().decode()
            # 解析内容
            self.parse_content(content)


def main():
    # url所需要的相关参数
    jl = input('请输入工作地点:')
    kw = input('请输入工作职位:')
    start_page = int(input('请输入起始页码:'))
    end_page = int(input('请输入结束页码:'))

    # 创建对象启动爬虫程序
    spider = ZLspider(jl, kw, start_page, end_page)
    spider.run()


if __name__ == '__main__':
    main()

问题在def parse_content()中 我使用soup.selct('.contentpile__content__wrapper clearfix') 返回的列表是空值 麻烦大佬给看看

qiuyouzhi

请用代码格式发代码！

一个账号

qiuyouzhi 发表于 2020-3-7 19:02

已改

qiuyouzhi

一个账号 发表于 2020-3-7 19:06
已改

666
我看下

1564641461

qiuyouzhi 发表于 2020-3-7 19:02

不好意思，第一次发，有点不太熟练

一个账号

1564641461 发表于 2020-3-7 19:16
不好意思，第一次发，有点不太熟练

我已经帮你改了