猎聘爬虫循环爬取信息中途出错

熊猫竹子

1.我用了playwright爬取猎聘的腾讯公司的招聘信息，下面时我的程序的前半部分。
问题：在爬取的时候能爬取列表中的前两条信息，到第三条的时候显示Keyerro错误如下:
                Traceback (most recent call last):
  File "C:\Users\AAA\PycharmProjects\pythonProject\爬虫\猎聘\猎聘爬虫.py", line 163, in <module>
    spiders_liepin(page_sta, page_end)
  File "C:\Users\AAA\PycharmProjects\pythonProject\爬虫\猎聘\猎聘爬虫.py", line 69, in spiders_liepin
    data_promid = a.find('a').attrs['data-promid']
        KeyError: 'data-promid'

我回去检测网页代码的时候发现关键词时对的，这是为什么呢？怎么解决啊

1. 
   
2.     # 导入关键词--------------------------------------------------------------------------------------------------------------------------------------------
   
3.     for i in col:
   
4.         kw.append(i.value)
   
5.     for k in kw:
   
6.         page1.goto('https://c.liepin.com/',
   
7.             wait_until='domcontentloaded')
   
8.         page1.wait_for_timeout(5000)
   
9.         page1.get_by_placeholder("搜索职位/公司/内容关键词").fill(k)
   
10.         page1.get_by_placeholder("搜索职位/公司/内容关键词").press("Enter")
    
11.         page1.wait_for_timeout(1000)
    
12.         #判断关键词——————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————
    
13.         if page1.get_by_role('button',name='进入公司主页').is_enabled():
    
14.             with page1.expect_popup() as popup_info:
    
15.                 page1.get_by_role('button',name='进入公司主页').click()
    
16.             page2 = popup_info.value
    
17.             page2.wait_for_timeout(1000)
    
18.             p2 = BeautifulSoup(page2.content(), 'html.parser')
    
19.             joblist_link = p2.find('div',attrs={'class':'company-header-content-tab clearfix'}).find('a').find_next('a').attrs['href']
    
20.             page2.goto(joblist_link)
    
21.             page2.wait_for_timeout(5000)
    
22.     #翻页---------------------------------------------------------------------------------------------------------------------------------------
    
23.             for page_num in range(page_sta,page_end):
    
24.                 p2 = BeautifulSoup(page2.content(), 'html.parser')
    
25.                 for a in p2.find_all('div',attrs={'class':'job-detail-box'}):
    
26.                     href = a.find('a').attrs['href']
    
27.                     data_promid = a.find('a').attrs['data-promid']
    
28.                     detail_page = href +'?'+data_promid
    
29.     # -----------提取详情页信息--------------------------------------------------------------------------------------------------
    
30.                     page3.goto(detail_page)
    
31.                     page3.wait_for_timeout(5000)
    
32.                     d = BeautifulSoup(page3.content(), "html.parser")
    
33.                     job_name = d.find('span', attrs={'class': 'name ellipsis-1'}).text
    
34.                     job_comp = k
    
35.                     job_salary = d.find('span', attrs={'class': 'salary'}).text
    
36.                     detail = d.find('dd', attrs={'data-selector': 'job-intro-content'}).text
    
37.                     detail_tag = d.find('div', attrs={'class': 'job-properties'}).find_all('span')
    
38.                     detail_sum = d.find('div', attrs={'class': 'tag-box'}).text
    
39.                     tag = []
    
40.                     data = [job_name, job_comp, job_salary, detail_page, detail, detail_sum]
    
41.                     for t in detail_tag:
    
42.                         tag.append(t.text)
    
43.                     data.extend(tag)
    
44.                     # ---------------保存数据-----------------------------------------------------------------------------------------------------------------
    
45.                     sheet.append(data)
    
46.                     Data.append(data)
    
47.                     book.save('./请将数据另存为，并清空此文件内容.xlsx')
    
48.                     print('第' + str(page_num) + '页',len(Data), job_name, job_comp, job_salary, detail_page, detail,
    
49.                           detail_tag, detail_sum)
    
50.                 #判断尾页------------------------------------------------------------------------------------------------
    
51.                 if page2.get_by_role("button", name="right").is_enabled():
    
52.                     page2.get_by_role("button", name="right").click()
    
53.                     page2.wait_for_timeout(1000)
    
54.                     continue
    
55.                 else:
    
56.                     print('第' + str(page_num) + '页,已到最后一页------------------------------------------------------------------------')
    
57.                     break
    
58.         # —--运行完成后输出结果----------------------------------------------------------------------------------------------------------------------------------
    
59.             print('写入数据条数：', len(Data))

复制代码

熊猫竹子

确实是关键词错了，网站登录和未登录状态的关键词不一样