鱼C论坛

 找回密码
 立即注册
查看: 2630|回复: 5

[已解决]爬取免费简历模板

[复制链接]
发表于 2021-5-23 22:33:41 | 显示全部楼层    本楼为最佳答案   
你试下这段代码看能不能获取到url,如果可以获取到,那要么就是你代码问题,要么是多线程请求太频繁被网站限制了。
  1. import requests
  2. from lxml import etree

  3. url = 'https://sc.chinaz.com/jianli/free.html'
  4. headers = {
  5.     'User-Agent': 'Mozilla/5.0'
  6. }
  7. res = requests.get(url, headers=headers)
  8. sel = etree.HTML(res.text)
  9. urls = sel.xpath('//div[@id="main"]/div/div/a/@href')
  10. for url_ in urls:
  11.     res1 = requests.get('https:'+url_, headers=headers)
  12.     sel1 = etree.HTML(res1.text)
  13.     down_url = sel1.xpath('//div[@id="down"]/div[2]/ul/li[1]/a/@href')[0]
  14.     print(down_url)
  15.     break
复制代码
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2025-10-29 10:00

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表