鱼C论坛

 找回密码
 立即注册
查看: 644|回复: 1

在线求助,写爬虫遇到一个坑

[复制链接]
发表于 2019-1-14 15:37:50 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
最近在爬链家的数据,其中一部分代码如下图:
pre_url = 'https://bj.ke.com/chengjiao/chengguan/'
headers = {'Host':'bj.ke.com','User-Agent':'Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.22 Safari/537.36 SE 2.X MetaSr 1.0'}
for id in range(1,100):
    url = pre_url + 'pg'+str(id)+'/'
    response = requests.get(url,headers = headers,timeout=10)
    selector = etree.HTML(response.text)
    all_classinfo = selector.xpath('//*[@class="info"]')
    if all_classinfo == None:
        break
    else:
        for each_classinfo in all_classinfo:
==============================================
if 这个语句我的想法是判断一下那一页有没有房源信息,没有的话跳出循环结束程序。
但是实际运行了下发现没有报错,但是需要很长时间大概得20多分钟才会跳出循环,结束程序,原因出在哪里呢?是我的break语句位置不对吗
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

 楼主| 发表于 2019-1-14 17:18:00 | 显示全部楼层
各位大神 快来帮忙啊
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2026-1-13 07:39

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表