|
|
马上注册,结交更多好友,享用更多功能^_^
您需要 登录 才可以下载或查看,没有账号?立即注册
x
最近在爬链家的数据,其中一部分代码如下图:
pre_url = 'https://bj.ke.com/chengjiao/chengguan/'
headers = {'Host':'bj.ke.com','User-Agent':'Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.22 Safari/537.36 SE 2.X MetaSr 1.0'}
for id in range(1,100):
url = pre_url + 'pg'+str(id)+'/'
response = requests.get(url,headers = headers,timeout=10)
selector = etree.HTML(response.text)
all_classinfo = selector.xpath('//*[@class="info"]')
if all_classinfo == None:
break
else:
for each_classinfo in all_classinfo:
==============================================
if 这个语句我的想法是判断一下那一页有没有房源信息,没有的话跳出循环结束程序。
但是实际运行了下发现没有报错,但是需要很长时间大概得20多分钟才会跳出循环,结束程序,原因出在哪里呢?是我的break语句位置不对吗 |
|