关于爬取百姓网没有输出结果的问题求助！

664661871@qq.co

用的VS  代码没有报错，但是没有输出结果。请求大神看看是什么问题。代码如下。

import json
import requests
from lxml import etree

def getonepage(n):

    url = f'http://guangdong.baixing.com/daibanzhuce/m36027/?page{n*1}'
   
    header = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'}
   
    r = requests.get(url,headers=header)
   
    return r.text
   

def parse(text):
   
    html = etree.HTML(text)
   
    names = html.xpath('/html/body/section[2]/div[3]/ul/li/div/div[3]/a/text()')
   
    phones = html.xpath('/html/body/section[2]/div[3]/ul/li/div/div[1]/span/button/@data-contact/text()')

   
    item = {}
   
    for name,phone in zip(names,phones):
        item['店铺名称'] = name
        item['手机'] = phone
      
        yield item
        
        
        
def save(data):
   
    with open('LIJIA.csv','a',encoding= 'utf-8')as f:
      
        data = json.dumps(data,ensure_ascii = False) + '\n'
        
        f.write(data)
        

def run():
   
    for n in range(1,100):
        
        text = getonepage(n)
            
        items = parse(text)
        
        for item in items:
            print(item)
            save(item)
            
if __name__ == '__main__':
   
    run()

wp231957

拿去：

1. # coding: utf-8
   
2. import requests
   
3. from lxml import etree
   
4. 
   
5. 
   
6. if __name__ == '__main__':
   
7.   url="http://guangdong.baixing.com/daibanzhuce/m36027/?page{n*1}"
   
8.   headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'}
   
9.   response = etree.HTML(requests.get(url=url,headers=headers).text)
   
10.   text = response.xpath("//section[2]/div[3]/ul/li")
    
11.   data=[]
    
12.   for li in range(1,len(text)+1):
    
13.     zd={}
    
14.     phone=response.xpath("//section[2]/div[3]/ul/li[%d]/div/div/span/button/@data-contact"%li)
    
15.     name=response.xpath("//section[2]/div[3]/ul/li[%d]/div/div/a"%li)[0].text
    
16.     zd["商家:"]=name
    
17.     zd["电话:"]=phone
    
18.     data.append(zd)
    
19.   for x in data:
    
20.     print(x)   
    
21.         

复制代码

e:\>python ex14.py
{'商家:': '惠州代办注册浴室五金公司费用', '电话:': ['18502068811']}
{'商家:': '惠州如何注册服装配件公司没地址怎么办', '电话:': ['18502068811']}
{'商家:': '【推荐】中山公司注册丨外资公司丨个体户营业执照代理', '电话:': ['13923310183']}
{'商家:': '惠州代办注册橡胶加工公司挂靠地址多少钱', '电话:': ['18502068811']}
{'商家:': '惠州代办注册钢板网公司地址要求', '电话:': ['18502068811']}
{'商家:': '代办营业执照，公司注册，公司注销，一般纳税人申请。', '电话:': ['18825542023']}
{'商家:': '惠州如何注册保险服务公司机构电话', '电话:': ['18502068811']}
{'商家:': '免费注册公司,代理记账,公司转让注销,餐饮许可证', '电话:': ['15002089631']}
{'商家:': '惠州代理注册游乐设施公司地址要求', '电话:': ['18502068811']}
{'商家:': '惠州代理注册汽车外饰公司没地址怎么办', '电话:': ['18502068811']}
{'商家:': '惠州代办注册桥用材料公司有什么优惠', '电话:': ['18502068811']}
{'商家:': '惠州代办注册即食海味公司流程和资料', '电话:': ['18502068811']}
{'商家:': '惠州代办注册餐饮用品公司地址要求', '电话:': ['18502068811']}
{'商家:': '惠州如何注册机械量测量仪表公司多少钱', '电话:': ['18502068811']}
{'商家:': '惠州如何注册高压变频器公司有什么优惠', '电话:': ['18502068811']}
{'商家:': '惠州代办注册信息技术有限公司没地址怎么办', '电话:': ['18502068811']}
{'商家:': '惠州代办注册皮革制品公司地址要求', '电话:': ['18502068811']}
{'商家:': '惠州代办注册养殖水面公司没地址怎么办', '电话:': ['18502068811']}
{'商家:': '惠州代理注册视听设备公司机构电话', '电话:': ['18502068811']}
{'商家:': '中山注册公司最快三天搞定！代理记账专业会计', '电话:': ['18502068811']}
{'商家:': '惠州代理注册配件及周边公司需要多长时间', '电话:': ['18502068811']}
{'商家:': '惠州代办注册商业照明公司多少钱', '电话:': ['18502068811']}
{'商家:': '惠州代理注册汽车安全用品公司地址要求', '电话:': ['18502068811']}
{'商家:': '惠州代理注册基础护肤用品公司费用', '电话:': ['18502068811']}
{'商家:': '惠州如何注册汽车座垫公司地址要求', '电话:': ['18502068811']}
{'商家:': '惠州代办注册热泵配套公司需要多长时间', '电话:': ['18502068811']}
{'商家:': '惠州如何注册轴承公司挂靠地址多少钱', '电话:': ['18502068811']}
{'商家:': '广州财税代理，工商代理', '电话:': ['18211474095']}
{'商家:': '惠州代理注册制动配件公司有什么优惠', '电话:': ['18502068811']}
{'商家:': '惠州代理注册塑料制品公司机构电话', '电话:': ['18502068811']}
{'商家:': '惠州代理注册化妆品商贸有限公司没地址怎么办', '电话:': ['18502068811']}
{'商家:': '惠州、惠阳、免费注册公司（加急1天拿执照）代理记账', '电话:': ['18316333536']}
{'商家:': '广州荔湾注册变更/快捷', '电话:': ['18211474139']}
{'商家:': '惠州如何注册工作装置公司多少钱', '电话:': ['18502068811']}
{'商家:': '惠州代办注册汽车精品公司机构电话', '电话:': ['18502068811']}
{'商家:': '免费工商注册,免费一般纳税人申请,记账报税有优惠', '电话:': ['15002089631']}
{'商家:': '惠州代理注册嵌入式设备公司没地址怎么办', '电话:': ['18502068811']}
{'商家:': '惠州代办注册建筑模板公司地址要求', '电话:': ['18502068811']}
{'商家:': '惠州代理注册行业机械设备公司需要多长时间', '电话:': ['18502068811']}
{'商家:': '惠州代理注册管道系统公司流程和资料', '电话:': ['18502068811']}
{'商家:': '中山专业公司注册、代理记账、变更执照、财务咨询', '电话:': ['13549868501']}
{'商家:': '惠州代办注册防盗报警设备安检公司费用', '电话:': ['18502068811']}
{'商家:': '惠州代理注册畜牧养殖公司地址要求', '电话:': ['18502068811']}
{'商家:': '惠州代理注册散热器公司没地址怎么办', '电话:': ['18502068811']}
{'商家:': '提供一般纳税人注册、电商入驻、公司注销、股权变更', '电话:': ['13713543458']}
{'商家:': '惠州代办注册收藏品公司有什么优惠', '电话:': ['18502068811']}
{'商家:': '惠州如何注册兽药公司没地址怎么办', '电话:': ['18502068811']}
{'商家:': '东莞办理有限公司需要什么资料？要多少钱？', '电话:': ['15625716861']}
{'商家:': '惠州代办注册商务翻译公司地址要求', '电话:': ['18502068811']}
{'商家:': '大朗办理毛织厂最新流程，要提供什么？', '电话:': ['15625716861']}
{'商家:': '惠州如何注册专用仪器仪表公司有什么优惠', '电话:': ['18502068811']}
{'商家:': '惠州如何注册环保设备公司需要多长时间', '电话:': ['18502068811']}
{'商家:': '惠州代办注册建材胶粘剂公司流程和资料', '电话:': ['18502068811']}
{'商家:': '惠州代办注册板材类公司机构电话', '电话:': ['18502068811']}
{'商家:': '惠州代理注册机械加工公司机构电话', '电话:': ['18502068811']}
{'商家:': '惠州代办注册特种纸管公司机构电话', '电话:': ['18502068811']}
{'商家:': '惠州代办注册书房家具公司机构电话', '电话:': ['18502068811']}
{'商家:': '佛山 十年经验 免费注册公司 代理记账 提供地址', '电话:': ['18566311178']}
{'商家:': '惠州代办注册磨料公司地址要求', '电话:': ['18502068811']}
{'商家:': '广州电子营业执照办理流程及费用', '电话:': ['18820806866']}
{'商家:': '惠州代理注册女包公司机构电话', '电话:': ['18502068811']}
{'商家:': '惠州如何注册移动产品公司流程和资料', '电话:': ['18502068811']}
{'商家:': '公司注册、变更、注销、商标注册、税务代理、代理记帐', '电话:': ['13790223882']}
{'商家:': '惠州代办注册音频设备公司没地址怎么办', '电话:': ['18502068811']}
{'商家:': '惠州代理注册金融专用设备公司挂靠地址多少钱', '电话:': ['18502068811']}
{'商家:': '惠州代理注册气相沉积设备公司机构电话', '电话:': ['18502068811']}
{'商家:': '惠州代办注册电光源材料公司流程和资料', '电话:': ['18502068811']}
{'商家:': '惠州代理注册机房家具公司有什么优惠', '电话:': ['18502068811']}
{'商家:': '惠州代理注册商贸有限公司机构电话', '电话:': ['18502068811']}
{'商家:': '工商注册 做账报税 【佛山】一站式企业工商财税服务', '电话:': ['13794008582']}
{'商家:': '红本租赁', '电话:': ['13312960568']}
{'商家:': '深圳首家免费注册公司、个体户，免费代理记账、报税。', '电话:': ['13312960568']}
{'商家:': '惠州代办注册电源与电池公司机构电话', '电话:': ['18502068811']}
{'商家:': '东莞东莞工商注册公司注销变更、0元注册、无地址注册', '电话:': ['18825542023']}
{'商家:': '惠州如何注册防爆膜公司有什么优惠', '电话:': ['18502068811']}
{'商家:': '惠州如何注册儿童护肤品公司机构电话', '电话:': ['18502068811']}
{'商家:': '惠州如何注册美发器械公司有什么优惠', '电话:': ['18502068811']}
{'商家:': '惠州诚安税务师事务所（免费注册公司，代理记账）', '电话:': ['18026454989']}
{'商家:': '珠海市工商注销多少钱', '电话:': ['13631287051']}
{'商家:': '深圳公司注册 贷款 商业保理 金融牌照转让', '电话:': ['13510293011']}
{'商家:': '惠州代办注册镍材料公司需要多长时间', '电话:': ['18502068811']}
{'商家:': '惠州如何注册爬宠商品公司流程和资料', '电话:': ['18502068811']}
{'商家:': '惠州代办注册树脂工艺品公司有什么优惠', '电话:': ['18502068811']}
{'商家:': '惠州代理注册工地施工材料公司有什么优惠', '电话:': ['18502068811']}
{'商家:': '惠州代理注册制动配件公司费用', '电话:': ['18502068811']}
{'商家:': '代办注册公司、代理记账、财务外包、社保代理', '电话:': ['13549868501']}
{'商家:': '惠州代办注册机械五金件公司流程和资料', '电话:': ['18502068811']}
{'商家:': '惠州如何注册基础护肤用品公司挂靠地址多少钱', '电话:': ['18502068811']}
{'商家:': '惠州如何注册防护用品公司流程和资料', '电话:': ['18502068811']}
{'商家:': '【注销公司】工商税务异常处理、异常注销、吊销转注销', '电话:': ['18620344228']}
{'商家:': '惠州如何注册木制工艺品公司没地址怎么办', '电话:': ['18502068811']}
{'商家:': '惠州如何注册鞋材化工公司需要多长时间', '电话:': ['18502068811']}
{'商家:': '惠州如何注册电镀设备公司有什么优惠', '电话:': ['18502068811']}
{'商家:': '惠州代办注册电动汽车公司有什么优惠', '电话:': ['18502068811']}
{'商家:': '惠州代理注册太阳能配件公司机构电话', '电话:': ['18502068811']}
{'商家:': '大特价代理公司注册、许可审批、大额增资等', '电话:': ['15817183920']}
{'商家:': '惠州代办注册变送器公司多少钱', '电话:': ['18502068811']}
{'商家:': '惠州如何注册压力仪表公司机构电话', '电话:': ['18502068811']}
{'商家:': '注册公司 公司注册工商注册  注册商标 代理记账', '电话:': ['13433308583']}
{'商家:': '惠州代办注册液压工具公司机构电话', '电话:': ['18502068811']}

嗷呜呜呜

1. phones = html.xpath('/html/body/section[2]/div[3]/ul/li/div/div[1]/span/button/@data-contact/text()')

复制代码

/text()删去

664661871@qq.co

嗷呜呜呜 发表于 2019-5-1 08:26
/text()删去

删去了，我就想知道我的代码是在哪里出错了

664661871@qq.co

wp231957 发表于 2019-5-1 08:20
拿去：

谢谢，但是我想知道我的代码是什么方面出了问题5555

wp231957

664661871@qq.co 发表于 2019-5-2 17:36
谢谢，但是我想知道我的代码是什么方面出了问题5555

你对比一下咱俩的代码，你的xpath取的不对，或者属性值取的不对

wp231957

664661871@qq.co 发表于 2019-5-2 17:36
谢谢，但是我想知道我的代码是什么方面出了问题5555

有一个li 标签，100个商铺对应100个li 标签
你需要对这100个li 标签进行循环处理
明显我没有看到相关代码

嗷呜呜呜

664661871@qq.co 发表于 2019-5-2 17:36
谢谢，但是我想知道我的代码是什么方面出了问题5555

text是获取xpath中的字符串,data-contact属性的值已经是一个字符串了,不用再用text()

664661871@qq.co

嗷呜呜呜 发表于 2019-5-5 08:18
text是获取xpath中的字符串,data-contact属性的值已经是一个字符串了,不用再用text()

谢谢，已经调整了。但是出现爬取一次成功后就不能再爬了，并且爬出来的数据是重复。是不是网站有防爬？用selenium能不能解决？

嗷呜呜呜

664661871@qq.co 发表于 2019-5-6 11:55
谢谢，已经调整了。但是出现爬取一次成功后就不能再爬了，并且爬出来的数据是重复。是不是网站有防爬？用 ...

不好意思  最近在忙不经常逛论坛

1. 'http://guangdong.baixing.com/daibanzhuce/?page='+str(n)

复制代码

url改一下就行了,selenium很强大,会用的话就可以用