求助爬淘宝出现返回空数据

通信狗程序猿

1. def getHTML(url):
   
2.     try:
   
3.         r = requests.get(url,timeout = 30)
   
4.         r.raise_for_status()
   
5.         r.encoding = r.apparent_enconding
   
6.         return r.text
   
7.     except:
   
8.         return ''
   
9.    
   
10. 
    
11. def paresHTML(ilt,html):
    
12.     try:
    
13.         plt = re.findall(r'"view_price":"[\d\.]*"',html)   #正则：搜索所有'view_price'字符串开头并包含字符串后面的数字信息(价格),返回列表
    
14.         tlt = re.findall(r'"raw_tltle":".*?"',html)
    
15.         for i in range(len(plt)):
    
16.             price = eval(plt[i].split(':')[1])   #eval去掉引号
    
17.             title = eval(tlt[i].spilt(':')[1])                     
    
18.             ilt.append([prince,title])
    
19.     except:
    
20.         print('')
    
21.         
    
22. def printGoods(ilt):
    
23.     tplt = '{:^6}\t{:^10}\t{:^16}'
    
24.     print(tplt.format('序号','价格','名字'))
    
25.     count = 0
    
26.     for g in ilt:
    
27.         count += 1
    
28.         print(tplt.format(count,u[0],u[1]))
    
29.         
    
30. def main():
    
31.     goods = '神舟笔记本'
    
32.     start_url = 'https://s.taobao.com/search?q=' + goods
    
33.     depth = 2
    
34.     infoList = []
    
35.     for i in range(depth):
    
36.         try:
    
37.             url = start_url + '&s=' + str(44*i)
    
38.             html = getHTML(url)
    
39.             parseHTML(infoList,html)
    
40.         except:
    
41.             continue
    
42.     printGoods(infoList)
    
43. 
    
44. main()
    

复制代码

还是没有搞懂  为什么返回的是空
而且  我在淘宝页面  f12  查看的商品价格的前缀有trace-price和view_price   不知道选哪个   

通信狗程序猿

运行之后  结果为空   我觉得应该是  爬取网站内容的部分 parseHTML 部分出现了问题；可能是正则表达式搜索r.text内容的时候没有搜索到相匹配的信息


我在淘宝页面  搜索到的关键字如下图
C:\Users\Administrator\Desktop\111.jpg

通信狗程序猿

def getHTML(url):
    try:
        r = requests.get(url,timeout = 30)
        r.raise_for_status()
        r.encoding = r.apparent_enconding
        return r.text
    except:
        return ''
   

def paresHTML(ilt,html):
    try:
        plt = re.findall(r'"view_price":"[\d\.]*"',html)   #正则：搜索所有'view_price'字符串开头并包含字符串后面的数字信息(价格),返回列表
        tlt = re.findall(r'"raw_tltle":".*?"',html)
        for i in range(len(plt)):
            price = eval(plt[i].split(':')[1])   #eval去掉引号
            title = eval(tlt[i].spilt(':')[1])                     
            ilt.append([prince,title])
    except:
        print('')
        
def printGoods(ilt):
    tplt = '{:^6}\t{:^10}\t{:^16}'
    print(tplt.format('序号','价格','名字'))
    count = 0
    for g in ilt:
        count += 1
        print(tplt.format(count,u[0],u[1]))
        
def main():
    goods = '神舟笔记本'
    start_url = 'https://s.taobao.com/search?q=' + goods
    depth = 2
    infoList = []
    for i in range(depth):
        try:
            url = start_url + '&s=' + str(44*i)
            html = getHTML(url)
            parseHTML(infoList,html)
        except:
            continue
    printGoods(infoList)

main()

苏绛雪

说明一下具体思路

通信狗程序猿

苏绛雪 发表于 2019-3-23 16:59
说明一下具体思路

是不是因为  如果没有登录淘宝就没有办法搜索的原因啊

通信狗程序猿

有没有大佬帮忙看下是不是正则表达式的问题啊。。。