[已解决]爬虫程序能运行但除了标题无输出。

alnero

尝试爬取淘宝商品页面价格信息，代码如下：

1. 
   
2. import requests
   
3. import re
   
4. 
   
5. def getHTMLText(url):
   
6.     try:
   
7.         r = requests.get(url,timeout = 30)
   
8.         r.raise_for_status()
   
9.         r.encoding = r.apparent_encoding
   
10.         return r.text
    
11.     except:
    
12.         return ""
    
13. 
    
14. def parsePage(ilt,html):
    
15.     try:
    
16.         plt = re.findall(r'"view_price"\:"[\d\.]*"',html)                                   #程序关键部分
    
17.         tlt = re.findall(r'"raw_title"\:".*?"',html)                                            #程序关键部分
    
18.         for i in range(len(plt)):
    
19.             price = eval(plt[i].split(':')[1])
    
20.             title = eval(tlt[i].split(':')[1])
    
21.             ilt.append([price,title])
    
22.     except:
    
23.         print("")
    
24. 
    
25. def printGoodList(ilt):
    
26.     tplt = "{:4}\t{:8}\t{:16}"
    
27.     print(tplt.format("序号","价格","商品名称"))
    
28.     count = 0
    
29.     for g in ilt:
    
30.         count = count + 1
    
31.         print(tplt.format(count,g[0],g[1]))
    
32. 
    
33. def main():
    
34.     goods = '书包'
    
35.     depth = 2                                                                                     #希望能自动翻到第二页继续爬取
    
36.     start_url = 'https://s.taobao.com/search?q=' + goods
    
37.     infoList = []
    
38.     for i in range(depth):
    
39.         try:
    
40.             url = start_url + '&s=' + str(44*i)
    
41.             html = getHTMLText(url)
    
42.             parsePage(infoList,html)
    
43.         except:
    
44.             continue
    
45.     printGoodList(infoList)
    
46. 
    
47. main()
    

复制代码

输出的结果为

1. RESTART: C:/Users/Administrator/AppData/Local/Programs/Python/Python37-32/实战2淘宝爬取商品价格.py
   
2. 序号          价格              商品名称   

复制代码

  



请问各位大佬神仙geek们，是哪里出了问题呀？
在线等。

最佳答案

月排行榜 / 总排行榜

chxchxkkk

2019-6-6 08:33:56

parsePage函数没有返回值，

infoList = []
    for i in range(depth):
        try:
            url = start_url + '&s=' + str(44*i)
            html = getHTMLText(url)
            parsePage(infoList,html)          ---》调用没有返回值的函数，所以什么也没有
        except:
            continue
    printGoodList(infoList)

def parsePage(ilt,html):
    try:
        plt = re.findall(r'"view_price"\:"[\d\.]*"',html)                                   #程序关键部分
        tlt = re.findall(r'"raw_title"\:".*?"',html)                                            #程序关键部分
        for i in range(len(plt)):
            price = eval(plt.split(':')[1])
            title = eval(tlt.split(':')[1])
            ilt.append([price,title])
       return ilt       ---->加上返回值

跳转到最佳答案楼层

wp231957

能爬淘宝的都是远古巨牛

kaohsing

头部信息一点都不模拟。也就是存活一次吧。

chxchxkkk

parsePage函数没有返回值，

infoList = []
    for i in range(depth):
        try:
            url = start_url + '&s=' + str(44*i)
            html = getHTMLText(url)
            parsePage(infoList,html)          ---》调用没有返回值的函数，所以什么也没有
        except:
            continue
    printGoodList(infoList)

def parsePage(ilt,html):
    try:
        plt = re.findall(r'"view_price"\:"[\d\.]*"',html)                                   #程序关键部分
        tlt = re.findall(r'"raw_title"\:".*?"',html)                                            #程序关键部分
        for i in range(len(plt)):
            price = eval(plt.split(':')[1])
            title = eval(tlt.split(':')[1])
            ilt.append([price,title])
       return ilt       ---->加上返回值