萌新淘宝定向爬取商品信息遇到了问题

2426157140

1. import requests
   
2. import re
   
3. 
   
4. def getHTMLText(url):
   
5. {"cookie":'',
   
6.     "user-agent":"Mozilla/5.0"}
   
7.     try:
   
8.         r = requests.get(url, headers = kv, timeout = 30)
   
9.         r.raise_for_status()
   
10.         r.encoding = r.apparent_encoding
    
11.         return r.text
    
12.     except:
    
13.         return ""
    
14. 
    
15. def parsePage(ilt, html):
    
16.     try:
    
17.         plt = re.findall(r'"view_price"\:"[\d\.]*"', html)
    
18.         tlt = re.findall(r'"raw_title"\:".*?"', html)
    
19.         for i in range(len(plt)):
    
20.             price = eval(plt[i].split(':')[1])
    
21.             title = eval(tlt[i].split(':')[1])
    
22.             ilt.append([price, title])
    
23.     except:
    
24.         print("")
    
25. 
    
26. def printGoodsList(ilt):
    
27.     tplt = "{:4}\t{:8}\t{:16}"
    
28.     print(tplt.format("序号", "价格", "商品名"))
    
29.     count = 0
    
30.     for g in ilt:
    
31.         count = count + 1
    
32.         print(tplt.format(count, g[0], g[1]))
    
33. 
    
34. def main():
    
35.     goods = '书包'
    
36.     depth = 2
    
37.     start_url = 'http://s.taobao.com/search?q=' + goods
    
38.     infoList = []
    
39.     for i in range(depth):
    
40.         try:
    
41.             url = start_url + '&s=' + str(44*i)
    
42.             html = getHTMLText(url)
    
43.             parsePage(infoList, html)
    
44.         except:
    
45.             continue
    
46.     printGoodsList(infoList)
    
47.    
    
48. main()

复制代码

以上是代码cookie我运行时候查了写里面了但是最后运行提示line38：Need type annotation for 'infoList' (hint: "infoList: List[<type>] = ...")

2426157140

1. def getHTMLText(url):
   
2. kv = {"cookie":'',
   
3.     "user-agent":"Mozilla/5.0"}
   
4.     try:
   
5.         r = requests.get(url, headers = kv, timeout = 30)
   
6.         r.raise_for_status()
   
7.         r.encoding = r.apparent_encoding
   
8.         return r.text
   
9.     except:
   
10.         return ""

复制代码

不好意思刚才删cookie时候把kv = {}删了

Twilight6

你代码发的有点乱，缩进也不对

1. import requests
   
2. import re
   
3. 
   
4. 
   
5. def getHTMLText(url):
   
6.     kv = {"cookie":'',
   
7.     "user-agent":"Mozilla/5.0"}
   
8.     try:
   
9.         r = requests.get(url, headers = kv, timeout = 30)
   
10.         r.raise_for_status()
    
11.         r.encoding = r.apparent_encoding
    
12.         return r.text
    
13.     except:
    
14.         return ""
    
15. 
    
16. 
    
17. 
    
18. 
    
19. 
    
20. def parsePage(ilt, html):
    
21.     try:
    
22.         plt = re.findall(r'"view_price"\:"[\d\.]*"', html)
    
23.         tlt = re.findall(r'"raw_title"\:".*?"', html)
    
24.         for i in range(len(plt)):
    
25.             price = eval(plt[i].split(':')[1])
    
26.             title = eval(tlt[i].split(':')[1])
    
27.             ilt.append([price, title])
    
28.     except:
    
29.         print("")
    
30. 
    
31. 
    
32. def printGoodsList(ilt):
    
33.     tplt = "{:4}\t{:8}\t{:16}"
    
34.     print(tplt.format("序号", "价格", "商品名"))
    
35.     count = 0
    
36.     for g in ilt:
    
37.         count = count + 1
    
38.         print(tplt.format(count, g[0], g[1]))
    
39. 
    
40. 
    
41. def main():
    
42.     goods = '书包'
    
43.     depth = 2
    
44.     start_url = 'http://s.taobao.com/search?q=' + goods
    
45.     infoList = []
    
46.     for i in range(depth):
    
47.         try:
    
48.             url = start_url + '&s=' + str(44 * i)
    
49.             html = getHTMLText(url)
    
50.             parsePage(infoList, html)
    
51.         except:
    
52.             continue
    
53.     printGoodsList(infoList)
    
54. 
    
55. 
    
56. main()

复制代码