爬虫正则表达式问题

薪爨

爬取淘宝页面商品信息
正则表达式好像不对，没有爬到信息

1. import requests
   
2. import re
   
3. 
   
4. def getHtmlText(url):
   
5.     try :
   
6.         r = request.get(url,timeout = 30)
   
7.         r.raise_for_status()
   
8.         r.encoding = r.apparent_encoding
   
9.         return r.text
   
10.     except:
    
11.         return ""
    
12. 
    
13. def parserPage(ilt,html):
    
14.     try:
    
15.         plt = re.findall(r'"view_price":\d"',html)
    
16.         tlt = re.findall(r'"raw_title":".*?"',html)
    
17.         for i in range(len(plt)):
    
18.             price = eval(pat[i].split(':')[1])
    
19.             title = eval(tlt[i].split(':')[1])
    
20.             ilt.append([price,title])
    
21.     except:
    
22.         return 0
    
23. 
    
24. def printGoodList(lit):
    
25.     tplt = "{:4}\t{:8}\t{:16}"
    
26.     print(tplt.format("序号","价格","商品名称"))
    
27.     count = 0
    
28.     for g in lit:
    
29.         count = count + 1
    
30.         print(tplt.format(count,g[0],g[1]))
    
31. 
    
32. 
    
33. def main():
    
34.     goods = '书包'
    
35.     depth = 2
    
36.     start_url = "https://s.taobao.com/search?q=" + goods
    
37.     infoList = []
    
38.     for i in range (depth):
    
39.         try :
    
40.             url = start_url + '&s='+ str(44*i)
    
41.             html = getHtmlText(url)
    
42.             parsePage(infoList,html)
    
43.         except:
    
44.             continue
    
45. 
    
46.     printGoodList(infoList)
    
47.    
    
48.         
    
49. main()
    

复制代码

求大佬指正

yjsx86

先不说正则的问题
你用代码去访问https://s.taobao.com/search?q=书包 , 会被302重定向到登录界面 可以开个隐身窗口去测试
你需要先解决登录淘宝的问题
爬虫不是说爬就爬的,登录淘宝后再看看请求https://s.taobao.com/search?q=书包,时需要带些什么cookie
带cookie访问网页 获取html代码,看看是否有你需要的数据,没有的话数据就可能在json里或者是由js拼接的

wongyusing

你确定你获取到内容了？？

淘宝现在除了需要登陆的曲奇，还要一堆人类操作的触发的js生成的曲奇才能获取到正确的内容。

wiselin

爬虫用正则好麻烦，建议用CSS或者XPATH