朝歌夜弦 发表于 2019-12-4 22:25:56

爬虫问题，requests+正则爬取淘宝问题求助！！！

import requests
import re

headers ={
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36',
    'cookie': 't=35a6a41e2ab33d67331fef54fa6b7d96; thw=cn; enc=Bq%2B8Hihnf5qMksZKyDHuPexyE%2FWAYRLtDhlzA7nKXPktlHXnojEcfOP3XKrS3v6NpJFVbSC%2BYyrqArSYFIxGPA%3D%3D; hng=CN%7Czh-CN%7CCNY%7C156; x=e%3D1%26p%3D*%26s%3D0%26c%3D0%26f%3D0%26g%3D0%26t%3D0%26__ll%3D-1%26_ato%3D0; _fbp=fb.1.1570716221972.1308016870; cna=YUvuFeTOdF0CAQHB/IooKSrp; tracknick=tb_3807958; tg=0; UM_distinctid=16de352a97e319-045b9f9e533dfd-b363e65-100200-16de352a97f161; miid=242858321442603869; uc3=nk2=F5Qqa8SV13URpg%3D%3D&vt3=F8dByuQEZVeR5M8gZCs%3D&lg2=VT5L2FSpMGV7TQ%3D%3D&id2=VAMR5tzde4Qy; lgc=tb_3807958; uc4=nk4=0%40FY5hVasRUV%2BAMkETSvatE55w%2Brz4&id4=0%40VhpM3VXV6Gzb%2BkGVX8YOZF4uf7s%3D; _cc_=WqG3DMC9EA%3D%3D; mt=ci=5_1; v=0; cookie2=1706d501a4836493484bee96d648b676; _tb_token_=e7636edff7a65; alitrackid=www.taobao.com; lastalitrackid=www.taobao.com; JSESSIONID=63F113CF64151B33F16F18787EB0CDD9; isg=BHV1IRtuRNIClqDxlnbKr3oxhPHvWiljVmzRN_easew7zpXAv0Px1IEHHdLdokG8; l=dBjTqFGuqwu3cZlKBOfCnurza77OoIRb4EVzaNbMiICPOfCp5izAWZKPZWT9CnhVH6mpR3Jt3efvBeYBq6BQn5U62j-labkqndC..'

}
def getHTMLText(url):
    try:
      r = requests.get(url,headers = headers)
      r.raise_for_status()
      r.encoding = r.apparent_encoding
      return r.text
    except:
      return '失败1'

def parsePage(ilt,html):
    try:
      plt = re.findall(r'"vies_price":"(\d.*)"',html)
      tlt = re.findall(r'"raw_title":"(.*?)"',html)
      for i in range(len(plt)):
            price = eval(plt.split(':'))
            title = eval(tlt.split(':'))
            ilt.append()
    except:
      print("失败2")

def printGoodList(ilt):
    tplt = "{:4}\t{:8}\t{:16}"
    print(tplt.format("序号","价格","商品名称"))
    count = 0
    for g in ilt:
      count = count + 1
      print(tplt.format(count,g,g))
    print('')


def main():

    goods = '书包'
    depth = 2
    start_url = 'https://s.taobao.com/search?q=' + goods
    getHTMLText(start_url)
    infoList = []
    for i in range(depth):
      try:
            url = start_url+ '&s=' + str(44*i)
            html = getHTMLText(url)
            parsePage(infoList,html)
      except:
            continue
    printGoodList(infoList)

main()

代码如上，为什么输出的结果只有"序号","价格","商品名称"这三个单词？问题出在哪？怎么解决啊~~~~

朝歌夜弦 发表于 2019-12-5 16:18:45

为什么连个看的都没有 {:5_104:}

空青 发表于 2019-12-6 10:05:15

说下我排解问题的思路吧，你最后打印出来的没有具体的商品信息，只有序号，价格，商品名称，说明你打印商品的函数里面的for循环没有打印出任何的数据。

这种情况应该是有以下其中一个原因导致的

1、你的页面访问的时候并没有返回源码信息，或者返回的源码信息是错误的。把其他无关代码注释掉，去调用getHTMLText这个函数，看下能否返回正确信息。如果返回的信息里面有你要的数据，那么问题不出在这里，继续进行第二部排查。如果问题出在这，那就着手解决。比如参数是否正确，是否使用了合适的请求头，cookie是不是到期了等等。

2、如果排除了页面返回的回去，那就是解析的问题了。这个问题相对来说比较简单，就是解析器的使用了，一般情况下，如果页面信息是对的，但是提取不出来数据，那就是表达式写错了。

kaohsing 发表于 2019-12-6 14:31:52

朝歌夜弦 发表于 2019-12-5 16:18
为什么连个看的都没有

稍微仔细一点，就可

朝歌夜弦 发表于 2019-12-6 17:40:37

空青 发表于 2019-12-6 10:05
说下我排解问题的思路吧，你最后打印出来的没有具体的商品信息，只有序号，价格，商品名称，说明你打印商品 ...

谢谢啊

zsb7451 发表于 2020-4-1 22:28:49

cookie后面的内容是不是要加上r't=35a......'，不然有的被识别成了转义字符。
页: [1]
查看完整版本: 爬虫问题，requests+正则爬取淘宝问题求助！！！