|
5鱼币
#淘宝书包信息获取.py
import requests
import re
def getHTMLText(url):
#获取网址
try:
r = requests.get(url, timeout=30)
r.raise_for_status()
r.encoding = r.apparent_encoding
return r.text
except:
return ""
def parsePage(ilt, html):
#解析网址信息,获取其中的价格及其名称
#代码不能正常爬取信息,很有可能是本函数即网址解析出现了问题
try:
plt = re.findall(r'\"view_price\"\:\"[\d\.]*\"', html)
#正则表达式,获取网页中所有例如“view_price":"127.00”模式的有关价格的信息
tlt = re.findall(r'\"raw_title\"\:\".*?\"', html)
#正则表达式,获取网页中所有例如“raw_title":"书包”模式的有关商品名称的信息
for i in range(len(plt)):
price = eval(plt[i].split(':')[1])
title = eval(tlt[i].split(':')[1])
ilt.append([price,title])
#通过for循环将价格和名称用列表的信息整理
#eval()主要是去除获取信息中的符号如单、双引号
except:
print("")
#tyr-except模式跳过运行过程中的异常模式,使代码能正常运行结束
def printGoodsList(ilt):
#将解析的信息打印出来
tplt = "{:4}\t{:8}\t{:16}"
#将输出的信息按照固定的距离打印出来
print(tplt.format("序号", "价格", "商品价格"))
count = 0
for g in ilt:
count = count + 1
print(tplt.format(count, g[0], g[1]))
def main():
#主函数用于运行前面三个函数,并最终获得结果
goods = '书包'
depth = 3
start_url = 'https://s.taobao.com/search?q=' + goods
infoList = []
for i in range(depth):
try:
url = start_url + '&s=' + str(44*i)
html = getHTMLText(url)
parsePage(infoList, html)
except:
continue
printGoodsList(infoList)
main()
#出现的问题:代码能正常运行,但是不能爬取淘宝相关信息,而且不知道问题出现在什么地方
#至少代码的书写没有错误,复制课堂老师的代码运行的结果也是一样
#怀疑是链接访问出现问题,有可能这种代码书写并不能正常访问和爬取网址
|
|