报错

CZH206

为什么报错

Hello.

看不到你的图片。。

CZH206

Hello. 发表于 2020-3-25 21:02
看不到你的图片。。

1. import re
   
2. import os
   
3. import json
   
4. import time
   
5. import requests
   
6. import jsonpath
   
7. from openpyxl import Workbook, load_workbook
   
8. 
   
9. print('欢迎使用淘宝查询助理')
   
10. print('本程序旨在帮助您更容易挑选到您所需要的商品')
    
11. good = input('请输入要查询的商品名称：')
    
12. low_price = int(input('请输入您所能接受的商品最低价格：'))
    
13. high_price = int(input('请输入您所能接受的商品最高价格：'))
    
14. print('请稍等片刻,数据正在获取中')
    
15. print('{0}.xlsx正在创建中，您可以在本程序同目录下找到'.format(good))
    
16. print('请等待程序关闭后再打开表格，谢谢配合！')
    
17. print('祝您购物愉快！\n')
    
18. print('-------------------------------------------------------------------')
    
19. class TaoBaoSpider(object):
    
20.     """淘宝爬虫"""
    
21.     def __init__(self, key, start_price, end_price):
    
22. 
    
23.         self.headers = {
    
24.             'User-Agent': 'Mozilla/5.0 (iPhone; CPU iPhone OS 10_3 like Mac OS X) AppleWebKit/603.1.30'
    
25.                           ' (KHTML, like Gecko) Version/10.0 Mobile/14E277 Safari/602.1',
    
26.         }
    
27.         self.start_price = start_price
    
28.         self.end_price = end_price
    
29.         self.count = 1
    
30.         self.rank_dict = {
    
31.             '0': '无',
    
32.             '1': '1心',
    
33.             '2': '2心',
    
34.             '3': '3心',
    
35.             '4': '4心',
    
36.             '5': '5心',
    
37.             '6': '1钻',
    
38.             '7': '2钻',
    
39.             '8': '3钻',
    
40.             '9': '4钻',
    
41.             '10': '5钻',
    
42.             '11': '1蓝冠',
    
43.             '12': '2蓝冠',
    
44.             '13': '3蓝冠',
    
45.             '14': '4蓝冠',
    
46.             '15': '5蓝冠',
    
47.             '16': '1金冠',
    
48.             '17': '2金冠',
    
49.             '18': '3金冠',
    
50.             '19': '4金冠',
    
51.             '20': '5金冠'
    
52.         }
    
53.         self.key = key
    
54.         self.file_path = f"{self.key}.xlsx"
    
55.         self.shop_set = set()
    
56.         if os.path.exists(self.file_path):
    
57.             self.wb = load_workbook(self.file_path)
    
58.             self.ws = self.wb.active
    
59.             max_row = self.ws.max_row
    
60.             for row in range(2, max_row + 1):
    
61.                 value = self.ws.cell(row=row, column=2).value.strip()
    
62.                 self.shop_set.add(value)
    
63. 
    
64.         else:
    
65.             self.wb = Workbook()
    
66.             self.ws = self.wb.active
    
67.             self.ws.append(['序号', '商品ID', '店铺ID', '商城类型', '标题', '链接', '价格', '月销', '地区', '店铺名称',
    
68.                             '店铺等级', '评论总数', '店铺评分', '相关描述', '图片评论', '追加评论', '好评', '中评', '差评', '与描述相符'])
    
69. 
    
70.     def get_img_add_key(self, item_id, user_id, s_type):
    
71. 
    
72.         url = f'https://rate.taobao.com/detailCommon.htm?auctionNumId={item_id}&userNumId={user_id}'
    
73. 
    
74.         headers = self.headers
    
75.         headers['Referer'] = f'https://item.taobao.com/item.htm?id={item_id}'
    
76. 
    
77.         response = requests.get(url, headers=headers)
    
78.         info = re.findall('\((.+}?)\)', response.text)[0]
    
79.         info = json.loads(info)
    
80.         data = info['data']
    
81.         keys = data['impress']
    
82.         keys = [f"{key['title']}({key['count']})" for key in keys]
    
83.         keys = ','.join(keys)
    
84.         if s_type == '淘宝':
    
85.             add_comment = data['count']['additional']
    
86.             img_comment = data['count']['pic']
    
87.             god_comment = data['count']['good']
    
88.             mid_comment = data['count']['normal']
    
89.             bad_comment = data['count']['bad']
    
90.         else:
    
91.             add_comment = data['count']['additional']
    
92.             img_comment = data['count']['pic']
    
93.             god_comment = data['count']['good']
    
94.             mid_comment = data['count']['normal']
    
95.             bad_comment = data['count']['bad']
    
96. 
    
97.         correspond = data['correspond']
    
98. 
    
99.         line = [keys, add_comment, img_comment, god_comment, mid_comment, bad_comment, correspond]
    
100.         return line
     
101. 
     
102.     def get_comment_key(self, item_id):
     
103.         url = f'https://rate.tmall.com/listTagClouds.htm?itemId={item_id}'
     
104. 
     
105.         response = requests.get(url, headers=self.headers)
     
106.         print(response.text)
     
107.         info = re.findall(r'\((.+}?)\)', response.text)[0]
     
108.         info = json.loads(info)
     
109.         keys = info['tags']['tagClouds']
     
110.         keys = [f"{key['tag']}({key['count']})" for key in keys]
     
111.         keys = ','.join(keys)
     
112.         return keys
     
113. 
     
114.     def get_info(self, data):
     
115.         title = data['raw_title']
     
116.         city = data['item_loc']
     
117.         price = data['view_price']
     
118.         item_id = data['nid']
     
119.         url = data['detail_url']
     
120.         if item_id in self.shop_set:
     
121.             print(title, '存在')
     
122.             self.count += 1
     
123.             return
     
124. 
     
125.         user_id = data['user_id']
     
126. 
     
127.         if 'tmall' in url or 'mclick' in url:
     
128.             s_type = '天猫'
     
129.             url = 'https://detail.tmall.com/item.htm?id={}'.format(item_id)
     
130.         elif 'taobao' in url:
     
131.             s_type = '淘宝'
     
132.             url = 'http://item.taobao.com/item.htm?id={}'.format(item_id)
     
133. 
     
134.         else:
     
135.             s_type = '未知'
     
136. 
     
137.         time.sleep(5)
     
138.         x_url = 'https://h5api.m.taobao.com/h5/mtop.taobao.detail.getdetail/6.0/?data=%7B%22itemNumId%22%3A%22{}%22%7D'.format(
     
139.             item_id)
     
140.         try:
     
141.             x_data = requests.get(x_url, headers=self.headers).json()['data']
     
142.         except:
     
143.             return
     
144.         try:
     
145.             shopName = x_data['seller']['shopName']
     
146.         except:
     
147.             shopName = ''
     
148. 
     
149.         try:
     
150.             rank = x_data['seller']['creditLevel']
     
151.             rank = self.rank_dict[rank]
     
152.         except:
     
153.             rank = '无'
     
154.         try:
     
155.             youhui_json = json.loads(x_data['apiStack'][0]['value'])
     
156.         except:
     
157.             youhui_json = {}
     
158.         try:
     
159.             month_xiao = youhui_json['item']['sellCount']
     
160.         except:
     
161.             month_xiao = ''
     
162. 
     
163.         # 评价数量
     
164.         try:
     
165.             comment_num = x_data['rate']['totalCount']
     
166.         except KeyError:
     
167.             comment_num = ''
     
168. 
     
169.         line = self.get_img_add_key(item_id, user_id, s_type)
     
170. 
     
171.         if shopName == '':
     
172.             print('闲鱼?')
     
173.             return
     
174. 
     
175.         # 店铺评分
     
176.         shop_source = x_data['seller']['evaluates']
     
177.         shop_source = [':'.join([source['title'], source['score']]) for source in shop_source]
     
178.         shop_source = ','.join(shop_source)
     
179. 
     
180.         item = [str(self.count), item_id + '\t', user_id + '\t', s_type, title, url, price, month_xiao, city, shopName, rank, comment_num, shop_source]
     
181.         item += line
     
182.         print(item)
     
183.         self.ws.append(item)
     
184.         self.wb.save(self.file_path)
     
185.         self.count += 1
     
186.         self.shop_set.add(item_id)
     
187. 
     
188.     def search(self):
     
189.         session = requests.session()
     
190.         cookie = 't=85db5e7cb0133f23f29f98c7d6955615; cna=3uklFEhvXUoCAd9H6ovaVLTG; isg=BM3NGT0Oqmp6Mg4qfcGPnvDY3-pNqzF2joji8w9SGWTYBu241_taTS6UdFrF3Rk0; miid=983575671563913813; thw=cn; um=535523100CBE37C36EEFF761CFAC96BC4CD04CD48E6631C3112393F438E181DF6B34171FDA66B2C2CD43AD3E795C914C34A100CE538767508DAD6914FD9E61CE; _cc_=W5iHLLyFfA%3D%3D; tg=0; enc=oRI1V9aX5p%2BnPbULesXvnR%2BUwIh9CHIuErw0qljnmbKe0Ecu1Gxwa4C4%2FzONeGVH9StU4Isw64KTx9EHQEhI2g%3D%3D; hng=CN%7Czh-CN%7CCNY%7C156; mt=ci=0_0; hibext_instdsigdipv2=1; JSESSIONID=EC33B48CDDBA7F11577AA9FEB44F0DF3'
     
191. 
     
192.         session.headers = {
     
193.             'User-Agent': 'Mozilla/5.0 (iPhone; CPU iPhone OS 10_3 like Mac OS X) AppleWebKit/603.1.30 (KHTML, like Gecko) Version/10.0 Mobile/14E277 Safari/602.1',
     
194.             'cookie': cookie,
     
195.             'referer': 'https://s.taobao.com/search?q=%E5%86%B0%E7%AE%B1&imgfile=&js=1&stats_click=search_radio_all%3A1&initiative_id=staobaoz_20190804&ie=utf8&sort=sale-desc&bcoffset=0&p4ppushleft=%2C48&s=1364'
     
196.         }
     
197. 
     
198.         url = 'https://s.taobao.com/search?rec_type=1&q={}&sort=sale-desc&s=0&ajax=true&data-value=396&filter=reserve_price%5B{}%2C{}%5D'.format(self.key, self.start_price, self.end_price)
     
199.         start_flag = 0
     
200.         while True:
     
201.             if start_flag > 10:
     
202.                 session.headers['cookie'] = 't=85db5e7cb0133f23f29f98c7d6955615; cna=3uklFEhvXUoCAd9H6ovaVLTG; isg=BM3NGT0Oqmp6Mg4qfcGPnvDY3-pNqzF2joji8w9SGWTYBu241_taTS6UdFrF3Rk0; miid=983575671563913813; thw=cn; um=535523100CBE37C36EEFF761CFAC96BC4CD04CD48E6631C3112393F438E181DF6B34171FDA66B2C2CD43AD3E795C914C34A100CE538767508DAD6914FD9E61CE; _cc_=W5iHLLyFfA%3D%3D; tg=0; enc=oRI1V9aX5p%2BnPbULesXvnR%2BUwIh9CHIuErw0qljnmbKe0Ecu1Gxwa4C4%2FzONeGVH9StU4Isw64KTx9EHQEhI2g%3D%3D; hng=CN%7Czh-CN%7CCNY%7C156; mt=ci=0_0; hibext_instdsigdipv2=1; JSESSIONID=EC33B48CDDBA7F11577AA9FEB44F0DF3'
     
203.                 start_flag = 0
     
204.             req = session.get(url).json()
     
205.             try:
     
206.                 capurl = req['url']
     
207.                 print('验证码', capurl)
     
208.                 time.sleep(1)
     
209.                 # cookies = self.loop.run_until_complete(main(capurl))
     
210.                 # print(cookies)
     
211.                 # session.cookies.set('x5sec', cookies['x5sec'])
     
212.                 start_flag += 1
     
213.             except:
     
214.                 break
     
215. 
     
216.         page = jsonpath.jsonpath(req, '$..totalPage')[0]
     
217.         datas = req['mods']['itemlist']['data']['auctions']
     
218.         for data in datas:
     
219.             self.get_info(data)
     
220. 
     
221.         for p in range(1, page):
     
222.             p_va = p * 44
     
223.             url = 'https://s.taobao.com/search?rec_type=1&q={}&sort=sale-desc&s={}&ajax=true&data-value=396&filter=reserve_price%5B{}%2C{}%5D'.format(self.key, p_va, self.start_price, self.end_price)
     
224.             print(url)
     
225.             flag = 0
     
226.             while True:
     
227.                 if flag > 10:
     
228.                     session.headers['cookie'] = 't=85db5e7cb0133f23f29f98c7d6955615; cna=3uklFEhvXUoCAd9H6ovaVLTG; isg=BM3NGT0Oqmp6Mg4qfcGPnvDY3-pNqzF2joji8w9SGWTYBu241_taTS6UdFrF3Rk0; miid=983575671563913813; thw=cn; um=535523100CBE37C36EEFF761CFAC96BC4CD04CD48E6631C3112393F438E181DF6B34171FDA66B2C2CD43AD3E795C914C34A100CE538767508DAD6914FD9E61CE; _cc_=W5iHLLyFfA%3D%3D; tg=0; enc=oRI1V9aX5p%2BnPbULesXvnR%2BUwIh9CHIuErw0qljnmbKe0Ecu1Gxwa4C4%2FzONeGVH9StU4Isw64KTx9EHQEhI2g%3D%3D; hng=CN%7Czh-CN%7CCNY%7C156; mt=ci=0_0; hibext_instdsigdipv2=1; JSESSIONID=EC33B48CDDBA7F11577AA9FEB44F0DF3'
     
229. 
     
230.                     flag = 0
     
231.                 req = session.get(url).json()
     
232.                 try:
     
233.                     capurl = req['url']
     
234.                     print('验证码', capurl)
     
235.                     # cookies = self.loop.run_until_complete(main(capurl))
     
236.                     # print(cookies)
     
237.                     # session.cookies.set('x5sec', cookies['x5sec'])
     
238.                     time.sleep(1)
     
239.                     flag += 1
     
240.                 except:
     
241.                     break
     
242. 
     
243.             datas = req['mods']['itemlist']['data']['auctions']
     
244.             for data in datas:
     
245.                 self.get_info(data)
     
246. 
     
247. 
     
248. if __name__ == '__main__':
     
249.     tb = TaoBaoSpider(good, low_price, high_price)
     
250.     tb.search()

复制代码

每次 f"{self.key}.xlsx"类似于这种样子的它双引号就会报错

_2_

看不到

dlnb526

1. <img id="aimg_jxZUz" onclick="zoom(this, this.src, 0, 0, 0)" class="zoom" width="702" height="1365" file="http://库/图片" border="0" alt="" />

复制代码

emmm厉害了，那个图片地址不是填你电脑本地图片地址而是你上传到图床的地址。。

wuqramy

发代码

一个账号

那个图片地址不是填你电脑本地图片地址而是你上传到图床的地址。。

dlnb526

一个账号 发表于 2020-3-25 21:25

这是楼主上传的图片地址，我看网页源代码看到的，他在图片地址处写的本地图片的地址，所以帖子本来有图片但是加载不出~~~

一个账号

dlnb526 发表于 2020-3-25 21:28
这是楼主上传的图片地址，我看网页源代码看到的，他在图片地址处写的本地图片的地址，所以帖子本来有图片 ...

对

CZH206