设为首页收藏本站
切换到窄版

鱼C论坛

 找回密码
 立即注册
鱼C论坛»论坛 › 编程语言专区 › Python交流 › 爬虫
返回列表 发新帖
查看: 5777|回复: 17

[已解决]爬虫

[复制链接]
温木zou
发表于 2020-7-16 14:41:20 | 显示全部楼层 |阅读模式
20鱼币
现在的淘宝（宝贝名称，销量等数据）怎么爬？有没有大佬能指导下？
最佳答案
月排行榜 / 总排行榜
nahongyan1997
2020-7-16 14:41:21
我们不创造代码，我们只是代码的搬运工。
淘宝商品信息爬虫：
  1. import re
  2. import os
  3. import json
  4. import time
  5. import requests
  6. import jsonpath
  7. from openpyxl import Workbook, load_workbook

  9. print('欢迎使用淘宝查询助理')
  10. print('本程序旨在帮助您更容易挑选到您所需要的商品')
  11. good = input('请输入要查询的商品名称：')
  12. low_price = int(input('请输入您所能接受的商品最低价格：'))
  13. high_price = int(input('请输入您所能接受的商品最高价格：'))
  14. print('请稍等片刻,数据正在获取中')
  15. print('{0}.xlsx正在创建中，您可以在本程序同目录下找到'.format(good))
  16. print('请等待程序关闭后再打开表格，谢谢配合！')
  17. print('祝您购物愉快！\n')
  18. print('-------------------------------------------------------------------')
  19. class TaoBaoSpider(object):
  20.     """淘宝爬虫"""
  21.     def __init__(self, key, start_price, end_price):

  23.         self.headers = {
  24.             'User-Agent': 'Mozilla/5.0 (iPhone; CPU iPhone OS 10_3 like Mac OS X) AppleWebKit/603.1.30'
  25.                           ' (KHTML, like Gecko) Version/10.0 Mobile/14E277 Safari/602.1',
  26.         }
  27.         self.start_price = start_price
  28.         self.end_price = end_price
  29.         self.count = 1
  30.         self.rank_dict = {
  31.             '0': '无',
  32.             '1': '1心',
  33.             '2': '2心',
  34.             '3': '3心',
  35.             '4': '4心',
  36.             '5': '5心',
  37.             '6': '1钻',
  38.             '7': '2钻',
  39.             '8': '3钻',
  40.             '9': '4钻',
  41.             '10': '5钻',
  42.             '11': '1蓝冠',
  43.             '12': '2蓝冠',
  44.             '13': '3蓝冠',
  45.             '14': '4蓝冠',
  46.             '15': '5蓝冠',
  47.             '16': '1金冠',
  48.             '17': '2金冠',
  49.             '18': '3金冠',
  50.             '19': '4金冠',
  51.             '20': '5金冠'
  52.         }
  53.         self.key = key
  54.         self.file_path = f'{self.key}.xlsx'
  55.         self.shop_set = set()
  56.         if os.path.exists(self.file_path):
  57.             self.wb = load_workbook(self.file_path)
  58.             self.ws = self.wb.active
  59.             max_row = self.ws.max_row
  60.             for row in range(2, max_row + 1):
  61.                 value = self.ws.cell(row=row, column=2).value.strip()
  62.                 self.shop_set.add(value)

  64.         else:
  65.             self.wb = Workbook()
  66.             self.ws = self.wb.active
  67.             self.ws.append(['序号', '商品ID', '店铺ID', '商城类型', '标题', '链接', '价格', '月销', '地区', '店铺名称',
  68.                             '店铺等级', '评论总数', '店铺评分', '相关描述', '图片评论', '追加评论', '好评', '中评', '差评', '与描述相符'])

  70.     def get_img_add_key(self, item_id, user_id, s_type):

  72.         url = f'https://rate.taobao.com/detailCommon.htm?auctionNumId={item_id}&userNumId={user_id}'

  74.         headers = self.headers
  75.         headers['Referer'] = f'https://item.taobao.com/item.htm?id={item_id}'

  77.         response = requests.get(url, headers=headers)
  78.         info = re.findall('\((.+}?)\)', response.text)[0]
  79.         info = json.loads(info)
  80.         data = info['data']
  81.         keys = data['impress']
  82.         keys = [f"{key['title']}({key['count']})" for key in keys]
  83.         keys = ','.join(keys)
  84.         if s_type == '淘宝':
  85.             add_comment = data['count']['additional']
  86.             img_comment = data['count']['pic']
  87.             god_comment = data['count']['good']
  88.             mid_comment = data['count']['normal']
  89.             bad_comment = data['count']['bad']
  90.         else:
  91.             add_comment = data['count']['additional']
  92.             img_comment = data['count']['pic']
  93.             god_comment = data['count']['good']
  94.             mid_comment = data['count']['normal']
  95.             bad_comment = data['count']['bad']

  97.         correspond = data['correspond']

  99.         line = [keys, add_comment, img_comment, god_comment, mid_comment, bad_comment, correspond]
  100.         return line

  102.     def get_comment_key(self, item_id):
  103.         url = f'https://rate.tmall.com/listTagClouds.htm?itemId={item_id}'

  105.         response = requests.get(url, headers=self.headers)
  106.         print(response.text)
  107.         info = re.findall(r'\((.+}?)\)', response.text)[0]
  108.         info = json.loads(info)
  109.         keys = info['tags']['tagClouds']
  110.         keys = [f"{key['tag']}({key['count']})" for key in keys]
  111.         keys = ','.join(keys)
  112.         return keys

  114.     def get_info(self, data):
  115.         title = data['raw_title']
  116.         city = data['item_loc']
  117.         price = data['view_price']
  118.         item_id = data['nid']
  119.         url = data['detail_url']
  120.         if item_id in self.shop_set:
  121.             print(title, '存在')
  122.             self.count += 1
  123.             return

  125.         user_id = data['user_id']

  127.         if 'tmall' in url or 'mclick' in url:
  128.             s_type = '天猫'
  129.             url = 'https://detail.tmall.com/item.htm?id={}'.format(item_id)
  130.         elif 'taobao' in url:
  131.             s_type = '淘宝'
  132.             url = 'http://item.taobao.com/item.htm?id={}'.format(item_id)

  134.         else:
  135.             s_type = '未知'

  137.         time.sleep(5)
  138.         x_url = 'https://h5api.m.taobao.com/h5/mtop.taobao.detail.getdetail/6.0/?data=%7B%22itemNumId%22%3A%22{}%22%7D'.format(
  139.             item_id)
  140.         try:
  141.             x_data = requests.get(x_url, headers=self.headers).json()['data']
  142.         except:
  143.             return
  144.         try:
  145.             shopName = x_data['seller']['shopName']
  146.         except:
  147.             shopName = ''

  149.         try:
  150.             rank = x_data['seller']['creditLevel']
  151.             rank = self.rank_dict[rank]
  152.         except:
  153.             rank = '无'
  154.         try:
  155.             youhui_json = json.loads(x_data['apiStack'][0]['value'])
  156.         except:
  157.             youhui_json = {}
  158.         try:
  159.             month_xiao = youhui_json['item']['sellCount']
  160.         except:
  161.             month_xiao = ''

  163.         # 评价数量
  164.         try:
  165.             comment_num = x_data['rate']['totalCount']
  166.         except KeyError:
  167.             comment_num = ''

  169.         line = self.get_img_add_key(item_id, user_id, s_type)

  171.         if shopName == '':
  172.             print('闲鱼?')
  173.             return

  175.         # 店铺评分
  176.         shop_source = x_data['seller']['evaluates']
  177.         shop_source = [':'.join([source['title'], source['score']]) for source in shop_source]
  178.         shop_source = ','.join(shop_source)

  180.         item = [str(self.count), item_id + '\t', user_id + '\t', s_type, title, url, price, month_xiao, city, shopName, rank, comment_num, shop_source]
  181.         item += line
  182.         print(item)
  183.         self.ws.append(item)
  184.         self.wb.save(self.file_path)
  185.         self.count += 1
  186.         self.shop_set.add(item_id)

  188.     def search(self):
  189.         session = requests.session()
  190.         cookie = 't=85db5e7cb0133f23f29f98c7d6955615; cna=3uklFEhvXUoCAd9H6ovaVLTG; isg=BM3NGT0Oqmp6Mg4qfcGPnvDY3-pNqzF2joji8w9SGWTYBu241_taTS6UdFrF3Rk0; miid=983575671563913813; thw=cn; um=535523100CBE37C36EEFF761CFAC96BC4CD04CD48E6631C3112393F438E181DF6B34171FDA66B2C2CD43AD3E795C914C34A100CE538767508DAD6914FD9E61CE; _cc_=W5iHLLyFfA%3D%3D; tg=0; enc=oRI1V9aX5p%2BnPbULesXvnR%2BUwIh9CHIuErw0qljnmbKe0Ecu1Gxwa4C4%2FzONeGVH9StU4Isw64KTx9EHQEhI2g%3D%3D; hng=CN%7Czh-CN%7CCNY%7C156; mt=ci=0_0; hibext_instdsigdipv2=1; JSESSIONID=EC33B48CDDBA7F11577AA9FEB44F0DF3'

  192.         session.headers = {
  193.             'User-Agent': 'Mozilla/5.0 (iPhone; CPU iPhone OS 10_3 like Mac OS X) AppleWebKit/603.1.30 (KHTML, like Gecko) Version/10.0 Mobile/14E277 Safari/602.1',
  194.             'cookie': cookie,
  195.             'referer': 'https://s.taobao.com/search?q=%E5%86%B0%E7%AE%B1&imgfile=&js=1&stats_click=search_radio_all%3A1&initiative_id=staobaoz_20190804&ie=utf8&sort=sale-desc&bcoffset=0&p4ppushleft=%2C48&s=1364'
  196.         }

  198.         url = 'https://s.taobao.com/search?rec_type=1&q={}&sort=sale-desc&s=0&ajax=true&data-value=396&filter=reserve_price%5B{}%2C{}%5D'.format(self.key, self.start_price, self.end_price)
  199.         start_flag = 0
  200.         while True:
  201.             if start_flag > 10:
  202.                 session.headers['cookie'] = 't=85db5e7cb0133f23f29f98c7d6955615; cna=3uklFEhvXUoCAd9H6ovaVLTG; isg=BM3NGT0Oqmp6Mg4qfcGPnvDY3-pNqzF2joji8w9SGWTYBu241_taTS6UdFrF3Rk0; miid=983575671563913813; thw=cn; um=535523100CBE37C36EEFF761CFAC96BC4CD04CD48E6631C3112393F438E181DF6B34171FDA66B2C2CD43AD3E795C914C34A100CE538767508DAD6914FD9E61CE; _cc_=W5iHLLyFfA%3D%3D; tg=0; enc=oRI1V9aX5p%2BnPbULesXvnR%2BUwIh9CHIuErw0qljnmbKe0Ecu1Gxwa4C4%2FzONeGVH9StU4Isw64KTx9EHQEhI2g%3D%3D; hng=CN%7Czh-CN%7CCNY%7C156; mt=ci=0_0; hibext_instdsigdipv2=1; JSESSIONID=EC33B48CDDBA7F11577AA9FEB44F0DF3'
  203.                 start_flag = 0
  204.             req = session.get(url).json()
  205.             try:
  206.                 capurl = req['url']
  207.                 print('验证码', capurl)
  208.                 time.sleep(1)
  209.                 # cookies = self.loop.run_until_complete(main(capurl))
  210.                 # print(cookies)
  211.                 # session.cookies.set('x5sec', cookies['x5sec'])
  212.                 start_flag += 1
  213.             except:
  214.                 break

  216.         page = jsonpath.jsonpath(req, '$..totalPage')[0]
  217.         datas = req['mods']['itemlist']['data']['auctions']
  218.         for data in datas:
  219.             self.get_info(data)

  221.         for p in range(1, page):
  222.             p_va = p * 44
  223.             url = 'https://s.taobao.com/search?rec_type=1&q={}&sort=sale-desc&s={}&ajax=true&data-value=396&filter=reserve_price%5B{}%2C{}%5D'.format(self.key, p_va, self.start_price, self.end_price)
  224.             print(url)
  225.             flag = 0
  226.             while True:
  227.                 if flag > 10:
  228.                     session.headers['cookie'] = 't=85db5e7cb0133f23f29f98c7d6955615; cna=3uklFEhvXUoCAd9H6ovaVLTG; isg=BM3NGT0Oqmp6Mg4qfcGPnvDY3-pNqzF2joji8w9SGWTYBu241_taTS6UdFrF3Rk0; miid=983575671563913813; thw=cn; um=535523100CBE37C36EEFF761CFAC96BC4CD04CD48E6631C3112393F438E181DF6B34171FDA66B2C2CD43AD3E795C914C34A100CE538767508DAD6914FD9E61CE; _cc_=W5iHLLyFfA%3D%3D; tg=0; enc=oRI1V9aX5p%2BnPbULesXvnR%2BUwIh9CHIuErw0qljnmbKe0Ecu1Gxwa4C4%2FzONeGVH9StU4Isw64KTx9EHQEhI2g%3D%3D; hng=CN%7Czh-CN%7CCNY%7C156; mt=ci=0_0; hibext_instdsigdipv2=1; JSESSIONID=EC33B48CDDBA7F11577AA9FEB44F0DF3'

  230.                     flag = 0
  231.                 req = session.get(url).json()
  232.                 try:
  233.                     capurl = req['url']
  234.                     print('验证码', capurl)
  235.                     # cookies = self.loop.run_until_complete(main(capurl))
  236.                     # print(cookies)
  237.                     # session.cookies.set('x5sec', cookies['x5sec'])
  238.                     time.sleep(1)
  239.                     flag += 1
  240.                 except:
  241.                     break

  243.             datas = req['mods']['itemlist']['data']['auctions']
  244.             for data in datas:
  245.                 self.get_info(data)


  248. if __name__ == '__main__':
  249.     tb = TaoBaoSpider(good, low_price, high_price)
  250.     tb.search()
复制代码


搬运来自【鱼c论坛作品展示区】

如果您对我的答案感到满意，请设置最佳答案。

最佳答案

nahongyan1997

查看完整内容

我们不创造代码，我们只是代码的搬运工。 淘宝商品信息爬虫： 搬运来自【鱼c论坛作品展示区】 如果您对我的答案感到满意，请设置最佳答案。
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

nahongyan1997
发表于 2020-7-16 14:41:21 | 显示全部楼层    本楼为最佳答案   
我们不创造代码，我们只是代码的搬运工。
淘宝商品信息爬虫：
  1. import re
  2. import os
  3. import json
  4. import time
  5. import requests
  6. import jsonpath
  7. from openpyxl import Workbook, load_workbook

  9. print('欢迎使用淘宝查询助理')
  10. print('本程序旨在帮助您更容易挑选到您所需要的商品')
  11. good = input('请输入要查询的商品名称：')
  12. low_price = int(input('请输入您所能接受的商品最低价格：'))
  13. high_price = int(input('请输入您所能接受的商品最高价格：'))
  14. print('请稍等片刻,数据正在获取中')
  15. print('{0}.xlsx正在创建中，您可以在本程序同目录下找到'.format(good))
  16. print('请等待程序关闭后再打开表格，谢谢配合！')
  17. print('祝您购物愉快！\n')
  18. print('-------------------------------------------------------------------')
  19. class TaoBaoSpider(object):
  20.     """淘宝爬虫"""
  21.     def __init__(self, key, start_price, end_price):

  23.         self.headers = {
  24.             'User-Agent': 'Mozilla/5.0 (iPhone; CPU iPhone OS 10_3 like Mac OS X) AppleWebKit/603.1.30'
  25.                           ' (KHTML, like Gecko) Version/10.0 Mobile/14E277 Safari/602.1',
  26.         }
  27.         self.start_price = start_price
  28.         self.end_price = end_price
  29.         self.count = 1
  30.         self.rank_dict = {
  31.             '0': '无',
  32.             '1': '1心',
  33.             '2': '2心',
  34.             '3': '3心',
  35.             '4': '4心',
  36.             '5': '5心',
  37.             '6': '1钻',
  38.             '7': '2钻',
  39.             '8': '3钻',
  40.             '9': '4钻',
  41.             '10': '5钻',
  42.             '11': '1蓝冠',
  43.             '12': '2蓝冠',
  44.             '13': '3蓝冠',
  45.             '14': '4蓝冠',
  46.             '15': '5蓝冠',
  47.             '16': '1金冠',
  48.             '17': '2金冠',
  49.             '18': '3金冠',
  50.             '19': '4金冠',
  51.             '20': '5金冠'
  52.         }
  53.         self.key = key
  54.         self.file_path = f'{self.key}.xlsx'
  55.         self.shop_set = set()
  56.         if os.path.exists(self.file_path):
  57.             self.wb = load_workbook(self.file_path)
  58.             self.ws = self.wb.active
  59.             max_row = self.ws.max_row
  60.             for row in range(2, max_row + 1):
  61.                 value = self.ws.cell(row=row, column=2).value.strip()
  62.                 self.shop_set.add(value)

  64.         else:
  65.             self.wb = Workbook()
  66.             self.ws = self.wb.active
  67.             self.ws.append(['序号', '商品ID', '店铺ID', '商城类型', '标题', '链接', '价格', '月销', '地区', '店铺名称',
  68.                             '店铺等级', '评论总数', '店铺评分', '相关描述', '图片评论', '追加评论', '好评', '中评', '差评', '与描述相符'])

  70.     def get_img_add_key(self, item_id, user_id, s_type):

  72.         url = f'https://rate.taobao.com/detailCommon.htm?auctionNumId={item_id}&userNumId={user_id}'

  74.         headers = self.headers
  75.         headers['Referer'] = f'https://item.taobao.com/item.htm?id={item_id}'

  77.         response = requests.get(url, headers=headers)
  78.         info = re.findall('\((.+}?)\)', response.text)[0]
  79.         info = json.loads(info)
  80.         data = info['data']
  81.         keys = data['impress']
  82.         keys = [f"{key['title']}({key['count']})" for key in keys]
  83.         keys = ','.join(keys)
  84.         if s_type == '淘宝':
  85.             add_comment = data['count']['additional']
  86.             img_comment = data['count']['pic']
  87.             god_comment = data['count']['good']
  88.             mid_comment = data['count']['normal']
  89.             bad_comment = data['count']['bad']
  90.         else:
  91.             add_comment = data['count']['additional']
  92.             img_comment = data['count']['pic']
  93.             god_comment = data['count']['good']
  94.             mid_comment = data['count']['normal']
  95.             bad_comment = data['count']['bad']

  97.         correspond = data['correspond']

  99.         line = [keys, add_comment, img_comment, god_comment, mid_comment, bad_comment, correspond]
  100.         return line

  102.     def get_comment_key(self, item_id):
  103.         url = f'https://rate.tmall.com/listTagClouds.htm?itemId={item_id}'

  105.         response = requests.get(url, headers=self.headers)
  106.         print(response.text)
  107.         info = re.findall(r'\((.+}?)\)', response.text)[0]
  108.         info = json.loads(info)
  109.         keys = info['tags']['tagClouds']
  110.         keys = [f"{key['tag']}({key['count']})" for key in keys]
  111.         keys = ','.join(keys)
  112.         return keys

  114.     def get_info(self, data):
  115.         title = data['raw_title']
  116.         city = data['item_loc']
  117.         price = data['view_price']
  118.         item_id = data['nid']
  119.         url = data['detail_url']
  120.         if item_id in self.shop_set:
  121.             print(title, '存在')
  122.             self.count += 1
  123.             return

  125.         user_id = data['user_id']

  127.         if 'tmall' in url or 'mclick' in url:
  128.             s_type = '天猫'
  129.             url = 'https://detail.tmall.com/item.htm?id={}'.format(item_id)
  130.         elif 'taobao' in url:
  131.             s_type = '淘宝'
  132.             url = 'http://item.taobao.com/item.htm?id={}'.format(item_id)

  134.         else:
  135.             s_type = '未知'

  137.         time.sleep(5)
  138.         x_url = 'https://h5api.m.taobao.com/h5/mtop.taobao.detail.getdetail/6.0/?data=%7B%22itemNumId%22%3A%22{}%22%7D'.format(
  139.             item_id)
  140.         try:
  141.             x_data = requests.get(x_url, headers=self.headers).json()['data']
  142.         except:
  143.             return
  144.         try:
  145.             shopName = x_data['seller']['shopName']
  146.         except:
  147.             shopName = ''

  149.         try:
  150.             rank = x_data['seller']['creditLevel']
  151.             rank = self.rank_dict[rank]
  152.         except:
  153.             rank = '无'
  154.         try:
  155.             youhui_json = json.loads(x_data['apiStack'][0]['value'])
  156.         except:
  157.             youhui_json = {}
  158.         try:
  159.             month_xiao = youhui_json['item']['sellCount']
  160.         except:
  161.             month_xiao = ''

  163.         # 评价数量
  164.         try:
  165.             comment_num = x_data['rate']['totalCount']
  166.         except KeyError:
  167.             comment_num = ''

  169.         line = self.get_img_add_key(item_id, user_id, s_type)

  171.         if shopName == '':
  172.             print('闲鱼?')
  173.             return

  175.         # 店铺评分
  176.         shop_source = x_data['seller']['evaluates']
  177.         shop_source = [':'.join([source['title'], source['score']]) for source in shop_source]
  178.         shop_source = ','.join(shop_source)

  180.         item = [str(self.count), item_id + '\t', user_id + '\t', s_type, title, url, price, month_xiao, city, shopName, rank, comment_num, shop_source]
  181.         item += line
  182.         print(item)
  183.         self.ws.append(item)
  184.         self.wb.save(self.file_path)
  185.         self.count += 1
  186.         self.shop_set.add(item_id)

  188.     def search(self):
  189.         session = requests.session()
  190.         cookie = 't=85db5e7cb0133f23f29f98c7d6955615; cna=3uklFEhvXUoCAd9H6ovaVLTG; isg=BM3NGT0Oqmp6Mg4qfcGPnvDY3-pNqzF2joji8w9SGWTYBu241_taTS6UdFrF3Rk0; miid=983575671563913813; thw=cn; um=535523100CBE37C36EEFF761CFAC96BC4CD04CD48E6631C3112393F438E181DF6B34171FDA66B2C2CD43AD3E795C914C34A100CE538767508DAD6914FD9E61CE; _cc_=W5iHLLyFfA%3D%3D; tg=0; enc=oRI1V9aX5p%2BnPbULesXvnR%2BUwIh9CHIuErw0qljnmbKe0Ecu1Gxwa4C4%2FzONeGVH9StU4Isw64KTx9EHQEhI2g%3D%3D; hng=CN%7Czh-CN%7CCNY%7C156; mt=ci=0_0; hibext_instdsigdipv2=1; JSESSIONID=EC33B48CDDBA7F11577AA9FEB44F0DF3'

  192.         session.headers = {
  193.             'User-Agent': 'Mozilla/5.0 (iPhone; CPU iPhone OS 10_3 like Mac OS X) AppleWebKit/603.1.30 (KHTML, like Gecko) Version/10.0 Mobile/14E277 Safari/602.1',
  194.             'cookie': cookie,
  195.             'referer': 'https://s.taobao.com/search?q=%E5%86%B0%E7%AE%B1&imgfile=&js=1&stats_click=search_radio_all%3A1&initiative_id=staobaoz_20190804&ie=utf8&sort=sale-desc&bcoffset=0&p4ppushleft=%2C48&s=1364'
  196.         }

  198.         url = 'https://s.taobao.com/search?rec_type=1&q={}&sort=sale-desc&s=0&ajax=true&data-value=396&filter=reserve_price%5B{}%2C{}%5D'.format(self.key, self.start_price, self.end_price)
  199.         start_flag = 0
  200.         while True:
  201.             if start_flag > 10:
  202.                 session.headers['cookie'] = 't=85db5e7cb0133f23f29f98c7d6955615; cna=3uklFEhvXUoCAd9H6ovaVLTG; isg=BM3NGT0Oqmp6Mg4qfcGPnvDY3-pNqzF2joji8w9SGWTYBu241_taTS6UdFrF3Rk0; miid=983575671563913813; thw=cn; um=535523100CBE37C36EEFF761CFAC96BC4CD04CD48E6631C3112393F438E181DF6B34171FDA66B2C2CD43AD3E795C914C34A100CE538767508DAD6914FD9E61CE; _cc_=W5iHLLyFfA%3D%3D; tg=0; enc=oRI1V9aX5p%2BnPbULesXvnR%2BUwIh9CHIuErw0qljnmbKe0Ecu1Gxwa4C4%2FzONeGVH9StU4Isw64KTx9EHQEhI2g%3D%3D; hng=CN%7Czh-CN%7CCNY%7C156; mt=ci=0_0; hibext_instdsigdipv2=1; JSESSIONID=EC33B48CDDBA7F11577AA9FEB44F0DF3'
  203.                 start_flag = 0
  204.             req = session.get(url).json()
  205.             try:
  206.                 capurl = req['url']
  207.                 print('验证码', capurl)
  208.                 time.sleep(1)
  209.                 # cookies = self.loop.run_until_complete(main(capurl))
  210.                 # print(cookies)
  211.                 # session.cookies.set('x5sec', cookies['x5sec'])
  212.                 start_flag += 1
  213.             except:
  214.                 break

  216.         page = jsonpath.jsonpath(req, '$..totalPage')[0]
  217.         datas = req['mods']['itemlist']['data']['auctions']
  218.         for data in datas:
  219.             self.get_info(data)

  221.         for p in range(1, page):
  222.             p_va = p * 44
  223.             url = 'https://s.taobao.com/search?rec_type=1&q={}&sort=sale-desc&s={}&ajax=true&data-value=396&filter=reserve_price%5B{}%2C{}%5D'.format(self.key, p_va, self.start_price, self.end_price)
  224.             print(url)
  225.             flag = 0
  226.             while True:
  227.                 if flag > 10:
  228.                     session.headers['cookie'] = 't=85db5e7cb0133f23f29f98c7d6955615; cna=3uklFEhvXUoCAd9H6ovaVLTG; isg=BM3NGT0Oqmp6Mg4qfcGPnvDY3-pNqzF2joji8w9SGWTYBu241_taTS6UdFrF3Rk0; miid=983575671563913813; thw=cn; um=535523100CBE37C36EEFF761CFAC96BC4CD04CD48E6631C3112393F438E181DF6B34171FDA66B2C2CD43AD3E795C914C34A100CE538767508DAD6914FD9E61CE; _cc_=W5iHLLyFfA%3D%3D; tg=0; enc=oRI1V9aX5p%2BnPbULesXvnR%2BUwIh9CHIuErw0qljnmbKe0Ecu1Gxwa4C4%2FzONeGVH9StU4Isw64KTx9EHQEhI2g%3D%3D; hng=CN%7Czh-CN%7CCNY%7C156; mt=ci=0_0; hibext_instdsigdipv2=1; JSESSIONID=EC33B48CDDBA7F11577AA9FEB44F0DF3'

  230.                     flag = 0
  231.                 req = session.get(url).json()
  232.                 try:
  233.                     capurl = req['url']
  234.                     print('验证码', capurl)
  235.                     # cookies = self.loop.run_until_complete(main(capurl))
  236.                     # print(cookies)
  237.                     # session.cookies.set('x5sec', cookies['x5sec'])
  238.                     time.sleep(1)
  239.                     flag += 1
  240.                 except:
  241.                     break

  243.             datas = req['mods']['itemlist']['data']['auctions']
  244.             for data in datas:
  245.                 self.get_info(data)


  248. if __name__ == '__main__':
  249.     tb = TaoBaoSpider(good, low_price, high_price)
  250.     tb.search()
复制代码


搬运来自【鱼c论坛作品展示区】

如果您对我的答案感到满意，请设置最佳答案。
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

johnnyb
发表于 2020-7-16 14:48:09 | 显示全部楼层
我也想知道.
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

老八秘制
发表于 2020-7-16 15:01:17 | 显示全部楼层
用手
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

yhhpf
发表于 2020-7-16 15:21:46 | 显示全部楼层
老八秘制 发表于 2020-7-16 15:01
用手

噗...
真·有手就行
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

Stubborn
发表于 2020-7-16 15:50:59 | 显示全部楼层
yhhpf 发表于 2020-7-16 15:21
噗...
真·有手就行

crtl + c  然后打开excle   ctrl + v
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

三体人8010
发表于 2020-7-16 17:36:34 | 显示全部楼层
老哥我昨天开始学，等我学会了我来告诉你
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

陈尚涵
发表于 2020-7-21 16:54:18 | 显示全部楼层
淘宝连接了好多外部文件呢，是最难爬的一个，具体我也不会
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

嘉岳呀
发表于 2020-7-21 21:34:32 | 显示全部楼层
老八秘制 发表于 2020-7-16 15:01
用手

真的用手就行的
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

yanghongchen666
发表于 2020-7-23 07:53:45 | 显示全部楼层
我是用selenium爬取的这里有个github链接你可以参考一下，要是觉得有点难度我可以给你推荐一个视频如果有需要可以联系我
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

嘉岳呀
发表于 2020-7-23 13:40:59 | 显示全部楼层
  1. import re
  2. import os
  3. import json
  4. import time
  5. import requests
  6. import jsonpath
  7. from openpyxl import Workbook, load_workbook

  9. print('欢迎使用淘宝查询助理')
  10. print('本程序旨在帮助您更容易挑选到您所需要的商品')
  11. good = input('请输入要查询的商品名称：')
  12. low_price = int(input('请输入您所能接受的商品最低价格：'))
  13. high_price = int(input('请输入您所能接受的商品最高价格：'))
  14. print('请稍等片刻,数据正在获取中')
  15. print('{0}.xlsx正在创建中，您可以在本程序同目录下找到'.format(good))
  16. print('请等待程序关闭后再打开表格，谢谢配合！')
  17. print('祝您购物愉快！\n')
  18. print('-------------------------------------------------------------------')
  19. class TaoBaoSpider(object):
  20.     """淘宝爬虫"""
  21.     def __init__(self, key, start_price, end_price):

  23.         self.headers = {
  24.             'User-Agent': 'Mozilla/5.0 (iPhone; CPU iPhone OS 10_3 like Mac OS X) AppleWebKit/603.1.30'
  25.                           ' (KHTML, like Gecko) Version/10.0 Mobile/14E277 Safari/602.1',
  26.         }
  27.         self.start_price = start_price
  28.         self.end_price = end_price
  29.         self.count = 1
  30.         self.rank_dict = {
  31.             '0': '无',
  32.             '1': '1心',
  33.             '2': '2心',
  34.             '3': '3心',
  35.             '4': '4心',
  36.             '5': '5心',
  37.             '6': '1钻',
  38.             '7': '2钻',
  39.             '8': '3钻',
  40.             '9': '4钻',
  41.             '10': '5钻',
  42.             '11': '1蓝冠',
  43.             '12': '2蓝冠',
  44.             '13': '3蓝冠',
  45.             '14': '4蓝冠',
  46.             '15': '5蓝冠',
  47.             '16': '1金冠',
  48.             '17': '2金冠',
  49.             '18': '3金冠',
  50.             '19': '4金冠',
  51.             '20': '5金冠'
  52.         }
  53.         self.key = key
  54.         self.file_path = f'{self.key}.xlsx'
  55.         self.shop_set = set()
  56.         if os.path.exists(self.file_path):
  57.             self.wb = load_workbook(self.file_path)
  58.             self.ws = self.wb.active
  59.             max_row = self.ws.max_row
  60.             for row in range(2, max_row + 1):
  61.                 value = self.ws.cell(row=row, column=2).value.strip()
  62.                 self.shop_set.add(value)

  64.         else:
  65.             self.wb = Workbook()
  66.             self.ws = self.wb.active
  67.             self.ws.append(['序号', '商品ID', '店铺ID', '商城类型', '标题', '链接', '价格', '月销', '地区', '店铺名称',
  68.                             '店铺等级', '评论总数', '店铺评分', '相关描述', '图片评论', '追加评论', '好评', '中评', '差评', '与描述相符'])

  70.     def get_img_add_key(self, item_id, user_id, s_type):

  72.         url = f'https://rate.taobao.com/detailCommon.htm?auctionNumId={item_id}&userNumId={user_id}'

  74.         headers = self.headers
  75.         headers['Referer'] = f'https://item.taobao.com/item.htm?id={item_id}'

  77.         response = requests.get(url, headers=headers)
  78.         info = re.findall('\((.+}?)\)', response.text)[0]
  79.         info = json.loads(info)
  80.         data = info['data']
  81.         keys = data['impress']
  82.         keys = [f"{key['title']}({key['count']})" for key in keys]
  83.         keys = ','.join(keys)
  84.         if s_type == '淘宝':
  85.             add_comment = data['count']['additional']
  86.             img_comment = data['count']['pic']
  87.             god_comment = data['count']['good']
  88.             mid_comment = data['count']['normal']
  89.             bad_comment = data['count']['bad']
  90.         else:
  91.             add_comment = data['count']['additional']
  92.             img_comment = data['count']['pic']
  93.             god_comment = data['count']['good']
  94.             mid_comment = data['count']['normal']
  95.             bad_comment = data['count']['bad']

  97.         correspond = data['correspond']

  99.         line = [keys, add_comment, img_comment, god_comment, mid_comment, bad_comment, correspond]
  100.         return line

  102.     def get_comment_key(self, item_id):
  103.         url = f'https://rate.tmall.com/listTagClouds.htm?itemId={item_id}'

  105.         response = requests.get(url, headers=self.headers)
  106.         print(response.text)
  107.         info = re.findall(r'\((.+}?)\)', response.text)[0]
  108.         info = json.loads(info)
  109.         keys = info['tags']['tagClouds']
  110.         keys = [f"{key['tag']}({key['count']})" for key in keys]
  111.         keys = ','.join(keys)
  112.         return keys

  114.     def get_info(self, data):
  115.         title = data['raw_title']
  116.         city = data['item_loc']
  117.         price = data['view_price']
  118.         item_id = data['nid']
  119.         url = data['detail_url']
  120.         if item_id in self.shop_set:
  121.             print(title, '存在')
  122.             self.count += 1
  123.             return

  125.         user_id = data['user_id']

  127.         if 'tmall' in url or 'mclick' in url:
  128.             s_type = '天猫'
  129.             url = 'https://detail.tmall.com/item.htm?id={}'.format(item_id)
  130.         elif 'taobao' in url:
  131.             s_type = '淘宝'
  132.             url = 'http://item.taobao.com/item.htm?id={}'.format(item_id)

  134.         else:
  135.             s_type = '未知'

  137.         time.sleep(5)
  138.         x_url = 'https://h5api.m.taobao.com/h5/mtop.taobao.detail.getdetail/6.0/?data=%7B%22itemNumId%22%3A%22{}%22%7D'.format(
  139.             item_id)
  140.         try:
  141.             x_data = requests.get(x_url, headers=self.headers).json()['data']
  142.         except:
  143.             return
  144.         try:
  145.             shopName = x_data['seller']['shopName']
  146.         except:
  147.             shopName = ''

  149.         try:
  150.             rank = x_data['seller']['creditLevel']
  151.             rank = self.rank_dict[rank]
  152.         except:
  153.             rank = '无'
  154.         try:
  155.             youhui_json = json.loads(x_data['apiStack'][0]['value'])
  156.         except:
  157.             youhui_json = {}
  158.         try:
  159.             month_xiao = youhui_json['item']['sellCount']
  160.         except:
  161.             month_xiao = ''

  163.         # 评价数量
  164.         try:
  165.             comment_num = x_data['rate']['totalCount']
  166.         except KeyError:
  167.             comment_num = ''

  169.         line = self.get_img_add_key(item_id, user_id, s_type)

  171.         if shopName == '':
  172.             print('闲鱼?')
  173.             return

  175.         # 店铺评分
  176.         shop_source = x_data['seller']['evaluates']
  177.         shop_source = [':'.join([source['title'], source['score']]) for source in shop_source]
  178.         shop_source = ','.join(shop_source)

  180.         item = [str(self.count), item_id + '\t', user_id + '\t', s_type, title, url, price, month_xiao, city, shopName, rank, comment_num, shop_source]
  181.         item += line
  182.         print(item)
  183.         self.ws.append(item)
  184.         self.wb.save(self.file_path)
  185.         self.count += 1
  186.         self.shop_set.add(item_id)

  188.     def search(self):
  189.         session = requests.session()
  190.         cookie = 't=85db5e7cb0133f23f29f98c7d6955615; cna=3uklFEhvXUoCAd9H6ovaVLTG; isg=BM3NGT0Oqmp6Mg4qfcGPnvDY3-pNqzF2joji8w9SGWTYBu241_taTS6UdFrF3Rk0; miid=983575671563913813; thw=cn; um=535523100CBE37C36EEFF761CFAC96BC4CD04CD48E6631C3112393F438E181DF6B34171FDA66B2C2CD43AD3E795C914C34A100CE538767508DAD6914FD9E61CE; _cc_=W5iHLLyFfA%3D%3D; tg=0; enc=oRI1V9aX5p%2BnPbULesXvnR%2BUwIh9CHIuErw0qljnmbKe0Ecu1Gxwa4C4%2FzONeGVH9StU4Isw64KTx9EHQEhI2g%3D%3D; hng=CN%7Czh-CN%7CCNY%7C156; mt=ci=0_0; hibext_instdsigdipv2=1; JSESSIONID=EC33B48CDDBA7F11577AA9FEB44F0DF3'

  192.         session.headers = {
  193.             'User-Agent': 'Mozilla/5.0 (iPhone; CPU iPhone OS 10_3 like Mac OS X) AppleWebKit/603.1.30 (KHTML, like Gecko) Version/10.0 Mobile/14E277 Safari/602.1',
  194.             'cookie': cookie,
  195.             'referer': 'https://s.taobao.com/search?q=%E5%86%B0%E7%AE%B1&imgfile=&js=1&stats_click=search_radio_all%3A1&initiative_id=staobaoz_20190804&ie=utf8&sort=sale-desc&bcoffset=0&p4ppushleft=%2C48&s=1364'
  196.         }

  198.         url = 'https://s.taobao.com/search?rec_type=1&q={}&sort=sale-desc&s=0&ajax=true&data-value=396&filter=reserve_price%5B{}%2C{}%5D'.format(self.key, self.start_price, self.end_price)
  199.         start_flag = 0
  200.         while True:
  201.             if start_flag > 10:
  202.                 session.headers['cookie'] = 't=85db5e7cb0133f23f29f98c7d6955615; cna=3uklFEhvXUoCAd9H6ovaVLTG; isg=BM3NGT0Oqmp6Mg4qfcGPnvDY3-pNqzF2joji8w9SGWTYBu241_taTS6UdFrF3Rk0; miid=983575671563913813; thw=cn; um=535523100CBE37C36EEFF761CFAC96BC4CD04CD48E6631C3112393F438E181DF6B34171FDA66B2C2CD43AD3E795C914C34A100CE538767508DAD6914FD9E61CE; _cc_=W5iHLLyFfA%3D%3D; tg=0; enc=oRI1V9aX5p%2BnPbULesXvnR%2BUwIh9CHIuErw0qljnmbKe0Ecu1Gxwa4C4%2FzONeGVH9StU4Isw64KTx9EHQEhI2g%3D%3D; hng=CN%7Czh-CN%7CCNY%7C156; mt=ci=0_0; hibext_instdsigdipv2=1; JSESSIONID=EC33B48CDDBA7F11577AA9FEB44F0DF3'
  203.                 start_flag = 0
  204.             req = session.get(url).json()
  205.             try:
  206.                 capurl = req['url']
  207.                 print('验证码', capurl)
  208.                 time.sleep(1)
  209.                 # cookies = self.loop.run_until_complete(main(capurl))
  210.                 # print(cookies)
  211.                 # session.cookies.set('x5sec', cookies['x5sec'])
  212.                 start_flag += 1
  213.             except:
  214.                 break

  216.         page = jsonpath.jsonpath(req, '$..totalPage')[0]
  217.         datas = req['mods']['itemlist']['data']['auctions']
  218.         for data in datas:
  219.             self.get_info(data)

  221.         for p in range(1, page):
  222.             p_va = p * 44
  223.             url = 'https://s.taobao.com/search?rec_type=1&q={}&sort=sale-desc&s={}&ajax=true&data-value=396&filter=reserve_price%5B{}%2C{}%5D'.format(self.key, p_va, self.start_price, self.end_price)
  224.             print(url)
  225.             flag = 0
  226.             while True:
  227.                 if flag > 10:
  228.                     session.headers['cookie'] = 't=85db5e7cb0133f23f29f98c7d6955615; cna=3uklFEhvXUoCAd9H6ovaVLTG; isg=BM3NGT0Oqmp6Mg4qfcGPnvDY3-pNqzF2joji8w9SGWTYBu241_taTS6UdFrF3Rk0; miid=983575671563913813; thw=cn; um=535523100CBE37C36EEFF761CFAC96BC4CD04CD48E6631C3112393F438E181DF6B34171FDA66B2C2CD43AD3E795C914C34A100CE538767508DAD6914FD9E61CE; _cc_=W5iHLLyFfA%3D%3D; tg=0; enc=oRI1V9aX5p%2BnPbULesXvnR%2BUwIh9CHIuErw0qljnmbKe0Ecu1Gxwa4C4%2FzONeGVH9StU4Isw64KTx9EHQEhI2g%3D%3D; hng=CN%7Czh-CN%7CCNY%7C156; mt=ci=0_0; hibext_instdsigdipv2=1; JSESSIONID=EC33B48CDDBA7F11577AA9FEB44F0DF3'

  230.                     flag = 0
  231.                 req = session.get(url).json()
  232.                 try:
  233.                     capurl = req['url']
  234.                     print('验证码', capurl)
  235.                     # cookies = self.loop.run_until_complete(main(capurl))
  236.                     # print(cookies)
  237.                     # session.cookies.set('x5sec', cookies['x5sec'])
  238.                     time.sleep(1)
  239.                     flag += 1
  240.                 except:
  241.                     break

  243.             datas = req['mods']['itemlist']['data']['auctions']
  244.             for data in datas:
  245.                 self.get_info(data)


  248. if __name__ == '__main__':
  249.     tb = TaoBaoSpider(good, low_price, high_price)
  250.     tb.search()
复制代码
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

嘉岳呀
发表于 2020-7-23 13:42:30 | 显示全部楼层
和楼上的一个网址的
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

温木zou
 楼主| 发表于 2020-7-23 22:52:34 | 显示全部楼层
nahongyan1997 发表于 2020-7-23 10:21
我们不创造代码，我们只是代码的搬运工。
淘宝商品信息爬虫：

搬代码的希望能附上原作者的连接 谢谢。
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

温木zou
 楼主| 发表于 2020-7-23 22:53:37 | 显示全部楼层
嘉岳呀 发表于 2020-7-23 13:40

最佳 给楼上了  但是也谢谢了
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

nahongyan1997
发表于 2020-7-23 23:05:26 | 显示全部楼层
温木zou 发表于 2020-7-23 22:53
最佳 给楼上了  但是也谢谢了

主要是我下载代码的时候没想到能用上，没记链接。
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

嘉岳呀
发表于 2020-7-24 08:42:33 | 显示全部楼层
在鱼C论坛上找到的，搜索帖子输入“淘宝”就行
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

嘉岳呀
发表于 2020-7-24 08:44:01 | 显示全部楼层
作者链接：ab1696109084
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

温木zou
 楼主| 发表于 2020-7-25 09:10:29 | 显示全部楼层
嘉岳呀 发表于 2020-7-24 08:44
作者链接：ab1696109084

好的 谢谢啦
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2025-6-24 04:14

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表