学了一个多月python了，终于有能拿得出手的作品了

923204485

历时一个月零10天，功夫不负有心人

用Scrapy框架写的爬取淘宝商品的爬虫，开放搜索哦

爬取的商品名有英文有中文，不知道怎么把中文提取出来

大神勿喷

1. # -*- coding: utf-8 -*-
   
2. 
   
3. 
   
4. import scrapy
   
5. import json
   
6. from Taobao.items import TaobaoItem
   
7. # url编码
   
8. from urllib.parse import quote
   
9. # url解码
   
10. from urllib.parse import unquote
    
11. 
    
12. 
    
13. class TaobaoSpider(scrapy.Spider):
    
14.     name = 'taobao'
    
15.     # allowed_domains = ['taobao.com/']
    
16.     page = input('请输入打印页数:')
    
17.     Quote = input('请输入要搜索的商品名')
    
18.     start_urls = ['https://ai.taobao.com/search/getItem.htm?_tb_token_=e3d450b1e33e&__ajax__=1&pid=mm_33793785_3431230_471812702&unid=&clk1=&page={}&pageSize=60&pvid=200_11.224.194.119_358_1541678031255&squareFlag=&sourceId=search&ppathName=&supportCod=&city=&ppath=&dc12=&pageNav=false&itemAssurance=&fcatName=&price=&cat=&from=&tmall=&key={}&fcat=&ppage=0&debug=false&maxPageSize=200&sort=&exchange7=&custAssurance=&postFree=&npx=50&location='.format(int(page),quote(Quote,'utf-8'))]
    
19.     a = 1
    
20. 
    
21. 
    
22. 
    
23.     def parse(self, response):
    
24.         js = json.loads(response.body)['result']['auction']
    
25. 
    
26.         f = open('{}.csv'.format(self.Quote), 'w', encoding='utf-8')
    
27.         f.write("商品名,价格,店名\n")
    
28. 
    
29.         for text in js:
    
30.             dict = {
    
31.                 'name' : text['description'],
    
32.                 'nick' : text['nick'],
    
33.                 'realPrice' : text['realPrice'],
    
34.             }
    
35. 
    
36.             f.write("{name},{realPrice},{nick}\n".format(**dict))
    
37. 
    
38.             origPicUrl = 'https:' + text['origPicUrl']
    
39.             item = TaobaoItem()
    
40.             item['origPicUrl'] = origPicUrl
    
41. 
    
42.             yield item
    
43. 
    
44.         f.close()
    
45. 
    
46.         if self.page != '1':
    
47.             print('=' * 40 + '第' + self.page + '页下载完毕' + '=' * 40)
    
48. 
    
49.         if self.page != '1':
    
50.             for n in range(2,int(self.page)):
    
51.                 yield scrapy.Request('https://ai.taobao.com/search/getItem.htm?_tb_token_=e3d450b1e33e&__ajax__=1&pid=mm_33793785_3431230_471812702&unid=&clk1=&page={}&pageSize=60&pvid=200_11.224.194.119_358_1541678031255&squareFlag=&sourceId=search&ppathName=&supportCod=&city=&ppath=&dc12=&pageNav=false&itemAssurance=&fcatName=&price=&cat=&from=&tmall=&key=python%E7%BC%96%E7%A8%8B%E4%BB%8E%E5%85%A5%E9%97%A8%E5%88%B0%E5%AE%9E%E6%88%98&fcat=&ppage=0&debug=false&maxPageSize=200&sort=&exchange7=&custAssurance=&postFree=&npx=50&location='.format(n),self.parse)

复制代码

923204485

不知道怎么把字符串中的中文提取出来，有的商品名有英文有的没英文，不会提取

月光沙漠

好奇为何爬的商品是这个，还有一个胖次的表吧

923204485

月光沙漠 发表于 2018-11-9 07:52
好奇为何爬的商品是这个，还有一个胖次的表吧

为了吸引眼球

幽梦三影

这是一只蝗虫

923204485

幽梦三影 发表于 2018-11-9 08:53
这是一只蝗虫

ssxx43

你选择爬这些店铺，应该爬图片，不应该是文字。

考拉熊

过来顶一下

DaQuo

6666666666

TCY

感觉你用requests模块，效果会更好……

13572044595

零基础  学 python ？

斯林

幽梦三影 发表于 2018-11-9 08:53
这是一只蝗虫

蝗虫，666666

923204485

13572044595 发表于 2018-11-11 20:14
零基础  学 python ？

对啊

地表最强微商

同样是学一个月，咋就差距这么大呢，我现在才看到函数那里

i2x

且看我一个月后！！

lexzhang

加油加油

cupbbboom

lz   能撑多久啊?  给你个有难度的题目：爬取价格 、 打折优惠、优惠时间....   这个就比现在做的能好玩哦 能玩一年

cupbbboom

地表最强微商 发表于 2018-11-14 09:44
同样是学一个月，咋就差距这么大呢，我现在才看到函数那里

lz还不是vip，重点！！！

地表最强微商

cupbbboom 发表于 2018-11-14 16:14
lz还不是vip，重点！！！

你的补刀很nice，你可以竞选年度最佳补刀手称号

爱学习的懒懒君

刺……刺激