[已解决]爬虫求助

jtxs0000

爬取汽车之家的，数据也正常拿到手了
但因为有些车子是新车，没有二手价的，导致在保存的时候报错
IndexError: list index out of range
不知道有没有大佬可以帮忙解决下

代码如下：

1. import parsel
   
2. import requests
   
3. import openpyxl
   
4. 
   
5. def get_url(url):
   
6.    
   
7.     r = requests.get(url, headers=headers).text
   
8.     html = parsel.Selector(r)
   
9.    
   
10.     # 车辆名称
    
11.     name = html.xpath('//div[@class="cards-bottom"]/h4/text()').getall()
    
12. 
    
13.     # 里程数
    
14.     milage = html.xpath('//div[@class="cards-bottom"]/p/text()').getall()
    
15.     print(len(milage))
    
16. 
    
17.     # 现价
    
18.     price = html.xpath('//div[@class="cards-price-box"]/span[1]/text()').getall()
    
19. 
    
20.     print(len(price))
    
21. 
    
22.     # 原价
    
23.     new_price = html.xpath('//div[@class="cards-price-box"]/s/text()').getall()
    
24.     print(len(new_price))
    
25.    
    
26. 
    
27.     datalist = []
    
28.     for i,_ in enumerate(name):
    
29.         data = []
    
30.         data.append(name[i])
    
31.         data.append(milage[i].split("／")[0])
    
32.         data.append(milage[i].split("／")[1])
    
33.         data.append(milage[i].split("／")[2])
    
34.         data.append(price[i])
    
35.         if price == None:
    
36.             continue
    
37.         
    
38.         data.append(new_price[i])
    
39.         if new_price == None:
    
40.             continue
    
41. 
    
42.         datalist.append(data)
    
43.         
    
44.    
    
45.     return datalist
    
46.          
    
47. def toexcel(datalist):
    
48.     wb = openpyxl.Workbook()
    
49.     wb.guess_type = True
    
50.     ws = wb.active
    
51. 
    
52.     ws.append(['车辆名称','里程数','上牌时间',"地点","现价","原价"])
    
53. 
    
54.    
    
55.     for each in datalist:
    
56.         
    
57.         ws.append(each)
    
58. 
    
59.     wb.save("汽车之家.xlsx")
    
60. 
    
61. 
    
62. if __name__ == "__main__":
    
63.    
    
64.     headers = {
    
65.     'User-Agent': 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3760.400 QQBrowser/10.5.4083.400'
    
66. }
    
67.     page = int(input("请输入你要下载的页数："))
    
68.    
    
69.     for i in range(1,page+1):
    
70.         url = f"https://www.che168.com/china/a0_0msdgscncgpi1ltocsp{i}exx0/?pvareaid=102179#currengpostion"
    
71.         print(url)
    
72.         datalist = get_url(url)
    
73.         toexcel(datalist)
    
74. 
    
75.     print("采集完成^_^")

复制代码

最佳答案

月排行榜 / 总排行榜

suchocolate

2020-8-31 14:55:28

jtxs0000 发表于 2020-8-31 14:42
这里打印的就是列表

我用的lxml，把car单独取出来，然后逐个遍历，对于ori_price为空的你可以做一个判断。
然后组成data，写到xlsx里。

1. 
   
2. import requests
   
3. from lxml import etree
   
4. 
   
5. 
   
6. def main():
   
7.     url = 'https://www.che168.com/china/a0_0msdgscncgpi1ltocsp1exx0/?pvareaid=102179#currengpostion'
   
8.     headers = {'user-agent': 'firefox'}
   
9.     r = requests.get(url, headers=headers)
   
10.     html = etree.HTML(r.text)
    
11.     result = html.xpath('//a[@class="carinfo"]')
    
12.     for item in result:
    
13.         name = item.xpath('./div[2]/h4/text()')
    
14.         milage = item.xpath('./div[2]/p/text()')
    
15.         ori_price = item.xpath('./div[2]/div/s/text()')
    
16.         cur_price = item.xpath('./div[2]/div/span[1]/em/text()')
    
17.         print(name, milage, ori_price, cur_price)
    
18. 
    
19. 
    
20. if __name__ == '__main__':
    
21.     main()
    

复制代码

跳转到最佳答案楼层

jtxs0000

这贴沉了？

suchocolate

先占个位。

jtxs0000

suchocolate 发表于 2020-8-31 14:29
第几页的哪个车没有二手价，我需要看一下页面。

时不时在更新的，有时候有时候会往后跳一点，我主要想解决的是当发现那里没有数据的时候我能不能直接跳过或者随便放点东西在里面填充一下

suchocolate

jtxs0000 发表于 2020-8-31 14:32
时不时在更新的，有时候有时候会往后跳一点，我主要想解决的是当发现那里没有数据的时候我能不能直接跳过 ...

看到了，有的没有原价。这个可能得换一种思路了。
把每个车的info分支提取出来，做一个列表，我帮你写写看。

jtxs0000

suchocolate 发表于 2020-8-31 14:36
看到了，有的没有原价。这个可能得换一种思路了。
把每个车的info分支提取出来，做一个列表，我帮你写写 ...

1. headers = {
   
2.     'User-Agent': 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3760.400 QQBrowser/10.5.4083.400'
   
3. }
   
4. url = "https://www.che168.com/china/a0_0msdgscncgpi1ltocsp2exx0/?pvareaid=102179#currengpostion"
   
5. r = requests.get(url, headers=headers).text
   
6.     html = parsel.Selector(r)
   
7.    
   
8.     # 车辆名称
   
9.     name = html.xpath('//div[@class="cards-bottom"]/h4/text()').getall()
   
10. 
    
11.     # 里程数
    
12.     milage = html.xpath('//div[@class="cards-bottom"]/p/text()').getall()
    
13.     print(milage)
    
14. 
    
15.     # 现价
    
16.     price = html.xpath('//div[@class="cards-price-box"]/span/em/text()').getall()
    
17. 
    
18.     print(price)
    
19. 
    
20.     # 原价
    
21.     new_price = html.xpath('//div[@class="cards-price-box"]/s/text()').getall()
    
22.     print(new_price)

复制代码

jtxs0000

suchocolate 发表于 2020-8-31 14:36
看到了，有的没有原价。这个可能得换一种思路了。
把每个车的info分支提取出来，做一个列表，我帮你写写 ...

这里打印的就是列表

疾风怪盗

jtxs0000 发表于 2020-8-31 14:42
这里打印的就是列表

你这里一下子就getall获取全部了，一个列表，还不会留空，不好操作的，试试看能不能挨个获取内容，然后再添加进空列表，这样如果获取不到，就用if判断，获取不到的用其他内容替换

suchocolate

jtxs0000 发表于 2020-8-31 14:42
这里打印的就是列表

我用的lxml，把car单独取出来，然后逐个遍历，对于ori_price为空的你可以做一个判断。
然后组成data，写到xlsx里。

1. 
   
2. import requests
   
3. from lxml import etree
   
4. 
   
5. 
   
6. def main():
   
7.     url = 'https://www.che168.com/china/a0_0msdgscncgpi1ltocsp1exx0/?pvareaid=102179#currengpostion'
   
8.     headers = {'user-agent': 'firefox'}
   
9.     r = requests.get(url, headers=headers)
   
10.     html = etree.HTML(r.text)
    
11.     result = html.xpath('//a[@class="carinfo"]')
    
12.     for item in result:
    
13.         name = item.xpath('./div[2]/h4/text()')
    
14.         milage = item.xpath('./div[2]/p/text()')
    
15.         ori_price = item.xpath('./div[2]/div/s/text()')
    
16.         cur_price = item.xpath('./div[2]/div/span[1]/em/text()')
    
17.         print(name, milage, ori_price, cur_price)
    
18. 
    
19. 
    
20. if __name__ == '__main__':
    
21.     main()
    

复制代码

jtxs0000

suchocolate 发表于 2020-8-31 14:55
我用的lxml，把car单独取出来，然后逐个遍历，对于ori_price为空的你可以做一个判断。
然后组成data，写 ...

谢谢大佬了，就是判断那里卡住了，试了很多方法就是会报错