[已解决]爬虫为什么爬一点就中断了呢

L嘉

@Twilight6

1. # -*- coding: utf-8 -*-
   
2. 
   
3. 
   
4. 
   
5. from lxml import etree
   
6. import requests
   
7. import csv
   
8. import time
   
9. 
   
10. def writecsv(item):
    
11.     with open('ershou.csv','a',encoding = 'utf-8') as f:   
    
12.         writer = csv.writer(f)
    
13.         try:
    
14.             writer.writerow(item)           
    
15.         except:
    
16.             print('write error!')
    
17.             
    
18. 
    
19. if __name__ == '__main__':
    
20.     headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.92 Safari/537.3'}
    
21. 
    
22.     start_url = 'https://cd.ke.com/ershoufang/damian/pg'   
    
23.     for x in range(1,76):      
    
24.         url = start_url + str(x)
    
25.         html = requests.get(url,headers = headers)
    
26.         time.sleep(3)         
    
27.         selector = etree.HTML(html.text)
    
28.         
    
29.        #小区列表
    
30.         xiaoqulist = selector.xpath('//*[@id="beike"]/div[1]/div[4]/div[1]/div[4]/ul/li')
    
31.         for xiaoqu in xiaoqulist:
    
32.             
    
33.        #楼盘名
    
34.             mingcheng = xiaoqu.xpath('div/div[2]/div[1]/div/a/text()')[0]
    
35.             
    
36.        #楼盘信息
    
37.             xinxi = xiaoqu.xpath('div/div[2]/div[2]/text()')[1]
    
38.             
    
39.        #均价
    
40.             junjia = xiaoqu.xpath('div/div[2]/div[5]/div[2]/span/text()')[0]
    
41.             
    
42.        #总价
    
43.             zongjia = xiaoqu.xpath('//div/div[5]/div[@class="totalPrice"]/span/text()')[0]
    
44.       
    
45.             
    
46.             item = [mingcheng, xinxi, junjia, zongjia]
    
47.             writecsv(item)
    
48.             print('londing:',mingcheng)   
    
49.             
    
50. 
    

复制代码

最佳答案

月排行榜 / 总排行榜

Twilight6

2020-8-5 22:43:59

试试看？

1. # -*- coding: utf-8 -*-
   
2. 
   
3. 
   
4. from lxml import etree
   
5. import requests
   
6. import csv
   
7. import time
   
8. 
   
9. 
   
10. def writecsv(item):
    
11.     with open('ershou.csv', 'a', encoding='utf-8') as f:
    
12.         writer = csv.writer(f)
    
13.         writer.writerow(item)
    
14. 
    
15. 
    
16. 
    
17. if __name__ == '__main__':
    
18.     headers = {
    
19.         'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.92 Safari/537.3',
    
20.         'referer':'https://cd.ke.com/ershoufang/damian/pg/'}
    
21. 
    
22.     start_url = 'https://cd.ke.com/ershoufang/damian/pg'
    
23.     for x in range(1, 76):
    
24.         url = start_url + str(x)
    
25.         html = requests.get(url, headers=headers)
    
26.         time.sleep(3)
    
27.         selector = etree.HTML(html.text)
    
28.         headers['referer'] = f'https://cd.ke.com/ershoufang/damian/pg{x-1}/'
    
29. 
    
30.         # 小区列表
    
31.         xiaoqulist = selector.xpath('//*[@id="beike"]/div[1]/div[4]/div[1]/div[4]/ul/li')
    
32.         for xiaoqu in xiaoqulist:
    
33.             # 楼盘名
    
34.             mingcheng = xiaoqu.xpath('div/div[2]/div[1]/div/a/text()')[0]
    
35. 
    
36.             # 楼盘信息
    
37.             xinxi = xiaoqu.xpath('div/div[2]/div[2]/text()')[1]
    
38. 
    
39.             # 均价
    
40.             junjia = xiaoqu.xpath('div/div[2]/div[5]/div[2]/span/text()')[0]
    
41. 
    
42.             # 总价
    
43.             zongjia = xiaoqu.xpath('//div/div[5]/div[@class="totalPrice"]/span/text()')[0]
    
44. 
    
45.             item = [mingcheng, xinxi, junjia, zongjia]
    
46.             writecsv(item)
    
47.             print('londing:', mingcheng)
    

复制代码

跳转到最佳答案楼层

xiaosi4081

可能缩进乱了

1. from lxml import etree
   
2. import requests
   
3. import csv
   
4. import time
   
5. 
   
6. def writecsv(item):
   
7.     with open('ershou.csv','a',encoding = 'utf-8') as f:   
   
8.         writer = csv.writer(f)
   
9.         try:
   
10.             writer.writerow(item)           
    
11.         except:
    
12.             print('write error!')
    
13.             
    
14. 
    
15. if __name__ == '__main__':
    
16.     headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.92 Safari/537.3'}
    
17. 
    
18.     start_url = 'https://cd.ke.com/ershoufang/damian/pg'   
    
19.     for x in range(1,76):      
    
20.         url = start_url + str(x)
    
21.         html = requests.get(url,headers = headers)
    
22.         time.sleep(3)         
    
23.         selector = etree.HTML(html.text)
    
24.         
    
25.         #小区列表
    
26.         xiaoqulist = selector.xpath('//*[@id="beike"]/div[1]/div[4]/div[1]/div[4]/ul/li')
    
27.         for xiaoqu in xiaoqulist:
    
28.             
    
29.                    #楼盘名
    
30.             mingcheng = xiaoqu.xpath('div/div[2]/div[1]/div/a/text()')[0]
    
31.             
    
32.             #楼盘信息
    
33.             xinxi = xiaoqu.xpath('div/div[2]/div[2]/text()')[1]
    
34.             
    
35.             #均价
    
36.             junjia = xiaoqu.xpath('div/div[2]/div[5]/div[2]/span/text()')[0]
    
37.             
    
38.             #总价
    
39.             zongjia = xiaoqu.xpath('//div/div[5]/div[@class="totalPrice"]/span/text()')[0]
    
40.       
    
41.             
    
42.             item = [mingcheng, xinxi, junjia, zongjia]
    
43.             writecsv(item)
    
44.             print('londing:',mingcheng)   

复制代码

qiuyouzhi

我这里没有问题？

L嘉

qiuyouzhi 发表于 2020-8-5 15:31
我这里没有问题？

我要爬取75页一共2000多条数据，结果就出来90多条

L嘉

xiaosi4081 发表于 2020-8-5 15:30
可能缩进乱了

2000多条信息就爬出来90多条

qiuyouzhi

L嘉 发表于 2020-8-5 15:35
我要爬取75页一共2000多条数据，结果就出来90多条

妈耶，这么多的吗
我建议你每次sleep几秒，不然不被反爬是不可能的

L嘉

qiuyouzhi 发表于 2020-8-5 15:38
妈耶，这么多的吗
我建议你每次sleep几秒，不然不被反爬是不可能的

我设置的5秒啊

qiuyouzhi

L嘉 发表于 2020-8-5 15:39
我设置的5秒啊

噢，抱歉，没看见
那我建议你爬完一页休息个几分钟，几秒钟或许不够？

L嘉

qiuyouzhi 发表于 2020-8-5 15:49
噢，抱歉，没看见
那我建议你爬完一页休息个几分钟，几秒钟或许不够？

那不得加班了哦

_2_

L嘉 发表于 2020-8-5 15:54
那不得加班了哦

你要爬取的主要是什么？
是不是每个内容的标题，还是里面的内容也需要？
2002 条不是个小数目，建议每次爬取 100 多条，下一次从上次结束的地方断点续传

qiuyouzhi

L嘉 发表于 2020-8-5 15:54
那不得加班了哦

谁叫那个网站反爬厉害呢

1q23w31

L嘉 发表于 2020-8-5 15:54
那不得加班了哦

我可以帮你改一下代码

L嘉

_2_ 发表于 2020-8-5 16:01
你要爬取的主要是什么？
是不是每个内容的标题，还是里面的内容也需要？
2002 条不是个小数目，建议每 ...

就表面的一些内容，子页面的没有爬取

L嘉

1q23w31 发表于 2020-8-5 16:04
我可以帮你改一下代码

你是说加多线程吗？

_2_

L嘉 发表于 2020-8-5 16:06
你是说加多线程吗？

可以考虑，不过要为每个线程单独设置
（就是第一个线程爬0-99，第二个线程爬100-200，以此类推）
比较麻烦就不搞了

L嘉

_2_ 发表于 2020-8-5 18:01
可以考虑，不过要为每个线程单独设置
（就是第一个线程爬0-99，第二个线程爬100-200，以此类推）
比较 ...

好的谢谢

Twilight6

试试看？

1. # -*- coding: utf-8 -*-
   
2. 
   
3. 
   
4. from lxml import etree
   
5. import requests
   
6. import csv
   
7. import time
   
8. 
   
9. 
   
10. def writecsv(item):
    
11.     with open('ershou.csv', 'a', encoding='utf-8') as f:
    
12.         writer = csv.writer(f)
    
13.         writer.writerow(item)
    
14. 
    
15. 
    
16. 
    
17. if __name__ == '__main__':
    
18.     headers = {
    
19.         'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.92 Safari/537.3',
    
20.         'referer':'https://cd.ke.com/ershoufang/damian/pg/'}
    
21. 
    
22.     start_url = 'https://cd.ke.com/ershoufang/damian/pg'
    
23.     for x in range(1, 76):
    
24.         url = start_url + str(x)
    
25.         html = requests.get(url, headers=headers)
    
26.         time.sleep(3)
    
27.         selector = etree.HTML(html.text)
    
28.         headers['referer'] = f'https://cd.ke.com/ershoufang/damian/pg{x-1}/'
    
29. 
    
30.         # 小区列表
    
31.         xiaoqulist = selector.xpath('//*[@id="beike"]/div[1]/div[4]/div[1]/div[4]/ul/li')
    
32.         for xiaoqu in xiaoqulist:
    
33.             # 楼盘名
    
34.             mingcheng = xiaoqu.xpath('div/div[2]/div[1]/div/a/text()')[0]
    
35. 
    
36.             # 楼盘信息
    
37.             xinxi = xiaoqu.xpath('div/div[2]/div[2]/text()')[1]
    
38. 
    
39.             # 均价
    
40.             junjia = xiaoqu.xpath('div/div[2]/div[5]/div[2]/span/text()')[0]
    
41. 
    
42.             # 总价
    
43.             zongjia = xiaoqu.xpath('//div/div[5]/div[@class="totalPrice"]/span/text()')[0]
    
44. 
    
45.             item = [mingcheng, xinxi, junjia, zongjia]
    
46.             writecsv(item)
    
47.             print('londing:', mingcheng)
    

复制代码

陈尚涵

试试用多进程