[已解决]爬虫问题

伏惜寒

我检查了一下，是Xpath语法从第二页开始爬取为空，但是同样的语法单独用在爬取第二页可以正常爬取到数据，
一旦用在for循环之中就不能正常运行爬取，求怎么解决

1. import requests
   
2. import os
   
3. from lxml import etree
   
4. 
   
5. 
   
6. class Get():
   
7.     def __init__(self):
   
8.         self.headers = {'User-Agent':'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36'}
   
9.         self.url = "https://www.kuaidaili.com/free/inha/%d/"
   
10.         self.ip_list = []
    
11.         self.port_list = []
    
12.         self.type_list = []
    
13.         self.time_list = []
    
14.         self.daili_list = []
    
15.         self.detection_list = []
    
16.     def start(self):
    
17.         for e in range(1,5):
    
18.             response = requests.get(self.url % e, headers = self.headers)
    
19.             html = etree.HTML(response.text)
    
20.             result = html.xpath("//tbody/tr//td/text()")
    
21.             for i in range(len(result)):
    
22.                 if i % 7 == 0:
    
23.                     self.ip_list.append(result[i])
    
24.                 elif i % 7 == 1:
    
25.                     self.port_list.append(result[i])
    
26.                 elif i % 7 == 3:
    
27.                     self.type_list.append(result[i])
    
28.                 elif i % 7 == 6:
    
29.                     self.time_list.append(result[i])
    
30.                     
    
31.         for i in range(len(self.ip_list)):
    
32.             self.daili_list.append("""+ self.type_list[i] + """ + ":" +\
    
33.                         """+self.ip_list[i] +":" +self.port_list[i] + """)
    
34.             self.detection_list.append("         最近检测时间" +\
    
35.                         self.time_list[i])
    
36.         with open("iplist.txt", "w") as f:   
    
37.             for i in range(len(self.daili_list)):
    
38.                 f.write(self.daili_list[i] + self.detection_list[i] + "\n")
    
39.         return self.daili_list
    
40. 
    
41. 
    
42. if __name__ == "__main__":
    
43.     get = Get()
    
44.     get.start()

复制代码

最佳答案

月排行榜 / 总排行榜

Stubborn

2019-3-5 02:23:00

等待下就可以抓取到

1. #_*_coding:utf-8_*_
   
2. # @Time      :2019/3/4--23:33
   
3. # @Author   : Stubbron
   
4. # @Email    : 1263270345@qq.com
   
5. # @File     :test.py
   
6. import requests
   
7. import os,time
   
8. from lxml import etree
   
9. from fake_useragent import UserAgent
   
10. ua = UserAgent()
    
11. Headers = {
    
12.     'User-Agent': ua.random
    
13. }
    
14. agent_pool = []
    
15. def get2_proxy(page):
    
16.     "快代理"
    
17.     global agent_pool
    
18.     url = "https://www.kuaidaili.com/free/inha/{}/".format(page)
    
19.     try:
    
20.         html = etree.HTML(requests.get(url, headers=Headers).text)
    
21.         for each in html.xpath('//table[@class="table table-bordered table-striped"]//tr')[1:]:
    
22.             ip = each.xpath('./td[1]/text()')[0] + ":" + each.xpath('./td[2]/text()')[0]
    
23.             if ip:
    
24.                 agent_pool.append(ip)
    
25.     except:
    
26.         print("get2_proxy抓取失败")
    
27.     return agent_pool
    
28. 
    
29. for i in range(1,3):
    
30.     time.sleep(5)  #等待5秒
    
31.     get2_proxy(i)
    
32.     print(len(agent_pool))

复制代码

跳转到最佳答案楼层

zero_sunshine

你的访问速度太快了，这个网站的服务器使用了反爬虫的机制，高频访问直接返回了503状态码。
你可以使用time模块的time.sleep()函数在每个次请求网页以后暂停几秒钟

zero_sunshine

所以这不是你xpath查找的问题，是你第二次请求网页的时候就没有收到数据

伏惜寒

zero_sunshine 发表于 2019-3-3 23:26
所以这不是你xpath查找的问题，是你第二次请求网页的时候就没有收到数据

那该怎么解决？换ip可以吗？

Stubborn

等待下就可以抓取到

1. #_*_coding:utf-8_*_
   
2. # @Time      :2019/3/4--23:33
   
3. # @Author   : Stubbron
   
4. # @Email    : 1263270345@qq.com
   
5. # @File     :test.py
   
6. import requests
   
7. import os,time
   
8. from lxml import etree
   
9. from fake_useragent import UserAgent
   
10. ua = UserAgent()
    
11. Headers = {
    
12.     'User-Agent': ua.random
    
13. }
    
14. agent_pool = []
    
15. def get2_proxy(page):
    
16.     "快代理"
    
17.     global agent_pool
    
18.     url = "https://www.kuaidaili.com/free/inha/{}/".format(page)
    
19.     try:
    
20.         html = etree.HTML(requests.get(url, headers=Headers).text)
    
21.         for each in html.xpath('//table[@class="table table-bordered table-striped"]//tr')[1:]:
    
22.             ip = each.xpath('./td[1]/text()')[0] + ":" + each.xpath('./td[2]/text()')[0]
    
23.             if ip:
    
24.                 agent_pool.append(ip)
    
25.     except:
    
26.         print("get2_proxy抓取失败")
    
27.     return agent_pool
    
28. 
    
29. for i in range(1,3):
    
30.     time.sleep(5)  #等待5秒
    
31.     get2_proxy(i)
    
32.     print(len(agent_pool))

复制代码