[已解决]请问怎么把代理ip的代码结合到scrapy爬虫代码中呢

Shyanne

这是代理ip的代码 已经测试可用的

1. proxy_support = urllib.request.ProxyHandler({'http':'183.56.177.130:808'})
   
2.     opener = urllib.request.build_opener(proxy_support)
   
3.     opener.addheaders = [('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36')]
   
4. 
   
5.     urllib.request.install_opener(opener)
   
6. 
   
7.     response = urllib.request.urlopen(start_urls)
   
8.     html = response.read().decode('utf-8')

复制代码

然后自己写的爬虫因为爬的频繁被禁止访问了...囧

目前只是想使用代理ip 然后继续去爬那个网站...以下是已经实现的爬虫代码

1. # -*- coding: utf-8 -*-
   
2. import scrapy
   
3. from lagou.items import LagouItem
   
4. from scrapy.http import Request
   
5. 
   
6. class LagouSpiderSpider(scrapy.Spider):
   
7.     name = "lagou_spider"
   
8.     allowed_domains = ["www.lagou.com"]
   
9.     url2 = 'https://www.lagou.com/zhaopin/houduankaifa/'
   
10.     start_urls = [str(url2)]+['1']
    
11. 
    
12. 
    
13.     def parse(self,response):
    
14.       
    
15.         
    
16.         sites = response.xpath('//*[@id="s_position_list"]/ul/li/div[1]')
    
17.         for site in sites:
    
18.             item = LagouItem()
    
19.             item['position_name'] = site.xpath('div[1]/div[1]/a/h2/text()').extract()
    
20.             item['addr'] = site.xpath('div[1]/div[1]/a/span/em/text()').extract()
    
21.             item['company_name'] = site.xpath('div[2]/div[1]/a/text()').extract()
    
22.             item['salary'] = site.xpath('div[1]/div[2]/div[1]/span/text()').extract()
    
23.             exp = site.xpath('div[1]/div[2]/div[1]/text()').extract()[2].rstrip()
    
24.             item['experience'] = exp
    
25.             item['url'] = site.xpath('div[1]/div[1]/a/@href').extract()
    
26.             for url in response.xpath('//*[@id="s_position_list"]/ul/li/div[1]/div[1]/div[1]/a/@href').extract():
    
27.                 yield Request(url,meta={'item':item},callback=self.parse2)
    
28.             
    
29. 
    
30.             urls = site.xpath('//*[@id="order"]/li/div[4]/a[2]/@href').extract()
    
31.             for li in urls:
    
32.                 yield Request(li, callback = self.parse)
    
33. 
    
34.     def parse2(self,response):
    
35.         item = response.meta['item']
    
36.         item['desc'] = response.xpath('//*[@id="job_detail"]/dd[2]/div/p').extract()
    
37.         yield item

复制代码

就是不太清楚要将两个代码结合到一块的时候那个代理ip代码的位置应该放在哪里呢...好像放哪都出错...求指导

最佳答案

月排行榜 / 总排行榜

lumber2388779

2017-4-5 09:59:18

http://brucedone.com/archives/88
参考下用这个 亲测可用
只需要将里面把代理服务器这一段修改一下

1. def process_request(self, request, spider):
   
2.         ua = random.choice(settings.get('USER_AGENT_LIST'))
   
3.         spider.logger.info(msg='now entring download midware')
   
4.         if ua:
   
5.             request.headers['User-Agent'] = ua
   
6.             # Add desired logging message here.
   
7.             spider.logger.info(
   
8.                 u'User-Agent is : {} {}'.format(request.headers.get('User-Agent'), request)
   
9.             )
   
10.         pass
    

复制代码

把你的代理IP加进去就可以了

跳转到最佳答案楼层

～风介～

试试random.choice?

lumber2388779

http://brucedone.com/archives/88
参考下用这个 亲测可用
只需要将里面把代理服务器这一段修改一下

1. def process_request(self, request, spider):
   
2.         ua = random.choice(settings.get('USER_AGENT_LIST'))
   
3.         spider.logger.info(msg='now entring download midware')
   
4.         if ua:
   
5.             request.headers['User-Agent'] = ua
   
6.             # Add desired logging message here.
   
7.             spider.logger.info(
   
8.                 u'User-Agent is : {} {}'.format(request.headers.get('User-Agent'), request)
   
9.             )
   
10.         pass
    

复制代码

把你的代理IP加进去就可以了

Shyanne

lumber2388779 发表于 2017-4-5 09:59
http://brucedone.com/archives/88
参考下用这个 亲测可用
只需要将里面把代理服务器这一段修改一下

你好请问添加后的代码这个样子对吗

1. def process_request(self, request, spider):
   
2.         ua = random.choice(settings.get('USER_AGENT_LIST'))
   
3.         spider.logger.info(msg='now entring download midware')
   
4.         if ua:
   
5.             request.headers['User-Agent'] = ua
   
6.             
   
7.             # Add desired logging message here.
   
8.             proxy_support = urllib.request.ProxyHandler({'http':'183.56.177.130:808'})
   
9.             opener = urllib.request.build_opener(proxy_support)
   
10.             opener.addheaders = [('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36')]
    
11.             urllib.request.install_opener(opener)
    
12. 
    
13.             
    
14.             spider.logger.info(
    
15.                 u'User-Agent is : {} {}'.format(request.headers.get('User-Agent'), request)
    
16.             )
    
17.         pass

复制代码

我改好之后单独运行了一下 什么反应也没有 也没有报错 这样是配置成功了吗...

lumber2388779

Shyanne 发表于 2017-4-5 13:11
你好请问添加后的代码这个样子对吗

你按照我发给你的帖子步骤做了吗？那里面才是详细步骤

Shyanne

lumber2388779 发表于 2017-4-5 09:59
http://brucedone.com/archives/88
参考下用这个 亲测可用
只需要将里面把代理服务器这一段修改一下

啊我爬出来了 谢谢谢谢

Shyanne

～风介～ 发表于 2017-4-4 21:31
试试random.choice?

恩恩 谢谢 按照楼下的方法运行成功了的

Shyanne

lumber2388779 发表于 2017-4-5 13:50
你按照我发给你的帖子步骤做了吗？那里面才是详细步骤

做了的 刚刚出错 因为没把那个中间件的路径给填对 现在好了

lumber2388779

Shyanne 发表于 2017-4-5 13:55
做了的 刚刚出错 因为没把那个中间件的路径给填对 现在好了

那就行了