关于爬取妹子图链接求助

wongyusing

代码如下：

1. # -*- coding: utf-8 -*-
   
2. import scrapy
   
3. import re
   
4. from scrapy.http import Request
   
5. import os
   
6. from mm131.items import Mm131Item
   
7. 
   
8. 
   
9. class MeiziSpider(scrapy.Spider):
   
10.     name = 'meizi'
    
11.     #allowed_domains = ['http://www.mm131.com/']
    
12.     start_urls = ['http://www.mm131.com/xinggan/']
    
13.     base = r'/home/wongyusing/桌面/gril/mm131/mm131/download/'
    
14.     #如果需要测试，请修改自己电脑的路径
    
15. 
    
16.     def parse(self, response):
    
17.         items = []                  #/html/body/div[5]/dl/dd
    
18.         mains = response.xpath('/html/body/div/dl//a[@target="_blank"]')
    
19.         sort_name = response.xpath('/html/body/div/dl/dt/a[2]/text()').extract()[0]
    
20.         #print(sort_name)#获取分类名，例子‘性感美女’
    
21.         for main in mains:
    
22.             item = Mm131Item()
    
23.             item['title'] = main.xpath('./text()').extract()[0]#获取妹子标题
    
24.             item['girl_url'] = main.xpath('./@href').extract()[0]#获取妹子入口图片
    
25.             item['file_name'] = self.base + sort_name + '/' + item['title']#拼接绝对路径
    
26.             items.append(item)
    
27.         for item in items:#创建文件夹
    
28.             fileName=item['file_name']
    
29.             if not os.path.exists(fileName):
    
30.                 os.makedirs(fileName)
    
31.             # #用meta传入下一层
    
32.             yield Request(url=item['girl_url'],meta={'item1':item},callback=self.parse_one)
    
33. 
    
34. 
    
35.     def parse_one(self,response):
    
36.         item2 = response.meta['item1']
    
37.         item = Mm131Item()
    
38.         img_all_ = response.xpath('/html/body/div/div/span[1]/text()').extract()[0]
    
39.         req = r'共(.*?)页'
    
40.         max_img_page = re.findall(req,img_all_)[0]#获取妹子图集的总页数
    
41.         items = []
    
42.         for i in range(2,int(max_img_page)+1):
    
43.             item['file_name'] = item2['file_name']
    
44.             item['path'] = item['file_name'] + '/' + str(i) + '.jpg'#生成绝对路径
    
45.             item['img_url'] = response.url[:-5] + '_' + str(i) + '.html'#拼接每一页的url
    
46.             items.append(item)
    
47.         for item in items:
    
48.             yield Request(url=item['img_url'], meta={'item2': item}, callback=self.parse_two)
    
49. 
    
50.     def parse_two(self,response):
    
51.         item3 = response.meta['item2']
    
52.         item = Mm131Item()
    
53.         #获取图片的url，问题处在下面这条代码，返回的url会自动连到腾讯的图片
    
54.         url_3 = response.xpath('/html/body/div/div[2]/a/img/@src').extract()[0]
    
55.         print(url_3)

复制代码

代码网盘链接：https://pan.baidu.com/s/17AyCvpysUjxqpue04eAIUg
密码：7tjb  
代码运行，运行mainmain.py就可以运行代码了
问题：
1.这网站是不是静态啊？？该如何判断类型？？
2.打印出来的URL不是想要的妹子图，该如何解决？？是需要加上get的参数吗？？？如下图的链接，无法链接到真正的图片

http://img1.mm131.me/pic/3849/40.jpg
http://img1.mm131.me/pic/3855/55.jpg
http://img1.mm131.me/pic/3853/50.jpg
http://img1.mm131.me/pic/3850/50.jpg
http://img1.mm131.me/pic/3851/45.jpg
http://img1.mm131.me/pic/3852/48.jpg
http://img1.mm131.me/pic/3857/39.jpg
http://img1.mm131.me/pic/3856/39.jpg

wongyusing

链接是正确的，但是会引导到腾讯这个图标的链接

                               
登录/注册后可看大图

我之前一直都是爬取小说之类，这是第二次爬取图片，第一次遇到这种问题。
百度不到这种问题的答案，但有的教程说是要伪造http头信息。
但是我找不到，求各位大神支支招。
通过火狐浏览器的开发者工具看到状态码是302，正在想办法解决

ba21

伪造不全，仔细分析；或换网站吧

ba21

伪造不全，仔细分析；或换网站吧

wongyusing

ba21 发表于 2018-4-7 11:47
伪造不全，仔细分析；或换网站吧

伪造不全？？是什么意思？？

瞿亮

http://bbs.fishc.org/thread-108410-1-1.html
爬取妹子图片的问题,和你情况一模一样,你最后是如何解决的,麻烦告知一声,谢谢