一段用scrapy写的模拟登录豆瓣得代码，错误已定位，但不知增么该，麻烦鱼油们看一下

瓜子仁

spider代码如下，错误在最后一个函数 def parse_after(self,response):。
附上cmd的截图

import scrapy
from PIL import Image
import urllib

class doubanloginspider(scrapy.Spider):
    name = 'doubanlogin'
    allowed_domain = ['douban.com']
    #start_url = ['http://www.douban.com/']
    headers = {"User-Agent":
                   "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 UBrowser/6.2.3964.2 Safari/537.36"}

    '''请求登录界面'''
    def start_requests(self):
        print('请求登录界面')
        return [scrapy.FormRequest(url = "https://accounts.douban.com/login",
                headers =self.headers ,meta = {"cookiejar":1},callback = self.parse_before,dont_filter=True)]

    '''填写登录表单，查看验证码'''
    def parse_before(self,response):
        print("登录前表单填充")
        captcha_id = response.xpath('//input[@type="hidden"]/@value').extract_first()
        captcha_image_url = response.xpath('//img[@id="captcha_image"]/@src').extract_first()
        if captcha_image_url is None:
            print("无需验证码")
            formdate = {'source':'None',

                        'redir':'https://www.douban.com',
                        'form_email':'15622902864',
                        'form_password':'13750582863abc',
                        'login':'登录'
                        }
        else:
            print('需要验证码')
            save_imag_path = "C:\\Users\lxx\Desktop\douban\douban\spiders\captcha.jpeg"
            #urllib.request.urlretrieve(captcha_image_url,save_imag_path)
            #urlopen = urllib.URLopener()
            fp = urllib.request.urlopen(captcha_image_url)
            data = fp.read()
            f = open(save_imag_path + '1.jpeg', 'wb')
            f.write(data)
            f.close()


            print("1 open!",captcha_image_url)   #图片地址正确
            #im = Image.open("1.jpeg")
            print("2 open!")
            #m.show()
            print("打开图片出错")

            captcha_solution = input("请根据图片输入验证码")
            print("打印")
            formdate = {'source':'None',
                        'redir':'https://www.douban.com',
                        'form_email':'15622902864',
                        'form_password':'13750582863abc',
                        'captcha-solution':captcha_solution,
                        'captcha-id':captcha_id,
                        'login':'登录'
                        }
        print("表单提交，登录中。。。")
        return scrapy.FormRequest.from_response(response,meta = {"cookiejar":response.meta["cookiejar"]},
                                                    headers = self.headers,formdate = formdate,callback = self.parse_after,
                                                    dont_filter=True)
    print('验证是否登录成功！！！')


    def parse_after(self,response):
        account = response.xpath('//a[@target="_blank"]/span/text()').extract_first()
        if account is None:
            print("登陆失败")
        else:
            print("登录成功")

wongyusing

麻烦把代码放进发帖的代码格式里，我不好复制出来测试，要么就把工程打包放到网盘

瓜子仁

wongyusing 发表于 2018-3-13 00:50
麻烦把代码放进发帖的代码格式里，我不好复制出来测试，要么就把工程打包放到网盘

1. import scrapy
   
2. from PIL import Image
   
3. import urllib
   
4. 
   
5. class doubanloginspider(scrapy.Spider):
   
6.     name = 'doubanlogin'
   
7.     allowed_domain = ['douban.com']
   
8.     #start_url = ['http://www.douban.com/']
   
9.     headers = {"User-Agent":
   
10.                    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 UBrowser/6.2.3964.2 Safari/537.36"}
    
11. 
    
12.     '''请求登录界面'''
    
13.     def start_requests(self):
    
14.         print('请求登录界面')
    
15.         return [scrapy.FormRequest(url = "https://accounts.douban.com/login",
    
16.                 headers =self.headers ,meta = {"cookiejar":1},callback = self.parse_before,dont_filter=True)]
    
17. 
    
18.     '''填写登录表单，查看验证码'''
    
19.     def parse_before(self,response):
    
20.         print("登录前表单填充")
    
21.         captcha_id = response.xpath('//input[@type="hidden"]/@value').extract_first()
    
22.         captcha_image_url = response.xpath('//img[@id="captcha_image"]/@src').extract_first()
    
23.         if captcha_image_url is None:
    
24.             print("无需验证码")
    
25.             formdate = {'source':'None',
    
26. 
    
27.                         'redir':'https://www.douban.com',
    
28.                         'form_email':'15622902864',
    
29.                         'form_password':'13750582863abc',
    
30.                         'login':'登录'
    
31.                         }
    
32.         else:
    
33.             print('需要验证码')
    
34.             save_imag_path = "C:\\Users\lxx\Desktop\douban\douban\spiders\captcha.jpeg"
    
35.             #urllib.request.urlretrieve(captcha_image_url,save_imag_path)
    
36.             #urlopen = urllib.URLopener()
    
37.             fp = urllib.request.urlopen(captcha_image_url)
    
38.             data = fp.read()
    
39.             f = open(save_imag_path + '1.jpeg', 'wb')
    
40.             f.write(data)
    
41.             f.close()
    
42. 
    
43. 
    
44.             print("1 open!",captcha_image_url)   #图片地址正确
    
45.             #im = Image.open("1.jpeg")
    
46.             print("2 open!")
    
47.             #m.show()
    
48.             print("打开图片出错")
    
49. 
    
50.             captcha_solution = input("请根据图片输入验证码")
    
51.             print("打印")
    
52.             formdate = {'source':'None',
    
53.                         'redir':'https://www.douban.com',
    
54.                         'form_email':'15622902864',
    
55.                         'form_password':'13750582863abc',
    
56.                         'captcha-solution':captcha_solution,
    
57.                         'captcha-id':captcha_id,
    
58.                         'login':'登录'
    
59.                         }
    
60.         print("表单提交，登录中。。。")
    
61.         return scrapy.FormRequest.from_response(response,meta = {"cookiejar":response.meta["cookiejar"]},
    
62.                                                     headers = self.headers,formdate = formdate,callback = self.parse_after,
    
63.                                                     dont_filter=True)
    
64.     print('验证是否登录成功！！！')
    
65. 
    
66. 
    
67.     def parse_after(self,response):
    
68.         account = response.xpath('//a[@target="_blank"]/span/text()').extract_first()
    
69.         if account is None:
    
70.             print("登陆失败")
    
71.         else:
    
72.             print("登录成功")

复制代码

瓜子仁

瓜子仁 发表于 2018-3-13 07:31

账号密码是修改过了得