太久没玩了，请教一个登陆问题

nanrenne

1. #coding=utf-8
   
2. 
   
3. import requests,re,os,time,pymysql,time
   
4. from lxml import etree
   
5. down_path = '新余快速人才网'
   
6. if not os.path.exists(down_path):
   
7.     os.makedirs(down_path)
   
8. url3 = []
   
9. def nextpage(lastpage):
   
10.     for i in range (1,2):
    
11.         print('页码:',i)
    
12.         nexturl = f'https://www.xinyurc.com/index.php?m=&c=jobs&a=jobs_list&page={i}'
    
13.         r = s.get(url=nexturl).text
    
14.         html = etree.HTML(r)
    
15.         href = html.xpath('/html/body/div[5]/div[1]/div[2]/div/div[3]/a/@href')  # 公司主页
    
16.         global url3
    
17.         url3.extend(href)
    
18.     url3 = set(url3)
    
19.     print(url3)
    
20.     for h in url3:
    
21.         print('hurl:',h)
    
22.         time.sleep(1)
    
23.         r = s.get(url=h).text
    
24. 
    
25. 
    
26.         jobs = re.findall('<a href="(.*?)">全部职位',r)#全部职位
    
27.         jobs = 'https://www.xinyurc.com' + jobs[0]#全部职位链接
    
28.         r2 = s.get(url=jobs).text
    
29.         print('jobs是:',jobs)
    
30.         html2 = etree.HTML(r2)
    
31.         #alljobs = html2.xpath('/html/body//div[@class="jname"]/a/text()')#全部职位
    
32.         try:
    
33.             allurl = html2.xpath('/html/body//div[@class="jname"]/a/@href')#全部职位URl
    
34.         except:
    
35.             pass
    
36. 
    
37.         for url in allurl:  # 遍历全部职位url
    
38.             r = s.get(url).text
    
39.             print('Url:',url)
    
40.             html = etree.HTML(r)
    
41.             job = html.xpath('/html/body/div[3]/div/div/div[2]/div[1]/text()')[0]  # 岗位名称
    
42.             cname = html.xpath('/html/body//div[@class="comname"]/a/text()')[0]  # 公司名称
    
43.             jobin = html.xpath('/html/body/div[4]/div[1]/div[1]/div[1]/div[2]/text()')[0]  # 全职/兼职
    
44.             joba = html.xpath('/html/body//div[@class="itemli"][2]/text()')  # 职位类别
    
45.             if len(joba) == 0:
    
46.                 joba = ['无']
    
47.             jobnum = html.xpath('/html/body/div[4]/div[1]/div[1]/div[1]/div[4]/text()')[0]  # 招聘人数
    
48.             #jobsc = html.xpath('/html/body/div[4]/div[1]/div[1]/div[1]/div[6]/text()')[0]  # 学历要求
    
49.             #jobyear = html.xpath('/html/body/div[4]/div[1]/div[1]/div[1]/div[7]/text()')[0]  # 工作经验
    
50.             sex = html.xpath('/html/body/div[4]/div[1]/div[1]/div[1]/div[8]/text()')[0]  # 性别要求
    
51.             if sex == '不限':
    
52.                 sex = 0
    
53.             elif sex == '女':
    
54.                 sex = 2
    
55.             elif sex == '男':
    
56.                 sex = 1
    
57.             #old = html.xpath('/html/body/div[4]/div[1]/div[1]/div[1]/div[10]/text()')[0]  # 年龄要求
    
58.             #intype = html.xpath('/html/body/div[4]/div[1]/div[1]/div[1]/div[11]/text()')[0]  # 招聘部门
    
59.             jobaddress = html.xpath('/html/body/div[4]/div[1]/div[1]/div[1]/div[13]/text()')[0]  # 工作地点
    
60.             #whos = html.xpath('/html/body/div[4]/div[1]/div[1]/div[2]/div[2]/text()[1]')[0]  # 联系人
    
61.             andtel = html.xpath('/html/body/div[4]/div[1]/div[1]/div[2]/div[4]/span/text()')  # 联系电话
    
62.             classjob = html.xpath('/html/body//div[@class="describe"]/div[@class="txt"]/text()')#职位描述
    
63.             money = html.xpath('/html/body//div[@class="jobstit"]/div[@class="wage"]/text()')[0]#薪资
    
64. 
    
65.             if '1K' in money:
    
66.                 money = 2
    
67.             elif '2K' in money:
    
68.                 money = 3
    
69.             elif '3K' in money:
    
70.                 money = 4
    
71.             elif '4K' in money:
    
72.                 moeny = 5
    
73.             elif '5K' in money:
    
74.                 money = 6
    
75.             elif '6K' in money:
    
76.                 money = 6
    
77.             elif '7K' in money:
    
78.                 money = 6
    
79.             elif '8K' in money or '9K' in money or '10K' in money or '11K' in money or '12K' in money:
    
80.                 money = 7
    
81.             elif '13K' in money or '14K' in money or '15K' in money or '16K' in money or '17K' in money or '18K' in money or '19K' in money or '20K' in money :
    
82.                 money = 8
    
83.             else:
    
84.                 money = 0
    
85. 
    
86. 
    
87.             if len(andtel) != 0:
    
88.                 db = pymysql.connect(host = 'localhost' ,user='root', password='6330055', port=3306, db='spiders')
    
89.                 cursor = db.cursor()
    
90. 
    
91.                 data = {
    
92.                 'uniacid' : 1,
    
93.                 'uid' : 24,
    
94.                 'isc' : 2,
    
95.                 'cid' : 0,
    
96.                 'title' : job,
    
97.                 'jobcatindex' : 0,
    
98.                 'salaryindex' : money,
    
99.                 'flow' : 0,
    
100.                 'recruitnum' : jobnum,
     
101.                 'sexindex' : sex,
     
102.                 'degreesindex' : 0,
     
103.                 'experiencesindex' : 0,
     
104.                 'des' : classjob,
     
105.                 'chosewelfare' : ' a:1:{i:0;s:12:"其他补助";}',
     
106.                 'imgs' : 'a:1:{i:0;s:0:"";}',
     
107.                 'time':int(time.time()),
     
108.                 'status' : 1,
     
109.                 'istop' : 0,
     
110.                 'toptime' : 'NULL',
     
111.                 'flow' : 0,
     
112.                 'istou' : 0,
     
113.                 'isting' : 0,
     
114.                 'citycode' : '360500',
     
115.                 'telnum' : andtel[0],
     
116.                 'address' : jobaddress,
     
117.                 'state' : '1'
     
118.                 }
     
119. 
     
120.                 table = 'ims_lshd_zhaopinhign_zpxx'
     
121.                 keys = ','.join(data.keys())
     
122.                 values = ','.join(['%s'] * len(data))
     
123.                 sql = 'INSERT INTO {table}({keys}) VALUES ({values})'.format(table=table,keys=keys,values=values)
     
124.                 try:
     
125.                     if cursor.execute(sql,tuple(data.values())):
     
126.                         print('Successful')
     
127.                         db.commit()
     
128.                 except:
     
129.                     print('Failed')
     
130.                     db.rollback()
     
131.                 db.close()
     
132. 
     
133.             #     with open(f'{down_path}/新余快速人才网数据222222.txt', 'a') as f:
     
134.             #         f.write(cname)
     
135.             #         f.write(' ')
     
136.             #         f.write('\n\n')
     
137.             #         f.write('岗位名称:' + job)
     
138.             #         f.write(' ')
     
139.             #         f.write('职位类别:' + joba[0])
     
140.             #         f.write(' ')
     
141.             #         f.write('招聘人数:' + jobnum)
     
142.             #         f.write(' ')
     
143.             #         f.write('性别要求' + sex)
     
144.             #         f.write(' ')
     
145.             #         f.write(jobaddress)
     
146.             #         f.write(' ')
     
147.             #         f.write('联系电话' + andtel[0])
     
148.             #         f.write('\n\n')
     
149.             #         f.write('岗位职责:' + classjob)
     
150.             #         f.write('\r\n\n')
     
151.             #
     
152.             #
     
153.             # else:
     
154.             #     pass
     
155. 
     
156. 
     
157. 
     
158. 
     
159. 
     
160. 
     
161. 
     
162. 
     
163. 
     
164. 
     
165. 
     
166. if __name__ == '__main__':
     
167. 
     
168.     url = 'https://www.xinyurc.com/index.php?m=Home&c=Members&a=login'
     
169.     url2 = 'https://www.xinyurc.com/index.php?m=Home&c=jobs&a=jobs_list'
     
170.     headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.77 Safari/537.36',
     
171.     'X-Requested-With': 'XMLHttpRequest',
     
172.     'Sec-Fetch-Site': 'same-origin',
     
173.     'Origin': 'https: // www.xinyurc.com',
     
174.     'Referer': 'https://www.xinyurc.com/members/login',
     
175.     'Accept-Encoding': 'gzip, deflate, br',
     
176.     'sec-ch-ua-mobile': '?0',
     
177.     'Sec-Fetch-Dest': 'empty',
     
178.     'Sec-Fetch-Mode': 'cors',
     
179.     'Sec-Fetch-Site': 'same-origin',
     
180.     'sec-ch-ua': '" Not;A Brand";v = "99", "Google Chrome";v = "91", "Chromium";v = "91"',
     
181.     'Host': 'www.xinyurc.com',
     
182.     'Content-Type': 'application/x-www-form-urlencoded;charset=UTF-8',
     
183.      'Content-Length': '46',
     
184.      'Connection': 'keep-alive',
     
185.      'Accept-Language': 'zh-CN, zh;q=0.9, en;q=0.8, zh-TW;q=0.7',
     
186.      'Accept': 'application/json,text/javascript, */*; q=0.01',
     
187.      'Date': 'Sat, 12 Jun 2021 02:34: 55 GMT',
     
188.      'Expires': 'Thu, 19 Nov 1981 08: 52:00 GMT',
     
189.     'Transfer-Encoding': 'chunked',
     
190.     'Vary': 'Accept-Encoding',
     
191.                }
     
192.     data = {
     
193.     'username': '15579001118',
     
194.     'password':'6330055',
     
195.     'expire': '1'
     
196.     }
     
197.     s = requests.session()
     
198.     s.headers.update()
     
199.     r = s.post(url=url,data=data,headers=headers,allow_redirects = True);
     
200. 
     
201.     r = s.get(url=url2).text
     
202.     print(r,'*****' * 10)
     
203.     html = etree.HTML(r)
     
204. 
     
205.     lastpage = html.xpath('/html/body/div[5]/div[1]/div[2]/div[17]/a[7]/@href')[0]
     
206.     lastpage = re.findall('page=(\d{3})', lastpage)[0]
     
207.     nextpage(lastpage)
     
208. 
     

复制代码

这里研究了蛮久，不知道为什么现在好像登陆不成功了

wp231957

盘子开的太大，应先研究能否成功登录

xiaosi4081

加个登陆后的cookie试试