设为首页收藏本站
切换到窄版

鱼C论坛

 找回密码
 立即注册
鱼C论坛»论坛 › 编程语言专区 › Python交流 › 太久没玩了，请教一个登陆问题
返回列表 发新帖
查看: 2847|回复: 2

太久没玩了，请教一个登陆问题

[复制链接]
nanrenne
发表于 2021-6-12 11:06:04 | 显示全部楼层 |阅读模式
5鱼币
  1. #coding=utf-8

  3. import requests,re,os,time,pymysql,time
  4. from lxml import etree
  5. down_path = '新余快速人才网'
  6. if not os.path.exists(down_path):
  7.     os.makedirs(down_path)
  8. url3 = []
  9. def nextpage(lastpage):
  10.     for i in range (1,2):
  11.         print('页码:',i)
  12.         nexturl = f'https://www.xinyurc.com/index.php?m=&c=jobs&a=jobs_list&page={i}'
  13.         r = s.get(url=nexturl).text
  14.         html = etree.HTML(r)
  15.         href = html.xpath('/html/body/div[5]/div[1]/div[2]/div/div[3]/a/@href')  # 公司主页
  16.         global url3
  17.         url3.extend(href)
  18.     url3 = set(url3)
  19.     print(url3)
  20.     for h in url3:
  21.         print('hurl:',h)
  22.         time.sleep(1)
  23.         r = s.get(url=h).text


  26.         jobs = re.findall('<a href="(.*?)">全部职位',r)#全部职位
  27.         jobs = 'https://www.xinyurc.com' + jobs[0]#全部职位链接
  28.         r2 = s.get(url=jobs).text
  29.         print('jobs是:',jobs)
  30.         html2 = etree.HTML(r2)
  31.         #alljobs = html2.xpath('/html/body//div[@class="jname"]/a/text()')#全部职位
  32.         try:
  33.             allurl = html2.xpath('/html/body//div[@class="jname"]/a/@href')#全部职位URl
  34.         except:
  35.             pass

  37.         for url in allurl:  # 遍历全部职位url
  38.             r = s.get(url).text
  39.             print('Url:',url)
  40.             html = etree.HTML(r)
  41.             job = html.xpath('/html/body/div[3]/div/div/div[2]/div[1]/text()')[0]  # 岗位名称
  42.             cname = html.xpath('/html/body//div[@class="comname"]/a/text()')[0]  # 公司名称
  43.             jobin = html.xpath('/html/body/div[4]/div[1]/div[1]/div[1]/div[2]/text()')[0]  # 全职/兼职
  44.             joba = html.xpath('/html/body//div[@class="itemli"][2]/text()')  # 职位类别
  45.             if len(joba) == 0:
  46.                 joba = ['无']
  47.             jobnum = html.xpath('/html/body/div[4]/div[1]/div[1]/div[1]/div[4]/text()')[0]  # 招聘人数
  48.             #jobsc = html.xpath('/html/body/div[4]/div[1]/div[1]/div[1]/div[6]/text()')[0]  # 学历要求
  49.             #jobyear = html.xpath('/html/body/div[4]/div[1]/div[1]/div[1]/div[7]/text()')[0]  # 工作经验
  50.             sex = html.xpath('/html/body/div[4]/div[1]/div[1]/div[1]/div[8]/text()')[0]  # 性别要求
  51.             if sex == '不限':
  52.                 sex = 0
  53.             elif sex == '女':
  54.                 sex = 2
  55.             elif sex == '男':
  56.                 sex = 1
  57.             #old = html.xpath('/html/body/div[4]/div[1]/div[1]/div[1]/div[10]/text()')[0]  # 年龄要求
  58.             #intype = html.xpath('/html/body/div[4]/div[1]/div[1]/div[1]/div[11]/text()')[0]  # 招聘部门
  59.             jobaddress = html.xpath('/html/body/div[4]/div[1]/div[1]/div[1]/div[13]/text()')[0]  # 工作地点
  60.             #whos = html.xpath('/html/body/div[4]/div[1]/div[1]/div[2]/div[2]/text()[1]')[0]  # 联系人
  61.             andtel = html.xpath('/html/body/div[4]/div[1]/div[1]/div[2]/div[4]/span/text()')  # 联系电话
  62.             classjob = html.xpath('/html/body//div[@class="describe"]/div[@class="txt"]/text()')#职位描述
  63.             money = html.xpath('/html/body//div[@class="jobstit"]/div[@class="wage"]/text()')[0]#薪资

  65.             if '1K' in money:
  66.                 money = 2
  67.             elif '2K' in money:
  68.                 money = 3
  69.             elif '3K' in money:
  70.                 money = 4
  71.             elif '4K' in money:
  72.                 moeny = 5
  73.             elif '5K' in money:
  74.                 money = 6
  75.             elif '6K' in money:
  76.                 money = 6
  77.             elif '7K' in money:
  78.                 money = 6
  79.             elif '8K' in money or '9K' in money or '10K' in money or '11K' in money or '12K' in money:
  80.                 money = 7
  81.             elif '13K' in money or '14K' in money or '15K' in money or '16K' in money or '17K' in money or '18K' in money or '19K' in money or '20K' in money :
  82.                 money = 8
  83.             else:
  84.                 money = 0


  87.             if len(andtel) != 0:
  88.                 db = pymysql.connect(host = 'localhost' ,user='root', password='6330055', port=3306, db='spiders')
  89.                 cursor = db.cursor()

  91.                 data = {
  92.                 'uniacid' : 1,
  93.                 'uid' : 24,
  94.                 'isc' : 2,
  95.                 'cid' : 0,
  96.                 'title' : job,
  97.                 'jobcatindex' : 0,
  98.                 'salaryindex' : money,
  99.                 'flow' : 0,
  100.                 'recruitnum' : jobnum,
  101.                 'sexindex' : sex,
  102.                 'degreesindex' : 0,
  103.                 'experiencesindex' : 0,
  104.                 'des' : classjob,
  105.                 'chosewelfare' : ' a:1:{i:0;s:12:"其他补助";}',
  106.                 'imgs' : 'a:1:{i:0;s:0:"";}',
  107.                 'time':int(time.time()),
  108.                 'status' : 1,
  109.                 'istop' : 0,
  110.                 'toptime' : 'NULL',
  111.                 'flow' : 0,
  112.                 'istou' : 0,
  113.                 'isting' : 0,
  114.                 'citycode' : '360500',
  115.                 'telnum' : andtel[0],
  116.                 'address' : jobaddress,
  117.                 'state' : '1'
  118.                 }

  120.                 table = 'ims_lshd_zhaopinhign_zpxx'
  121.                 keys = ','.join(data.keys())
  122.                 values = ','.join(['%s'] * len(data))
  123.                 sql = 'INSERT INTO {table}({keys}) VALUES ({values})'.format(table=table,keys=keys,values=values)
  124.                 try:
  125.                     if cursor.execute(sql,tuple(data.values())):
  126.                         print('Successful')
  127.                         db.commit()
  128.                 except:
  129.                     print('Failed')
  130.                     db.rollback()
  131.                 db.close()

  133.             #     with open(f'{down_path}/新余快速人才网数据222222.txt', 'a') as f:
  134.             #         f.write(cname)
  135.             #         f.write(' ')
  136.             #         f.write('\n\n')
  137.             #         f.write('岗位名称:' + job)
  138.             #         f.write(' ')
  139.             #         f.write('职位类别:' + joba[0])
  140.             #         f.write(' ')
  141.             #         f.write('招聘人数:' + jobnum)
  142.             #         f.write(' ')
  143.             #         f.write('性别要求' + sex)
  144.             #         f.write(' ')
  145.             #         f.write(jobaddress)
  146.             #         f.write(' ')
  147.             #         f.write('联系电话' + andtel[0])
  148.             #         f.write('\n\n')
  149.             #         f.write('岗位职责:' + classjob)
  150.             #         f.write('\r\n\n')
  151.             #
  152.             #
  153.             # else:
  154.             #     pass











  166. if __name__ == '__main__':

  168.     url = 'https://www.xinyurc.com/index.php?m=Home&c=Members&a=login'
  169.     url2 = 'https://www.xinyurc.com/index.php?m=Home&c=jobs&a=jobs_list'
  170.     headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.77 Safari/537.36',
  171.     'X-Requested-With': 'XMLHttpRequest',
  172.     'Sec-Fetch-Site': 'same-origin',
  173.     'Origin': 'https: // www.xinyurc.com',
  174.     'Referer': 'https://www.xinyurc.com/members/login',
  175.     'Accept-Encoding': 'gzip, deflate, br',
  176.     'sec-ch-ua-mobile': '?0',
  177.     'Sec-Fetch-Dest': 'empty',
  178.     'Sec-Fetch-Mode': 'cors',
  179.     'Sec-Fetch-Site': 'same-origin',
  180.     'sec-ch-ua': '" Not;A Brand";v = "99", "Google Chrome";v = "91", "Chromium";v = "91"',
  181.     'Host': 'www.xinyurc.com',
  182.     'Content-Type': 'application/x-www-form-urlencoded;charset=UTF-8',
  183.      'Content-Length': '46',
  184.      'Connection': 'keep-alive',
  185.      'Accept-Language': 'zh-CN, zh;q=0.9, en;q=0.8, zh-TW;q=0.7',
  186.      'Accept': 'application/json,text/javascript, */*; q=0.01',
  187.      'Date': 'Sat, 12 Jun 2021 02:34: 55 GMT',
  188.      'Expires': 'Thu, 19 Nov 1981 08: 52:00 GMT',
  189.     'Transfer-Encoding': 'chunked',
  190.     'Vary': 'Accept-Encoding',
  191.                }
  192.     data = {
  193.     'username': '15579001118',
  194.     'password':'6330055',
  195.     'expire': '1'
  196.     }
  197.     s = requests.session()
  198.     s.headers.update()
  199.     r = s.post(url=url,data=data,headers=headers,allow_redirects = True);

  201.     r = s.get(url=url2).text
  202.     print(r,'*****' * 10)
  203.     html = etree.HTML(r)

  205.     lastpage = html.xpath('/html/body/div[5]/div[1]/div[2]/div[17]/a[7]/@href')[0]
  206.     lastpage = re.findall('page=(\d{3})', lastpage)[0]
  207.     nextpage(lastpage)

复制代码



这里研究了蛮久，不知道为什么现在好像登陆不成功了

小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

wp231957
发表于 2021-6-12 11:15:38 From FishC Mobile | 显示全部楼层
盘子开的太大，应先研究能否成功登录
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

xiaosi4081
发表于 2021-6-12 13:32:53 | 显示全部楼层
加个登陆后的cookie试试
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2025-6-22 22:32

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表