爬虫自己停下了，也不报错

heqianqian

我自己在爬一个89页的网站，爬到19页26条，就停下来了，也不报错，也不继续爬这是什么情况？

xy123963

会是网速问题吗

heqianqian

xy123963 发表于 2018-7-9 16:29
会是网速问题吗

到现在还没有动啊？

heqianqian

xy123963 发表于 2018-7-9 16:29
会是网速问题吗

大概不是网速的问题，我们公司的网一直蛮好的

heqianqian

xy123963 发表于 2018-7-9 16:29
会是网速问题吗

你觉得还有别的原因吗？
之前也碰到过，当时是直接从断点处再重新开始
不过感觉这个问题，总归要解决

heqianqian

iwanna 发表于 2018-7-9 19:22
不贴代码，爱莫能助

思路：爬取代码中的url，获取子url——爬取子url，正则方式，获取目标信息——存入mysql

1. import urllib
   
2. import re
   
3. import random
   
4. import mysql.connector
   
5. def use_proxy_1(url,proxy_add):
   
6.     proxy = urllib.request.ProxyHandler({'http':proxy_add})
   
7.     opener = urllib.request.build_opener(proxy,urllib.request.HTTPHandler)
   
8.     headers =('User-Agent','Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36')
   
9.     opener.addheaders = [headers]
   
10.     urllib.request.install_opener(opener)
    
11.     data = urllib.request.urlopen(url).read().decode(encoding='UTF-8',errors='replace')
    
12.     return data
    
13. for page in range(1,90):
    
14.     url = 'https://sou.zhaopin.com/jobs/searchresult.ashx?jl=489&kw=%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90%E5%B8%88&sm=0&sg=5c6e7451ff0d48a6852cd7e35bb08be0&p='+str(page)+''
    
15.     iplist =['124.128.39.138:8088','223.241.78.1064:8010','119.183.220.224:8088']
    
16.     proxy_add = random.choice(iplist)
    
17.     response = use_proxy_1(url,proxy_add)
    
18.     response = response.replace(' ','')
    
19.     pat = 'weight:.*?so=\d*"href="(.*?)"target="'
    
20.     res = re.compile(pat,re.DOTALL)
    
21.     res = res.findall(response)
    
22.     print(page,len(res))
    
23.     for i in range(0,60):#len(res)):
    
24.         url1 = str(res[i]).replace('http','https')
    
25.         if 'httpss' in url1:
    
26.             url1 = str(res[i]).replace('httpss','https')
    
27.         response1 = use_proxy_1(url1,proxy_add)
    
28.         pat_company =  'var Str_CompName = "(.*?)";'
    
29.         pat_job = '<h1>(.*?)</h1>'
    
30.         pat_location = '<li><span>工作地点：</span><strong><a target=.*?">(.*?)</a>.*?</strong></li>'
    
31.         pat_type = '<li><span>公司性质：</span><strong>(.*?)</strong></li>'
    
32.         pat_size = '<li><span>公司规模：</span><strong>(.*?)</strong></li>'
    
33.         pat_industry = '<li><span>公司行业：</span><strong><a target="_blank" href=".*?">(.*?)</a></strong></li>'
    
34.         pat_experience = '<li><span>工作经验：</span><strong>(.*?)</strong></li>'
    
35.         pat_education = '<li><span>最低学历：</span><strong>(.*?)</strong></li>'
    
36.         pat_salary = '<li><span>职位月薪：</span><strong>(.*?)&nbsp'
    
37.         pat_number = '<li><span>招聘人数：</span><strong>(.*?) </strong></li>'
    
38.         pat_categories ='<li><span>职位类别：</span><strong><a target="_blank" href=".*?">(.*?)</a></strong></li>'
    
39.         try:
    
40.             company = re.compile(pat_company).findall(response1)[0]
    
41.             job = re.compile(pat_job).findall(response1)[0]      
    
42.             location = re.compile(pat_location).findall(response1)[0]
    
43.             type = re.compile(pat_type).findall(response1)[0]
    
44.             size = re.compile(pat_size).findall(response1)[0]
    
45.             industry = re.compile(pat_industry).findall(response1)[0]
    
46.             experience = re.compile(pat_experience).findall(response1)[0]
    
47.             education = re.compile(pat_education).findall(response1)[0]
    
48.             salary = re.compile(pat_salary).findall(response1)[0]
    
49.             number = re.compile(pat_number).findall(response1)[0]
    
50.             categories = re.compile(pat_categories).findall(response1)[0]
    
51.         except Exception as e:
    
52.             print(e)
    
53.         try:
    
54.             conn = mysql.connector.connect(
    
55.                     user='root',
    
56.                     password='**************',
    
57.                     host='127.0.0.1',
    
58.                     port=3306,
    
59.                     database='jobs'
    
60.                     )
    
61.             cursor = conn.cursor()
    
62.             cursor.execute("INSERT INTO zhilian(company,job,location,type,size,industry,experience,education,salary,number,categories) VALUES ('"+company+"','"+job+"','"+location+"','"+type+"','"+size+"','"+industry+"','"+experience+"','"+education+"','"+salary+"','"+number+"','"+categories+"')")
    
63.             print('第'+str(page)+'页，第'+str(i)+'条数据')   
    
64.             print('************** 数据保存成功 **************')
    
65.             conn.commit()
    
66.             cursor.close()
    
67.         except Exception as e:
    
68.             print(e)
    
69.             print('第'+str(page)+'页，第'+str(i)+'条数据')   
    
70.             print('*************!!!! 保存失败!!!! **************')

复制代码

heqianqian

heqianqian 发表于 2018-7-11 12:56
思路：爬取代码中的url，获取子url——爬取子url，正则方式，获取目标信息——存入mysql

麻烦您帮忙看下吧