[已解决]弄了个爬虫，但是不会写异常，跪求大神指点！

silence181

爬小说网站，但是爬一段时间就会出现出现“远程主机没响应”之类的错误，热后又得要重头开始爬，这样的异常该怎么写？求大神指点！
新手，代码写的比较乱，见笑了~！

1. import requests
   
2. import re
   
3. import pymysql
   
4. 
   
5. conn = pymysql.connect(
   
6.     host = '127.0.0.1',
   
7.     port = 3306,
   
8.     user = 'root',
   
9.     passwd = 'root',
   
10.     db = 'xiaoshu',
    
11.     charset = 'utf8'
    
12. )
    
13. 
    
14. curson = conn.cursor()
    
15. 
    
16. def get_next(url):
    
17.     response = requests.get(url)
    
18.     response.encoding = 'utf-8'
    
19.     return response.text
    
20. 
    
21. def re_next(next_html):
    
22.     r = re.compile('class="tspage">.*?1/(.*?)&nbsp;每页.*?<a',re.S)
    
23.     item = re.findall(r,next_html)
    
24.     page_num = item[0]
    
25.     return page_num
    
26. 
    
27. def re_page_html(page_html):
    
28.     r = re.compile('<li>.*?class="s">.*?href="(.*?)"><img.*?">(.*?)</a>.*?class="u">.*?</li>',re.S)
    
29.     item = re.findall(r,page_html)
    
30.     return item
    
31. 
    
32. def get_l(url):
    
33.     response = requests.get(url)
    
34.     response.encoding = 'utf-8'
    
35.     return response.text
    
36. 
    
37. def get_arc_list(url):
    
38.     response = requests.get(url)
    
39.     response.encoding = 'utf-8'
    
40.     return response.text
    
41. 
    
42. def re_arc_list(arc_list_url):
    
43.     r = re.compile('<li><a href="(.*?)">.*?</a></li>',re.S)
    
44.     item = re.findall(r,arc_list_url)
    
45.     items = item[24:]
    
46.     return items
    
47. 
    
48. def get_arc_html(uu):
    
49.     response = requests.get(uu)
    
50.     response.encoding = 'utf-8'
    
51.     return response.text
    
52. 
    
53. def re_arc(arc_html):
    
54.     r = re.compile('class="txt_cont">.*?<h1>(.*?)</h1>.*?html">(.*?)TXT.*?id="content1">(.*?)</div>',re.S)
    
55.     item = re.findall(r,arc_html)
    
56.     return item
    
57. 
    
58. def main():
    
59.     for i in range(1,2):
    
60.         url = 'http://www.sjtxt.la/soft/{}/Soft_00{}_1.html'.format(i,i)
    
61.         next_html = get_next(url)
    
62.         page_nums = re_next(next_html)
    
63.         for j in range(1,int(page_nums)+1):
    
64.             urls = 'http://www.sjtxt.la/soft/{}/Soft_00{}_{}.html'.format(i,i,j)
    
65.             page_html = requests.get(urls)
    
66.             for data in re_page_html(page_html.text):
    
67.                 page_url = 'http://www.sjtxt.la/book/' + data[0][-10:-5]
    
68.                 txtname = data[1]
    
69.                 print(txtname)
    
70.                 curson.execute("insert into book(txtname) value('{}')".format(txtname))
    
71.                 idtxtname = curson.lastrowid
    
72.                 conn.commit()
    
73.                 arc_list_url = get_arc_list(page_url)
    
74.                 for u in re_arc_list(arc_list_url):
    
75.                     uu = page_url + '/' + u
    
76.                     arc_html = get_arc_html(uu)
    
77.                     for arc_data in re_arc(arc_html):
    
78.                         title = arc_data[0]
    
79.                         con = arc_data[2].split()
    
80.                         content = ''.join(con)
    
81.                         print(title,content)
    
82.                         curson.execute("insert into con(idtxtname,title,content) value('{}','{}','{}')".format(idtxtname,title,content))
    
83.                         conn.commit()
    
84. 
    
85. if __name__ == '__main__':
    
86.     main()

复制代码

最佳答案

月排行榜 / 总排行榜

ba21

2018-2-9 12:41:08

注：如果HTTPError 和 URLError 同时使用，HTTPError 必须写在前面。


import urllib.request
from urllib.error import *


写法1:（推荐）
try:
    response = urlopen(req)
except URLError as e:
    if hasattr(e, 'reason'):
        print(e.reason)        
    elif hasattr(e, 'code'):
        print(e.code)
    else:
        print(e.read())


写法2：
req = urllib.request.Request("http://www.fishc.com/ooxx.html")
try:
    urllib.request.urlopen(req)
except HTTPError as e:
    print(e.code)
    print(e.reason)
    print(e.read())
except URLError as e:
    print(e.reason)

跳转到最佳答案楼层

°蓝鲤歌蓝

你这个代码看得我眼花缭乱，没有注释，没有报错信息，而且为什么有好几个一毛一样的函数啊？！！
你这个问题应该是服务器发现了你是爬虫所以不和你连接了，因为你代码里面没有加基本的反爬取措施。

ba21

注：如果HTTPError 和 URLError 同时使用，HTTPError 必须写在前面。


import urllib.request
from urllib.error import *


写法1:（推荐）
try:
    response = urlopen(req)
except URLError as e:
    if hasattr(e, 'reason'):
        print(e.reason)        
    elif hasattr(e, 'code'):
        print(e.code)
    else:
        print(e.read())


写法2：
req = urllib.request.Request("http://www.fishc.com/ooxx.html")
try:
    urllib.request.urlopen(req)
except HTTPError as e:
    print(e.code)
    print(e.reason)
    print(e.read())
except URLError as e:
    print(e.reason)

silence181

°蓝鲤歌蓝 发表于 2018-2-9 11:51
你这个代码看得我眼花缭乱，没有注释，没有报错信息，而且为什么有好几个一毛一样的函数啊？！！
你这个问 ...

这个网站就是我朋友的  没有任何反爬措施

silence181

°蓝鲤歌蓝 发表于 2018-2-9 11:51
你这个代码看得我眼花缭乱，没有注释，没有报错信息，而且为什么有好几个一毛一样的函数啊？！！
你这个问 ...

没有一毛一样的函数 只是函数名有点像而已  哈哈哈

°蓝鲤歌蓝

silence181 发表于 2018-2-9 19:23
这个网站就是我朋友的  没有任何反爬措施

那应该是他那边的问题。

silence181

ba21 发表于 2018-2-9 12:41
注：如果HTTPError 和 URLError 同时使用，HTTPError 必须写在前面。

谢谢了  我在研究下。。。

°蓝鲤歌蓝

silence181 发表于 2018-2-9 19:25
没有一毛一样的函数 只是函数名有点像而已  哈哈哈

函数名不一样，函数内容都是一样的，应该没必要。