我的第一个爬虫！！！！！开心

Unicorn#

给大佬们看看
还没学正则，就全部用的字符串
爬取妹子图还是算了吧，毕竟我是正[yi]人[guan]君[qin]子[shou]，所以就爬了鱼哥的帖子（别打我）

问一下，那些特殊符号大家都是怎么处理的？？

1. import urllib.request as ur
   
2. 
   
3. illegal = {'\xa0':' ', '<br />':'', '<div class="quote">':'', '<blockquote>':'"', '</blockquote>':'"','</div>':'', '<div>':'', '&nbsp;':' ', '0xaf':''}
   
4. data = []
   
5. 
   
6. 
   
7. 
   
8. def find_comment(content):
   
9.     global data
   
10.     account = []
    
11.     comments = []
    
12.     head = content.find('<div id="postlist" class="pl bm">')
    
13.     tail = content.find('<div id="postlistreply" class="pl">', head)
    
14.     p = content.find('<div id="post_', head, tail)
    
15.     while p != -1:
    
16.            t = content.find('<div id="post_', p + 1, tail)
    
17.            temp = content.find('class="xw1"', p + 1, t)
    
18.            temp = content.find('>', temp + 1, t)
    
19.            temp_t = content.find('</a>', temp + 1, t)
    
20.            name = content[temp+1:temp_t]
    
21.            account.append(name)
    
22.            temp = content.find('<td class="t_f" id="postmessage_', temp_t + 1, t) + 40
    
23.            temp_t = content.find('</td>', temp + 1, t)
    
24.            comment = content[temp:temp_t]
    
25.            comments.append(comment)
    
26.            p = content.find('<div id="post_', t + 1, tail)
    
27.     num = len(account)
    
28.     for i in range(0, num):
    
29.         data.append([account[i], comments[i]])
    
30. 
    
31. def filt():
    
32.     global data
    
33.     for each in data:
    
34.         if '<strong>回复' in each[1]:
    
35.             t = each[1].find('#', 111)
    
36.             repeated_num = each[1][111:t]
    
37.             t1 = each[1].find('<i>', t) + 3
    
38.             t2 = each[1].find('</i>', t1)
    
39.             repeated_name = each[1][t1:t2]
    
40.             t = each[1].find('</strong>', t) + 9
    
41.             each[1] = '回复了' + repeated_num + '楼用户' + repeated_name + '的评论  ' + each[1][t:]
    
42.         for i in illegal:
    
43.             while i in each[1]:
    
44.                 each[1] = each[1].replace(i, illegal[i])
    
45.         while '<img src=' in each[1]:
    
46.             p = each[1].find('<img src=')
    
47.             t = each[1].find('/>', p) + 2
    
48.             each[1] = each[1][:p] + '<图片表情>' + each[1][t:]
    
49.   
    
50. def save_comment(data, page_p):
    
51.     global f
    
52.     f.writelines('='*20 + '第%d页'%page_p + '='*20 + '\n\n')
    
53.     for each in data:
    
54.         f.writelines('用户名：' + each[0] + ' 评论道' + '\n' + each[1] + '\n\n')
    
55.     print('第%d页评论已爬取完毕'%page_p)
    
56.     return
    
57. 
    
58. def get_page(page_p):
    
59.     url_head = 'https://fishc.com.cn/thread-1053-'
    
60.     url_tail = '-1.html'
    
61.     page_url = url_head + str(page_p) + url_tail
    
62.     response = ur.urlopen(page_url)
    
63.     content = response.read()
    
64.     content = content.decode('gbk', 'ignore')
    
65.     return content
    
66. 
    
67. f = open('comments.txt','w')
    
68. page_start = int(input("请输入需要爬取起始页数:"))
    
69. page_end = int(input("请输入需要爬取终止页数:"))
    
70. page_p = page_start
    
71. while page_p <= page_end:
    
72.     content = get_page(page_p)
    
73.     find_comment(content)
    
74.     filt()
    
75.     save_comment(data, page_p)
    
76.     page_p += 1
    
77. f.close()

复制代码

jy02618370

是否注释下内容   好让我们新人 观摩学习

Unicorn#

jy02618370 发表于 2019-10-14 17:18
是否注释下内容   好让我们新人 观摩学习

来啦来啦
第一次当大佬
其实可以用正则避免很多问题，但是当时还没学正则
以下：

1. import urllib.request as ur
   
2. 
   
3. illegal = {'\xa0':' ', '<br />':'', '<div class="quote">':'', '<blockquote>':'"', '</blockquote>':'"','</div>':'', '<div>':'', '&nbsp;':' ', '0xaf':''}
   
4. #这里保存非法字符。因为网站编码问题，不能被转码为ASCII码，会报错，所以做特殊处理
   
5. data = []
   
6. #data列表用于保存某一页的 用户和评论
   
7. 
   
8. 
   
9. def find_comment(content):
   
10.     #find__comment函数用于查找评论， 将(用户名称,评论内容)存入全局列表data
    
11.     global data
    
12.     account = []#用户名列表
    
13.     comments = []#评论内容列表
    
14.     #对网站URL分析得知，评论的URL部分目录为：postlist/postlistreply/post_编号
    
15.     head = content.find('<div id="postlist" class="pl bm">')
    
16.     tail = content.find('<div id="postlistreply" class="pl">', head)
    
17.     p = content.find('<div id="post_', head, tail)
    
18.     while p != -1:
    
19.         #当找不到评论时跳出循环
    
20.            t = content.find('<div id="post_', p + 1, tail)
    
21.            temp = content.find('class="xw1"', p + 1, t)
    
22.            temp = content.find('>', temp + 1, t)
    
23.            temp_t = content.find('</a>', temp + 1, t)
    
24.            name = content[temp+1:temp_t]
    
25.            account.append(name)
    
26.            #记录用户名
    
27.            temp = content.find('<td class="t_f" id="postmessage_', temp_t + 1, t) + 40
    
28.            temp_t = content.find('</td>', temp + 1, t)
    
29.            comment = content[temp:temp_t]
    
30.            comments.append(comment)
    
31.            #记录评论内容
    
32.            p = content.find('<div id="post_', t + 1, tail)
    
33.            #找到下一个post_编号标签
    
34.     num = len(account)
    
35.     for i in range(0, num):
    
36.         data.append([account[i], comments[i]])
    
37.         #存储到全局列表data中
    
38. 
    
39. def filt():
    
40.     #应为filter（过滤器），但是python对filter函数已有定义，故名为filt。用于滤去非法字符
    
41.     global data
    
42.     for each in data:
    
43.         if '<strong>回复' in each[1]:
    
44.             #如果该评论是回复，则修改为回复的格式：某人 回复了 某楼用户 某某 的评论：评论内容
    
45.             t = each[1].find('#', 111)
    
46.             repeated_num = each[1][111:t]
    
47.             t1 = each[1].find('<i>', t) + 3
    
48.             t2 = each[1].find('</i>', t1)
    
49.             repeated_name = each[1][t1:t2]
    
50.             t = each[1].find('</strong>', t) + 9
    
51.             each[1] = '回复了' + repeated_num + '楼用户' + repeated_name + '的评论  ' + each[1][t:]
    
52.         for i in illegal:
    
53.             while i in each[1]:
    
54.                 each[1] = each[1].replace(i, illegal[i])
    
55.         while '<img src=' in each[1]:
    
56.             #如果评论中有图片，则将图片替换为<图片表情>
    
57.             p = each[1].find('<img src=')
    
58.             t = each[1].find('/>', p) + 2
    
59.             each[1] = each[1][:p] + '<图片表情>' + each[1][t:]
    
60.   
    
61. def save_comment(data, page_p):
    
62.     #save_comment用于保存评论
    
63.     global f
    
64.     f.writelines('='*20 + '第%d页'%page_p + '='*20 + '\n\n')
    
65.     for each in data:
    
66.         f.writelines('用户名：' + each[0] + ' 评论道' + '\n' + each[1] + '\n\n')
    
67.     print('第%d页评论已爬取完毕'%page_p)
    
68.     return
    
69. 
    
70. def get_page(page_p):
    
71.     #get_page用于寻找下一页的URL
    
72.     url_head = 'https://fishc.com.cn/thread-1053-'
    
73.     url_tail = '-1.html'
    
74.     page_url = url_head + str(page_p) + url_tail
    
75.     response = ur.urlopen(page_url)
    
76.     content = response.read()
    
77.     content = content.decode('gbk', 'ignore')
    
78.     return content
    
79. 
    
80. f = open('comments.txt','w')
    
81. page_start = int(input("请输入需要爬取起始页数:"))
    
82. page_end = int(input("请输入需要爬取终止页数:"))
    
83. page_p = page_start
    
84. while page_p <= page_end:
    
85.     #读取页面→寻找评论→过滤→保存→去往下一页
    
86.     content = get_page(page_p)
    
87.     find_comment(content)
    
88.     filt()
    
89.     save_comment(data, page_p)
    
90.     page_p += 1
    
91. f.close()

复制代码