[已解决]第055讲：论一只爬虫的自我修养4：OOXX

黑盒子

1. import urllib.request
   
2. import os
   
3. import base64
   
4. 
   
5. def url_open(url):
   
6.     #添加文件头
   
7.     req = urllib.request.Request(url)
   
8.     req.add_header('User-Agent','Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36')
   
9.     #访问页面
   
10.     response = urllib.request.urlopen(req)
    
11.     html = response.read()
    
12.     return html
    
13.    
    
14. #获取页码
    
15. def get_page(url):
    
16.     html = url_open(url).decode('utf-8')
    
17. 
    
18.     #查找(不懂偏移量)
    
19.     a = html.find('current-comment-page') + 23
    
20.     b = html.find(']', a)
    
21. 
    
22.     return html[a:b]
    
23. 
    
24. #获取页码图片地址
    
25. def find_imgs(url):
    
26.     html = url_open(url).decode('utf-8')
    
27.     img_addrs = []
    
28.     #查找(不懂偏移量)
    
29.     a = html.find('img src=')
    
30.     #找不到a的话，返回-1
    
31.     while a != -1:
    
32.         b = html.find('.jpg', a, a+255)
    
33.         #找不到b的话，返回-1
    
34.         if b != -1:
    
35.             img_addrs.append('http:' + html[a+9:b+4])
    
36.         else:
    
37.             #回到//原位置查找
    
38.             b = a + 9
    
39.         a = html.find('img src=', b)
    
40. 
    
41.     return img_addrs
    
42.         
    
43.    
    
44. #保存图片
    
45. def save_imgs(folder, img_addrs):
    
46.     for each in img_addrs:
    
47.         #分割split，以最后一个/
    
48.         filename = each.split('/')[-1]
    
49.         with open(filename, 'wb') as f:
    
50.             #打开图片，二进制码
    
51.             img = url_open(each)
    
52.             #写入
    
53.             f.write(img)
    
54. 
    
55. def download_mm(folder='ooxx', pages=20):
    
56.     #创建文件夹
    
57.     os.mkdir(folder)
    
58.     #保存文件夹
    
59.     os.chdir(folder)
    
60. 
    
61.     url = 'http://jandan.net/ooxx/'
    
62.     #获取页码
    
63.     page_num = int(get_page(url))
    
64. 
    
65.     for i in range(pages):
    
66.         page_num -= i
    
67.         #进行base64加密
    
68.         num = '20200826-'
    
69.         bytes_num = num.encode('utf-8')
    
70.         str_num = base64.b64encode(bytes_num).decode('utf-8')
    
71.         #获取当前页面地址
    
72.         page_url = url + str_num + str(page_num) + '#comments'
    
73.         #获取页面内图片地址
    
74.         img_addrs = find_imgs(page_url)
    
75.         #保存页面到指定的文件夹
    
76.         save_imgs(folder, img_addrs)
    
77. 
    
78. #调用主函数
    
79. if __name__ == '__main__':
    
80.     download_mm()

复制代码

谁能帮我看下，为啥只能爬一页，明明pages=10，一页爬完报错了，求解
还有那个偏移量是怎么算的呢，爬的是煎蛋网http://jandan.net/ooxx，求解

最佳答案

月排行榜 / 总排行榜

suchocolate

2020-8-26 15:47:46

我一般用xpath（供参考）：

1. 
   
2. import requests
   
3. from lxml import etree
   
4. import os
   
5. 
   
6. 
   
7. def main():
   
8.     dir_name = 'pics'
   
9.     if not os.path.exists(dir_name):
   
10.         os.mkdir(dir_name)
    
11.     os.chdir(dir_name)
    
12.     # num = int(input('请输入想下载的页数：'))
    
13.     num = 3
    
14.     url = 'http://jandan.net/ooxx'
    
15.     headers = {'user-agent': 'firefox'}
    
16.     result = []
    
17.     r = requests.get(url, headers=headers)
    
18.     html = etree.HTML(r.text)
    
19.     nx_page = html.xpath('//a[@class="previous-comment-page"]/@href')[0]
    
20.     for item in range(num):
    
21.         r = requests.get('http:' + nx_page, headers=headers)
    
22.         html = etree.HTML(r.text)
    
23.         result.extend(html.xpath('//img[@referrerpolicy="no-referrer"]/@src'))
    
24.         nx_page = html.xpath('//a[@class="previous-comment-page"]/@href')[0]
    
25.     pic_num = len(result)
    
26.     print(f'总共{pic_num}张图片')
    
27.     dl_counter = 1
    
28.     for item in result:
    
29.         pic_name = item.split('/')[-1]
    
30.         try:
    
31.             r = requests.get('http:' + item, headers=headers, timeout=5)
    
32.         except Exception as e:
    
33.             print(e)
    
34.         with open(pic_name, 'wb') as f:
    
35.             f.write(r.content)
    
36.             print(f'已下载{pic_name}, 共下载{dl_counter}。')
    
37.             dl_counter += 1
    
38. 
    
39. 
    
40. if __name__ == '__main__':
    
41.     main()

复制代码

跳转到最佳答案楼层

suchocolate

我一般用xpath（供参考）：

1. 
   
2. import requests
   
3. from lxml import etree
   
4. import os
   
5. 
   
6. 
   
7. def main():
   
8.     dir_name = 'pics'
   
9.     if not os.path.exists(dir_name):
   
10.         os.mkdir(dir_name)
    
11.     os.chdir(dir_name)
    
12.     # num = int(input('请输入想下载的页数：'))
    
13.     num = 3
    
14.     url = 'http://jandan.net/ooxx'
    
15.     headers = {'user-agent': 'firefox'}
    
16.     result = []
    
17.     r = requests.get(url, headers=headers)
    
18.     html = etree.HTML(r.text)
    
19.     nx_page = html.xpath('//a[@class="previous-comment-page"]/@href')[0]
    
20.     for item in range(num):
    
21.         r = requests.get('http:' + nx_page, headers=headers)
    
22.         html = etree.HTML(r.text)
    
23.         result.extend(html.xpath('//img[@referrerpolicy="no-referrer"]/@src'))
    
24.         nx_page = html.xpath('//a[@class="previous-comment-page"]/@href')[0]
    
25.     pic_num = len(result)
    
26.     print(f'总共{pic_num}张图片')
    
27.     dl_counter = 1
    
28.     for item in result:
    
29.         pic_name = item.split('/')[-1]
    
30.         try:
    
31.             r = requests.get('http:' + item, headers=headers, timeout=5)
    
32.         except Exception as e:
    
33.             print(e)
    
34.         with open(pic_name, 'wb') as f:
    
35.             f.write(r.content)
    
36.             print(f'已下载{pic_name}, 共下载{dl_counter}。')
    
37.             dl_counter += 1
    
38. 
    
39. 
    
40. if __name__ == '__main__':
    
41.     main()

复制代码

jackcoden

数据采集多了还需要用代理IP吧

zhangfeiwen

学习了 up up

wanghao灏

[code]
        num = '20201213-'      

#### 加密要加页码一起加  ‘20201213-’+str(page_num))

        bytes_num = (num+str(page_num)).encode('utf-8')
        str_num = base64.b64encode(bytes_num).decode('utf-8')

####
#         print(base64.b64decode(str_num))
        page_url = url+str_num+'#comments'


楼主，今天看了你的代码收获很多，我试了一下你的代码应该是加密位置, 几行错了，