[已解决]爬虫

kygschp

本来想跟着小甲鱼的课程爬点妹子图的，但是突然发现了下面的问题，不知道咋搞。

在小甲鱼打开的网页里面，每个网页的网址是这样的：jandan.net/ooxx/page-1292#comments.
不同网页间除了页码，其他都是一样的

但是在我打开的网页里面，每个网页的网址是这样的：http://jandan.net/girl/MjAyMTA3MTktODc=#comments.
不是按照页码弄的，我搞不清楚其中的规律是什么

请教下各位大佬，这是啥情况，该怎么解决呢

最佳答案

月排行榜 / 总排行榜

suchocolate

2021-7-20 14:22:28

jiandan的url改过了，所以看起来不一样了。
girl后面的“乱码”可以算出来，也可以直接从当前页面获得下一个页面的url。
你可以参考这个：

1. # _*_ coding: utf-8 _*_
   
2. # Developer: suchocolate
   
3. # Date: 8/26/2020 15:09
   
4. # File name: jiandan.py
   
5. # Development tool: PyCharm
   
6. 
   
7. import requests
   
8. import os
   
9. import re
   
10. 
    
11. 
    
12. def main():
    
13.     dir_name = 'pics'   # 存储图片
    
14.     if not os.path.exists(dir_name):
    
15.         os.mkdir(dir_name)
    
16.     os.chdir(dir_name)
    
17.     # num = int(input('请输入想下载的页数：'))
    
18.     num = 3
    
19.     url = 'http://jandan.net/girl'
    
20.     headers = {'user-agent': 'firefox'}
    
21.     result = []   # 存储图片的url
    
22.     r = requests.get(url, headers=headers)
    
23.     nx_page = re.findall(r'Comments" href="(.*?)"', r.text)[0]   # 找到下一页的url
    
24.     for item in range(num):
    
25.         r = requests.get('http:' + nx_page, headers=headers)
    
26.         result.extend(re.findall(r'<img src="(.*?)"', r.text))   # 把当前页面图片的url存到result
    
27.         nx_page = re.findall(r'Comments" href="(.*?)"', r.text)[0]  # 找到下一页的url
    
28.     pic_num = len(result)
    
29.     print(f'总共{pic_num}张图片')
    
30.     dl_counter = 1
    
31.     for item in result:
    
32.         pic_name = item.split('/')[-1]
    
33.         try:
    
34.             r = requests.get('http:' + item, headers=headers, timeout=5)
    
35.         except Exception as e:
    
36.             print(e)
    
37.         with open(pic_name, 'wb') as f:
    
38.             f.write(r.content)
    
39.             print(f'已下载{pic_name}, 共下载{dl_counter}。')
    
40.             dl_counter += 1
    
41. 
    
42. 
    
43. if __name__ == '__main__':
    
44.     main()
    
45. 
    

复制代码

跳转到最佳答案楼层

suchocolate

jiandan的url改过了，所以看起来不一样了。
girl后面的“乱码”可以算出来，也可以直接从当前页面获得下一个页面的url。
你可以参考这个：

1. # _*_ coding: utf-8 _*_
   
2. # Developer: suchocolate
   
3. # Date: 8/26/2020 15:09
   
4. # File name: jiandan.py
   
5. # Development tool: PyCharm
   
6. 
   
7. import requests
   
8. import os
   
9. import re
   
10. 
    
11. 
    
12. def main():
    
13.     dir_name = 'pics'   # 存储图片
    
14.     if not os.path.exists(dir_name):
    
15.         os.mkdir(dir_name)
    
16.     os.chdir(dir_name)
    
17.     # num = int(input('请输入想下载的页数：'))
    
18.     num = 3
    
19.     url = 'http://jandan.net/girl'
    
20.     headers = {'user-agent': 'firefox'}
    
21.     result = []   # 存储图片的url
    
22.     r = requests.get(url, headers=headers)
    
23.     nx_page = re.findall(r'Comments" href="(.*?)"', r.text)[0]   # 找到下一页的url
    
24.     for item in range(num):
    
25.         r = requests.get('http:' + nx_page, headers=headers)
    
26.         result.extend(re.findall(r'<img src="(.*?)"', r.text))   # 把当前页面图片的url存到result
    
27.         nx_page = re.findall(r'Comments" href="(.*?)"', r.text)[0]  # 找到下一页的url
    
28.     pic_num = len(result)
    
29.     print(f'总共{pic_num}张图片')
    
30.     dl_counter = 1
    
31.     for item in result:
    
32.         pic_name = item.split('/')[-1]
    
33.         try:
    
34.             r = requests.get('http:' + item, headers=headers, timeout=5)
    
35.         except Exception as e:
    
36.             print(e)
    
37.         with open(pic_name, 'wb') as f:
    
38.             f.write(r.content)
    
39.             print(f'已下载{pic_name}, 共下载{dl_counter}。')
    
40.             dl_counter += 1
    
41. 
    
42. 
    
43. if __name__ == '__main__':
    
44.     main()
    
45. 
    

复制代码