[已解决]python爬虫煎蛋网的部分问题

Chysial

根据教程，现在煎蛋网改成随手拍，内容基本一样；
但是网址不一样了，现在网址是哪一页都是一样的，这是为什么？
<a href="//jandan.net/ooxx/MjAyMDAzMTItMjIx#comments">
                    221                </a>
只有后边那个221,进行改变但是搜索http时候，都是一样的，这是什么原因？是不是有办法把他转化为http://格式？

最佳答案

月排行榜 / 总排行榜

March2615

2020-3-12 12:52:01

1. import urllib.request as r
   
2. import os
   
3. import re
   
4. 
   
5. class Download_mm:
   
6.     def __init__(self, pages=10):
   
7.         self.url = 'http://jandan.net/ooxx/'
   
8.         self.headers = {
   
9.             'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) '
   
10.                           'AppleWebKit/537.36 (KHTML, like Gecko) '
    
11.                           'Chrome/80.0.3987.122 Safari/537.36'
    
12.         }
    
13.         self.page = pages
    
14.         self.img_addrs = []
    
15. 
    
16.     def url_open(self, url):
    
17.         req = r.Request(url=self.url, headers=self.headers)
    
18.         res = r.urlopen(req)
    
19.         html = res.read()
    
20.         return html
    
21. 
    
22.     def get_next_page_url(self):
    
23.         html = self.url_open(self.url).decode('utf-8')
    
24.         p = re.compile('<a title="Older Comments" href="(.*?)"')
    
25.         # 此时地址缺少'http:'，需要加上
    
26.         self.url = 'http:' + str(re.findall(p, html)[0])
    
27. 
    
28.     def find_image(self):
    
29.         html = self.url_open(self.url).decode('utf-8')
    
30.         p = re.compile('<img src="(.*?)"')
    
31.         self.img_addrs = re.findall(p, html)
    
32.         # 此时地址缺少'http:'，需要加上
    
33.         for i in range(len(self.img_addrs)):
    
34.             self.img_addrs[i] = 'http:' + self.img_addrs[i]
    
35.         return self.img_addrs
    
36. 
    
37.     def save_image(self, folder, img_addrs):
    
38.         for each in img_addrs:
    
39.             filename = each.split('/')[-1]
    
40.             with open(filename, 'wb') as f:
    
41.                 img = self.url_open(each)
    
42.                 f.write(img)
    
43. 
    
44.     def download(self, folder='OOXX', pages=10):
    
45.         os.mkdir(folder)
    
46.         os.chdir(folder)
    
47.         pages = int(input('请输入想要保存的页数：'))
    
48.         # while循环计算次数，根据pages
    
49.         # 先获取网页
    
50.         # 再寻找该页面所有图片地址
    
51.         # 保存图片
    
52.         # 下一页
    
53.         while pages:
    
54.             self.find_image()  # 此时图片地址存入了self.img_addrs
    
55.             self.save_image(folder, self.img_addrs)
    
56.             self.get_next_page_url()
    
57.             pages -= 1
    
58. 
    
59. 
    
60. if __name__ == '__main__':
    
61.     down = Download_mm()
    
62.     down.download()
    

复制代码

我用的时候有些图片下载之后打不开
现在试不了，因为服务器拒绝我访问了。。。所以有什么问题你自己看着改吧

跳转到最佳答案楼层

March2615

我也是最近才学到这里，确实和视频里的不一样，所以我就通过查找网页上下一页的链接来获得网址
这是我的实现代码，我也想知道有没有更好的方法

1.     def get_next_page_url(self):
   
2.         html = self.url_open(self.url).decode('utf-8')
   
3.         p = re.compile('<a title="Older Comments" href="(.*?)"')
   
4.         # 此时地址缺少'http:'，需要加上
   
5.         self.url = 'http:' + str(re.findall(p, html)[0])

复制代码

Chysial

March2615 发表于 2020-3-12 12:31
我也是最近才学到这里，确实和视频里的不一样，所以我就通过查找网页上下一页的链接来获得网址
这是我的实 ...

能不能把你找的这篇文章的连接给我看看，看见self，感觉像是前边定义了一个类，并且还有正则表达式

March2615

1. import urllib.request as r
   
2. import os
   
3. import re
   
4. 
   
5. class Download_mm:
   
6.     def __init__(self, pages=10):
   
7.         self.url = 'http://jandan.net/ooxx/'
   
8.         self.headers = {
   
9.             'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) '
   
10.                           'AppleWebKit/537.36 (KHTML, like Gecko) '
    
11.                           'Chrome/80.0.3987.122 Safari/537.36'
    
12.         }
    
13.         self.page = pages
    
14.         self.img_addrs = []
    
15. 
    
16.     def url_open(self, url):
    
17.         req = r.Request(url=self.url, headers=self.headers)
    
18.         res = r.urlopen(req)
    
19.         html = res.read()
    
20.         return html
    
21. 
    
22.     def get_next_page_url(self):
    
23.         html = self.url_open(self.url).decode('utf-8')
    
24.         p = re.compile('<a title="Older Comments" href="(.*?)"')
    
25.         # 此时地址缺少'http:'，需要加上
    
26.         self.url = 'http:' + str(re.findall(p, html)[0])
    
27. 
    
28.     def find_image(self):
    
29.         html = self.url_open(self.url).decode('utf-8')
    
30.         p = re.compile('<img src="(.*?)"')
    
31.         self.img_addrs = re.findall(p, html)
    
32.         # 此时地址缺少'http:'，需要加上
    
33.         for i in range(len(self.img_addrs)):
    
34.             self.img_addrs[i] = 'http:' + self.img_addrs[i]
    
35.         return self.img_addrs
    
36. 
    
37.     def save_image(self, folder, img_addrs):
    
38.         for each in img_addrs:
    
39.             filename = each.split('/')[-1]
    
40.             with open(filename, 'wb') as f:
    
41.                 img = self.url_open(each)
    
42.                 f.write(img)
    
43. 
    
44.     def download(self, folder='OOXX', pages=10):
    
45.         os.mkdir(folder)
    
46.         os.chdir(folder)
    
47.         pages = int(input('请输入想要保存的页数：'))
    
48.         # while循环计算次数，根据pages
    
49.         # 先获取网页
    
50.         # 再寻找该页面所有图片地址
    
51.         # 保存图片
    
52.         # 下一页
    
53.         while pages:
    
54.             self.find_image()  # 此时图片地址存入了self.img_addrs
    
55.             self.save_image(folder, self.img_addrs)
    
56.             self.get_next_page_url()
    
57.             pages -= 1
    
58. 
    
59. 
    
60. if __name__ == '__main__':
    
61.     down = Download_mm()
    
62.     down.download()
    

复制代码

我用的时候有些图片下载之后打不开
现在试不了，因为服务器拒绝我访问了。。。所以有什么问题你自己看着改吧

Chysial

March2615 发表于 2020-3-12 12:52
我用的时候有些图片下载之后打不开
现在试不了，因为服务器拒绝我访问了。。。所以有什么问题你自己看 ...

ok tks

Chysial

March2615 发表于 2020-3-12 12:52
我用的时候有些图片下载之后打不开
现在试不了，因为服务器拒绝我访问了。。。所以有什么问题你自己看 ...

因为有的图片的网址取消了或者没有了，最好是用try检查错误来返回，这样就不会出现服务器拒绝的情况了

Chysial

March2615 发表于 2020-3-12 12:52
我用的时候有些图片下载之后打不开
现在试不了，因为服务器拒绝我访问了。。。所以有什么问题你自己看 ...

有个网址叫https://www.mzitu.com/，这个的格式和教程上一样，可以试着试试，你这个代码我感觉有问题，我先用妹子网照教程来，当到re我再回来一起研究你这个代码。

March2615

Chysial 发表于 2020-3-12 14:40
有个网址叫https://www.mzitu.com/，这个的格式和教程上一样，可以试着试试，你这个代码我感觉有问题，我 ...

我写了mzitu的，你可以去试试，我是爬不下来，据群里大佬说是有反爬
我感觉我这个代码肯定有问题，但是上次服务器拒绝访问之后我以为被封IP了，所有再没有试过

Chysial

March2615 发表于 2020-3-12 14:55
我写了mzitu的，你可以去试试，我是爬不下来，据群里大佬说是有反爬
我感觉我这个代码肯定有问题，但是 ...

是的，爬出去的全是防止倒图的