感谢鱼c，终于爬到煎蛋妹妹图呢!（附源码）
本帖最后由 有谁懂 于 2020-5-14 22:48 编辑按照旧版教程，终于爬到煎蛋的妹妹图了！
但由于新的煎蛋网站改变了page的格式以及图片url缺少http：，可能有的鱼油按老师的方法爬不到。
我把自己的源码给大家分享下，注意就是解决上面2个问题。
希望大家都能爬到自己喜欢的妹妹！
import urllib.request
import os
import base64
import time
#读取网站源码
def url_open(url):
req = urllib.request.Request(url)
req.add_header('User-Agent', 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36')
response = urllib.request.urlopen(req)
html = response.read()
return html
#读取页码url
def get_page(url):
html = url_open(url).decode('utf-8')
a = html.find("current-comment-page") + 23
b = html.find(']', a)
return html
#读取图片url
def find_imgs(url):
html = url_open(url).decode('utf-8')
imgs_addrs = []
a = html.find('img src=')
while a != -1:
b = html.find('.jpg', a, a+255)
if b != -1:
imgs_addrs.append("http:" + html)
else:
b = a + 9
a = html.find('img src=', b)
return imgs_addrs
#保存图片
def save_imgs(folder, img_addrs):
i = 0
for each in img_addrs:
i += 1
filename = each.split('/')[-1]
with open(filename, 'wb') as f:
img = url_open(each)
f.write(img)
#将页码和日期加密为base64
def de_page(page_num):
page_num = '20' + time.strftime('%y%m%d') + '-' + str(page_num)
result = base64.b64encode(page_num.encode())
result = result.decode('utf_8')
return result
#爬取前pages页的.jpg文件
def download_mm(folder='ooxx', pages=10):
os.mkdir(folder)
os.chdir(folder)
url = 'http://jandan.net/ooxx/'
page_num = int(get_page(url))
for each in range(pages):
page_num -= each
t_page = de_page(page_num)
page_url = url + '%s#comments' % t_page
img_addrs = find_imgs(page_url)
save_imgs(folder, img_addrs)
print(page_url)
if __name__ == '__main__':
download_mm() 本帖最后由 有谁懂 于 2020-5-14 22:52 编辑
但好像爬不完前10页呀，可能只有前2页，不知道哪里出问题了。
最后发现网站的page_url好像采用的动态base64转码，解码出来的格式为“20200514-xxx”
所以源码修改加密方法后终于正常了。 解决了吗？我也是只能爬前两页，不知道为啥。。。。
按楼主的方法终于爬成了，强迫症一本满足，谢谢楼主{:10_275:}
页:
[1]