[已解决]课时56中爬虫妹子遇到问题

czw568643181

b搜索不到.jpg，一直返回-1，具体如图


具体的代码如下：
import urllib.request
import os
def url_open(url):
    req = urllib.request.Request(url)
    req.add_header('User-Agent', 'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.221 Safari/537.36 SE 2.X MetaSr 1.0')
    response = urllib.request.urlopen(req)
    html = response.read()
    print(url)
    return html
def get_page(url):
    html= url_open(url).decode('utf-8')
    a = html.find('current-comment-page') + 23
    b = html.find(']', a)
    return html[a:b]
def find_imgs(url):
    html= url_open(url).decode('utf-8')
    img_addrs = []
    a = html.find('img src=')
    print(a)
    while a!=-1:
        b= html.find('.jpg',a,a+255)        
        print(b)
        if b != -1:
            img_addrs.append(html[a+9:b+4])
        else:
            b = a + 9
        a = html.find('img.src=',b)
    print(img_addrs)

    for each in img_addrs:
        print(each)


def save_imgs(folder,img_addrs):
    pass

def download_mm(folder='ooxx',pages=10):
    os.mkdir(folder)
    os.chdir(folder)
    url ='http://jandan.net/ooxx/'
    page_num = int(get_page(url))
    for i in range(pages):
        page_num -=i
        page_url = url + 'page-' + str(page_num) + '#comments'
        img_addrs = find_imgs(page_url)
        save_imgs(folder,img_addrs)

if __name__=='__main__':
    download_mm()

最佳答案

月排行榜 / 总排行榜

helloTOM

2018-5-2 00:14:54

煎蛋网现在有反爬虫机制了  不用点手段是爬不到图片的。。。
你有两个选择
1.爬其他的小网站（不怎么知名的就好了）（代码的话可以模仿小甲鱼老师的编 正好锻练自己）
2.继续爬煎蛋妹子图（煎蛋好像是md5加密了现在）给个链接你看看
最新煎蛋网爬虫，xxoo妹子图，解密反爬虫机制，带源码
http://bbs.fishc.com/thread-107034-1-1.html
(出处: 鱼C论坛)

跳转到最佳答案楼层

helloTOM

煎蛋网现在有反爬虫机制了  不用点手段是爬不到图片的。。。
你有两个选择
1.爬其他的小网站（不怎么知名的就好了）（代码的话可以模仿小甲鱼老师的编 正好锻练自己）
2.继续爬煎蛋妹子图（煎蛋好像是md5加密了现在）给个链接你看看
最新煎蛋网爬虫，xxoo妹子图，解密反爬虫机制，带源码
http://bbs.fishc.com/thread-107034-1-1.html
(出处: 鱼C论坛)

czw568643181

helloTOM 发表于 2018-5-2 00:14
煎蛋网现在有反爬虫机制了  不用点手段是爬不到图片的。。。
你有两个选择 ...

好的，万分感谢！