论坛 › Python交流 › 【申精】小甲鱼爬虫教程第56节的错误及解决方法

老王他师父 发表于 2016-12-4 16:59:37

【申精】小甲鱼爬虫教程第56节的错误及解决方法

本帖最后由 老王他师父 于 2016-12-6 14:08 编辑

最近在临摹小甲鱼爬虫教学的第56章，发现如果按照小甲鱼的代码写，可能会出现一个ssl证书错误，截图如下：



原代码如下：
import urllib.request
import os

def get_page(url):
    req = urllib.request.Request(url)
    req.add_header('User-Agent','Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36')
    response = urllib.request.urlopen(url)
    html = response.read().decode('utf-8')

    a = html.find('current-comment-page') + 23
    b = html.find(']', a)

    print(html)

def find_imgs(url):
    pass

def save_imgs(folder, img_addrs):
    pass

def downloadgirls(folder = 'girls', pages = 10):
    os.mkdir(folder)
    os.chdir(folder)
    url = 'https://jandan.net/ooxx'
    page_num = int(get_page(url))

    for i in range(pages):
      page_num -= i
      page_url = url + '/page-' + str(page_num) + '#comments'
      img_addrs = find_imgs(page_url)
      save_imgs(folder, img_addrs)


if __name__ == '__main__':
    downloadgirls()


解决方法：

这个错误是由于你的证书不受信任导致的，解决方法是在开头加上两行代码：

import ssl

ssl._create_default_https_context = ssl._create_unverified_context

将证书错误忽略即可


@小甲鱼 @康小泡 @拈花小仙 @冬雪雪冬

wantchpigs 发表于 2016-12-5 00:18:18

有什么好的解决办法呢

雪缘再续 发表于 2016-12-5 19:32:40

现在的煎蛋网采用了https协议，而小甲鱼做这个视频时，网站使用的还是http协议，所以会有这种情况，期待小甲鱼出新的视频，这个视频毕竟比较老了

老王他师父 发表于 2016-12-6 09:24:00

雪缘再续 发表于 2016-12-5 19:32
现在的煎蛋网采用了https协议，而小甲鱼做这个视频时，网站使用的还是http协议，所以会有这种情况，期待小 ...

爬图也爬不了了

day_by_day 发表于 2016-12-6 14:34:25

我跟着打是能爬到煎蛋的图片的。{:10_266:}

老王他师父 发表于 2016-12-7 16:22:31

day_by_day 发表于 2016-12-6 14:34
我跟着打是能爬到煎蛋的图片的。

现在不能了

Death_Glory 发表于 2016-12-7 16:54:14

{:10_257:}

qq1477821088 发表于 2016-12-19 17:16:52

看看

wanllk 发表于 2016-12-19 18:57:18

hello

wanllk 发表于 2016-12-19 20:11:48

爬虫教程是哪一个呢？

忘忧草123456 发表于 2016-12-19 23:34:09

忘忧草456789 发表于 2016-12-19 23:48:17

厉害

忘忧草Allen 发表于 2016-12-20 21:01:41

厉害

spur 发表于 2016-12-29 23:02:04

我也现在爬不了了 估计是这么原因:
现在的煎蛋网采用了https协议，而小甲鱼做这个视频时，网站使用的还是http协议，所以会有这种情况，期待小甲鱼出新的视频，这个视频毕竟比较老了

qianlixiaozhuoz 发表于 2016-12-29 23:35:43

学习学习

Cbinger 发表于 2017-1-9 18:11:46

有解决办法吗？

supercyt 发表于 2017-1-9 21:18:36

{:9_233:}

woainigui888 发表于 2017-1-12 12:41:51

谢谢楼主分享

lhy5520097 发表于 2017-1-15 20:49:31

{:5_93:}

guangwei_cai 发表于 2017-1-16 10:17:26

{:5_106:}

查看完整版本: 【申精】小甲鱼爬虫教程第56节的错误及解决方法