[已解决]爬虫问题求解：URLError: <urlopen error [WinError 10060]

熊猫打字

下载妹子图那个视频，因为煎蛋的图片网页地址变了，所以我摘了几个网页做测试，改了获取网页的代码，同时删除了创建文件夹，w如下：

import urllib.request as ur
from bs4 import BeautifulSoup
import urllib.parse
import random

def url_open(url):
    req = ur.Request(url)
    req.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.113 Safari/537.36')
    
    response = ur.urlopen(url)
    html = response.read()
    print(html)
    
def get_page(url):
    html = url_open(url).decode('utf-8')
    a = html.find('current-comment-page')+23
    b = html.find(']',a)
    print(a,b)
    return html[a:b]

    
def find_imgs(url):
    html = url_open(url)
    img_addrs = []
    a = html.find('img src=')
    while a != -1:
        b = html.find('.jpg',a,a+255)
        if b!= -1:
            img_addrs.append(html[a+9:b+4])
        else:
            b=a+9
        a = html.find('img src=',b)
    print(img_addrs)
    return img_addrs
        
        
def saveimgs(img_addrs):
    for each in img_addrs:
        filename = each.split('/'[-1])
        with open(filename,'wb') as f:
            img = url_url(each)
            f.write(img)

def download_mm():
    url = [
        'http://jiandan.net/ooxx/MjAyMDA0MjAtMTkw#comments',
        'http://jiandan.net/ooxx/MjAyMDA0MjAtMTky#comments',
        'http://jiandan.net/ooxx/MjAyMDA0MjAtMTkx#comments',
        'http://jiandan.net/ooxx/MjAyMDA0MjAtMTg5#comments',
        'http://jiandan.net/ooxx/MjAyMDA0MjAtMTg4#comments',
        'http://jiandan.net/ooxx/MjAyMDA0MjAtMTg3#comments'        
        ]
    for page_url in url:
        img_addrs = find_imgs(page_url)
        save_imgs(img_addrs)
    
if __name__ =='__main__':
    download_mm()

为什么运行报错：URLError: <urlopen error [WinError 10060] 由于连接方在一段时间后没有正确答复或连接的主机没有反应，连接尝试失败。>

最佳答案

月排行榜 / 总排行榜

suchocolate

2020-4-20 16:55:13

第11行有问题，之前定义了req对象，然而没有调用，所以get时没带自己的头，所以被服务器403了。

response = ur.urlopen(req)

不过你的其他函数有问题，你自己慢慢改吧。

跳转到最佳答案楼层

qiuyouzhi

第11行，应该是url.Request

suchocolate

第11行有问题，之前定义了req对象，然而没有调用，所以get时没带自己的头，所以被服务器403了。

response = ur.urlopen(req)

不过你的其他函数有问题，你自己慢慢改吧。