wuyanzulqq 发表于 2020-12-21 08:38:51

python56讲 爬图片 这是咋回事啊?

import urllib.request
import os

def get_page(url):
    headers={
      'User-Agent','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36 Edg/87.0.664.60'}
    req = urllib.request.Request(url,headers)
    res = urllib.request.urlopen(url)
    html = res.read().decode('GBK')

    a = html.find('current-num') +13
    b = html.find('/12',a)

    print(html)
def find_page(url):
    pass

def save_imgs(folder,img_addrs):
    pass

def download_mm(folder = 'mm',pages=12):
    os.mkdir(folder)
    os.chdir(folder)

    url = 'http://desk.zol.com.cn'
    page_num = int(get_page(url))
   
    page_url = url + 'bizhi/9177_11235' + str(page_num) + '_2.html'
    img_addrs = find_imgs(page_url)
    save_imgs(folder,img_addrs)

if __name__ == '__main__':
    download_mm()


Traceback (most recent call last):
File "C:/Users/admin/AppData/Local/Programs/Python/Python38/爬图片.py", line 33, in <module>
    download_mm()
File "C:/Users/admin/AppData/Local/Programs/Python/Python38/爬图片.py", line 26, in download_mm
    page_num = int(get_page(url))
File "C:/Users/admin/AppData/Local/Programs/Python/Python38/爬图片.py", line 9, in get_page
    html = res.read().decode('utf-8')
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xa1 in position 184: invalid start byte
为啥啊{:10_266:}

逃兵 发表于 2020-12-21 09:13:16

编码用的gbk,你这也修改过来了
get_page没有返回值
26行 page_num = int(get_page(url))报错

wuyanzulqq 发表于 2020-12-21 09:27:06

逃兵 发表于 2020-12-21 09:13
编码用的gbk,你这也修改过来了
get_page没有返回值
26行 page_num = int(get_page(url))报错

可我想打印图片的索引坐标 咋整啊

wuyanzulqq 发表于 2020-12-21 09:29:35

逃兵 发表于 2020-12-21 09:13
编码用的gbk,你这也修改过来了
get_page没有返回值
26行 page_num = int(get_page(url))报错

就是跟小甲鱼一样 ‘http://jandan.net/ooxx/page-1293#comments' 1294 1295....那样的

逃兵 发表于 2020-12-21 09:57:39

wuyanzulqq 发表于 2020-12-21 09:29
就是跟小甲鱼一样 ‘http://jandan.net/ooxx/page-1293#comments' 1294 1295....那样的

那个已经过时了,你发的煎蛋网URL都404
你看新版request模块的
https://fishc.com.cn/forum.php?mod=forumdisplay&fid=319&filter=typeid&typeid=711

wuyanzulqq 发表于 2020-12-21 10:42:14

逃兵 发表于 2020-12-21 09:57
那个已经过时了,你发的煎蛋网URL都404
你看新版request模块的
https://fishc.com.cn/forum.php?mod= ...

这个我知道,我看别人爬图片不是这样的,我主要是想知道怎么print图片的索引坐标

wuyanzulqq 发表于 2020-12-21 10:42:58

逃兵 发表于 2020-12-21 09:57
那个已经过时了,你发的煎蛋网URL都404
你看新版request模块的
https://fishc.com.cn/forum.php?mod= ...

print(html)

小伤口 发表于 2020-12-21 11:17:20

wuyanzulqq 发表于 2020-12-21 10:42
print(html)

https://www.mzitu.com/你爬这个网站
应该可以

wuyanzulqq 发表于 2020-12-21 13:34:02

小伤口 发表于 2020-12-21 11:17
https://www.mzitu.com/你爬这个网站
应该可以

有没有那种正常点的 我人在图书馆{:10_250:}

小伤口 发表于 2020-12-21 19:04:38

wuyanzulqq 发表于 2020-12-21 13:34
有没有那种正常点的 我人在图书馆

一般的图片网站应该都可以,你自己可以去踩点,只要跟甲鱼老师那个煎蛋网差不多的都行吧?
b = html.find('/12',a)这个应该修改为
b = html.find('>',a)
而且这只是获取页面只能得到1完全可以直接用for循环
实在不行就去学正则表达式吧(一位大佬告诉俺的)

wuyanzulqq 发表于 2020-12-21 19:13:12

小伤口 发表于 2020-12-21 19:04
一般的图片网站应该都可以,你自己可以去踩点,只要跟甲鱼老师那个煎蛋网差不多的都行吧?
b = html.f ...

正则表达式 我会啊 我就是没结合甲鱼哥的视频实践{:10_245:}

wuyanzulqq 发表于 2020-12-21 19:24:00

小伤口 发表于 2020-12-21 19:04
一般的图片网站应该都可以,你自己可以去踩点,只要跟甲鱼老师那个煎蛋网差不多的都行吧?
b = html.f ...

Traceback (most recent call last):
File "C:\Users\admin\AppData\Local\Programs\Python\Python38\爬图片.py", line 49, in <module>
    download_mm()
File "C:\Users\admin\AppData\Local\Programs\Python\Python38\爬图片.py", line 45, in download_mm
    img_addrs = find_page(page_url)
File "C:\Users\admin\AppData\Local\Programs\Python\Python38\爬图片.py", line 19, in find_page
    html = url_open(url).decode('utf-8','ignore')
File "C:\Users\admin\AppData\Local\Programs\Python\Python38\爬图片.py", line 7, in url_open
    res = urllib.request.urlopen(url)
File "C:\Users\admin\AppData\Local\Programs\Python\Python38\lib\urllib\request.py", line 222, in urlopen
    return opener.open(url, data, timeout)
File "C:\Users\admin\AppData\Local\Programs\Python\Python38\lib\urllib\request.py", line 531, in open
    response = meth(req, response)
File "C:\Users\admin\AppData\Local\Programs\Python\Python38\lib\urllib\request.py", line 640, in http_response
    response = self.parent.error(
File "C:\Users\admin\AppData\Local\Programs\Python\Python38\lib\urllib\request.py", line 569, in error
    return self._call_chain(*args)
File "C:\Users\admin\AppData\Local\Programs\Python\Python38\lib\urllib\request.py", line 502, in _call_chain
    result = func(*args)
File "C:\Users\admin\AppData\Local\Programs\Python\Python38\lib\urllib\request.py", line 649, in http_error_default
    raise HTTPError(req.full_url, code, msg, hdrs, fp)
urllib.error.HTTPError: HTTP Error 404: Not Found
b = html.find('12',a)改成b = html.find('>',a) 就变这样了{:10_266:}不过没改之前错的更复杂(把我整个电脑整卡了)

小伤口 发表于 2020-12-21 19:25:06

{:10_256:} wuyanzulqq 发表于 2020-12-21 19:24
b = html.find('12',a)改成b = html.find('>',a) 就变这样了不过没改之前错的更复杂(把我 ...

网站本身的问题,就如上位大佬所说

wuyanzulqq 发表于 2020-12-21 19:29:35

小伤口 发表于 2020-12-21 19:25
网站本身的问题,就如上位大佬所说

那俺的代码没问题撒?{:10_279:}

小伤口 发表于 2020-12-21 19:31:08

wuyanzulqq 发表于 2020-12-21 19:29
那俺的代码没问题撒?

no problem{:10_256:}
但是你好像还有两个函数pass掉了{:10_256:}

wuyanzulqq 发表于 2020-12-21 19:36:44

小伤口 发表于 2020-12-21 19:31
no problem
但是你好像还有两个函数pass掉了

这个问题不大{:10_326:}
页: [1]
查看完整版本: python56讲 爬图片 这是咋回事啊?