[已解决]python56讲爬图片这是咋回事啊？

wuyanzulqq · 发表于 2020-12-21 08:38:51

马上注册，结交更多好友，享用更多功能^_^

您需要登录才可以下载或查看，没有账号？立即注册

x

import urllib.request
import os

def get_page(url):
    headers={
        'User-Agent','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36 Edg/87.0.664.60'}
    req = urllib.request.Request(url,headers)
    res = urllib.request.urlopen(url)
    html = res.read().decode('GBK')

    a = html.find('current-num') +13 
    b = html.find('/12',a)

    print(html[a:b])
def find_page(url):
    pass

def save_imgs(folder,img_addrs):
    pass

def download_mm(folder = 'mm',pages=12):
    os.mkdir(folder)
    os.chdir(folder)

    url = 'http://desk.zol.com.cn'
    page_num = int(get_page(url))
    
    page_url = url + 'bizhi/9177_11235' + str(page_num) + '_2.html'
    img_addrs = find_imgs(page_url)
    save_imgs(folder,img_addrs)

if __name__ == '__main__':
    download_mm()

Traceback (most recent call last):
  File "C:/Users/admin/AppData/Local/Programs/Python/Python38/爬图片.py", line 33, in <module>
    download_mm()
  File "C:/Users/admin/AppData/Local/Programs/Python/Python38/爬图片.py", line 26, in download_mm
    page_num = int(get_page(url))
  File "C:/Users/admin/AppData/Local/Programs/Python/Python38/爬图片.py", line 9, in get_page
    html = res.read().decode('utf-8')
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xa1 in position 184: invalid start byte

为啥啊

最佳答案

月排行榜 / 总排行榜

小伤口

2020-12-21 19:25:06

wuyanzulqq 发表于 2020-12-21 19:24
b = html.find('12',a)改成b = html.find('>',a) 就变这样了不过没改之前错的更复杂（把我 ...

网站本身的问题，就如上位大佬所说

跳转到最佳答案楼层

逃兵 · 发表于 2020-12-21 09:13:16

编码用的gbk，你这也修改过来了
get_page没有返回值
26行 page_num = int(get_page(url))报错

wuyanzulqq · 发表于 2020-12-21 09:27:06

逃兵发表于 2020-12-21 09:13
编码用的gbk，你这也修改过来了
get_page没有返回值
26行 page_num = int(get_page(url))报错

可我想打印图片的索引坐标咋整啊

wuyanzulqq · 发表于 2020-12-21 09:29:35

逃兵发表于 2020-12-21 09:13
编码用的gbk，你这也修改过来了
get_page没有返回值
26行 page_num = int(get_page(url))报错

就是跟小甲鱼一样 ‘http://jandan.net/ooxx/page-1293#comments' 1294 1295....那样的

逃兵 · 发表于 2020-12-21 09:57:39

wuyanzulqq 发表于 2020-12-21 09:29
就是跟小甲鱼一样 ‘http://jandan.net/ooxx/page-1293#comments' 1294 1295....那样的

那个已经过时了，你发的煎蛋网URL都404
你看新版request模块的
https://fishc.com.cn/forum.php?mod=forumdisplay&fid=319&filter=typeid&typeid=711

wuyanzulqq · 发表于 2020-12-21 10:42:14

逃兵发表于 2020-12-21 09:57
那个已经过时了，你发的煎蛋网URL都404
你看新版request模块的
https://fishc.com.cn/forum.php?mod= ...

这个我知道，我看别人爬图片不是这样的，我主要是想知道怎么print图片的索引坐标

wuyanzulqq · 发表于 2020-12-21 10:42:58

逃兵发表于 2020-12-21 09:57
那个已经过时了，你发的煎蛋网URL都404
你看新版request模块的
https://fishc.com.cn/forum.php?mod= ...

print(html[a:b])

小伤口 · 发表于 2020-12-21 11:17:20

wuyanzulqq 发表于 2020-12-21 10:42
print(html[a:b])

https://www.mzitu.com/你爬这个网站
应该可以

wuyanzulqq · 发表于 2020-12-21 13:34:02

小伤口发表于 2020-12-21 11:17
https://www.mzitu.com/你爬这个网站
应该可以

有没有那种正常点的我人在图书馆

小伤口 · 发表于 2020-12-21 19:04:38

wuyanzulqq 发表于 2020-12-21 13:34
有没有那种正常点的我人在图书馆

一般的图片网站应该都可以，你自己可以去踩点，只要跟甲鱼老师那个煎蛋网差不多的都行吧？
b = html.find('/12',a)这个应该修改为
b = html.find('>',a)
而且这只是获取页面只能得到1完全可以直接用for循环
实在不行就去学正则表达式吧（一位大佬告诉俺的）

wuyanzulqq · 发表于 2020-12-21 19:13:12

小伤口发表于 2020-12-21 19:04
一般的图片网站应该都可以，你自己可以去踩点，只要跟甲鱼老师那个煎蛋网差不多的都行吧？
b = html.f ...

正则表达式我会啊我就是没结合甲鱼哥的视频实践

wuyanzulqq · 发表于 2020-12-21 19:24:00

小伤口发表于 2020-12-21 19:04
一般的图片网站应该都可以，你自己可以去踩点，只要跟甲鱼老师那个煎蛋网差不多的都行吧？
b = html.f ...

Traceback (most recent call last):
  File "C:\Users\admin\AppData\Local\Programs\Python\Python38\爬图片.py", line 49, in <module>
    download_mm()
  File "C:\Users\admin\AppData\Local\Programs\Python\Python38\爬图片.py", line 45, in download_mm
    img_addrs = find_page(page_url)
  File "C:\Users\admin\AppData\Local\Programs\Python\Python38\爬图片.py", line 19, in find_page
    html = url_open(url).decode('utf-8','ignore')
  File "C:\Users\admin\AppData\Local\Programs\Python\Python38\爬图片.py", line 7, in url_open
    res = urllib.request.urlopen(url)
  File "C:\Users\admin\AppData\Local\Programs\Python\Python38\lib\urllib\request.py", line 222, in urlopen
    return opener.open(url, data, timeout)
  File "C:\Users\admin\AppData\Local\Programs\Python\Python38\lib\urllib\request.py", line 531, in open
    response = meth(req, response)
  File "C:\Users\admin\AppData\Local\Programs\Python\Python38\lib\urllib\request.py", line 640, in http_response
    response = self.parent.error(
  File "C:\Users\admin\AppData\Local\Programs\Python\Python38\lib\urllib\request.py", line 569, in error
    return self._call_chain(*args)
  File "C:\Users\admin\AppData\Local\Programs\Python\Python38\lib\urllib\request.py", line 502, in _call_chain
    result = func(*args)
  File "C:\Users\admin\AppData\Local\Programs\Python\Python38\lib\urllib\request.py", line 649, in http_error_default
    raise HTTPError(req.full_url, code, msg, hdrs, fp)
urllib.error.HTTPError: HTTP Error 404: Not Found

b = html.find('12',a)改成b = html.find('>',a) 就变这样了

不过没改之前错的更复杂（把我整个电脑整卡了)

小伤口 · 发表于 2020-12-21 19:25:06

wuyanzulqq 发表于 2020-12-21 19:24
b = html.find('12',a)改成b = html.find('>',a) 就变这样了不过没改之前错的更复杂（把我 ...

网站本身的问题，就如上位大佬所说

wuyanzulqq · 发表于 2020-12-21 19:29:35

小伤口发表于 2020-12-21 19:25
网站本身的问题，就如上位大佬所说

那俺的代码没问题撒?

小伤口 · 发表于 2020-12-21 19:31:08

wuyanzulqq 发表于 2020-12-21 19:29
那俺的代码没问题撒?

no problem

但是你好像还有两个函数pass掉了

wuyanzulqq · 发表于 2020-12-21 19:36:44

小伤口发表于 2020-12-21 19:31
no problem
但是你好像还有两个函数pass掉了

这个问题不大

账号		自动登录	找回密码
密码			立即注册

[已解决]python56讲 爬图片 这是咋回事啊？

马上注册，结交更多好友，享用更多功能^_^

[已解决]python56讲爬图片这是咋回事啊？