[已解决]python56讲 爬图片 这是咋回事啊？

wuyanzulqq

1. import urllib.request
   
2. import os
   
3. 
   
4. def get_page(url):
   
5.     headers={
   
6.         'User-Agent','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36 Edg/87.0.664.60'}
   
7.     req = urllib.request.Request(url,headers)
   
8.     res = urllib.request.urlopen(url)
   
9.     html = res.read().decode('GBK')
   
10. 
    
11.     a = html.find('current-num') +13
    
12.     b = html.find('/12',a)
    
13. 
    
14.     print(html[a:b])
    
15. def find_page(url):
    
16.     pass
    
17. 
    
18. def save_imgs(folder,img_addrs):
    
19.     pass
    
20. 
    
21. def download_mm(folder = 'mm',pages=12):
    
22.     os.mkdir(folder)
    
23.     os.chdir(folder)
    
24. 
    
25.     url = 'http://desk.zol.com.cn'
    
26.     page_num = int(get_page(url))
    
27.    
    
28.     page_url = url + 'bizhi/9177_11235' + str(page_num) + '_2.html'
    
29.     img_addrs = find_imgs(page_url)
    
30.     save_imgs(folder,img_addrs)
    
31. 
    
32. if __name__ == '__main__':
    
33.     download_mm()
    

复制代码

1. Traceback (most recent call last):
   
2.   File "C:/Users/admin/AppData/Local/Programs/Python/Python38/爬图片.py", line 33, in <module>
   
3.     download_mm()
   
4.   File "C:/Users/admin/AppData/Local/Programs/Python/Python38/爬图片.py", line 26, in download_mm
   
5.     page_num = int(get_page(url))
   
6.   File "C:/Users/admin/AppData/Local/Programs/Python/Python38/爬图片.py", line 9, in get_page
   
7.     html = res.read().decode('utf-8')
   
8. UnicodeDecodeError: 'utf-8' codec can't decode byte 0xa1 in position 184: invalid start byte

复制代码

为啥啊

最佳答案

月排行榜 / 总排行榜

小伤口

2020-12-21 19:25:06

wuyanzulqq 发表于 2020-12-21 19:24
b = html.find('12',a)改成b = html.find('>',a) 就变这样了  不过没改之前错的更复杂（把我 ...

网站本身的问题，就如上位大佬所说

跳转到最佳答案楼层

逃兵

编码用的gbk，你这也修改过来了
get_page没有返回值
26行 page_num = int(get_page(url))报错

wuyanzulqq

逃兵 发表于 2020-12-21 09:13
编码用的gbk，你这也修改过来了
get_page没有返回值
26行 page_num = int(get_page(url))报错

可我想打印图片的索引坐标 咋整啊

wuyanzulqq

逃兵 发表于 2020-12-21 09:13
编码用的gbk，你这也修改过来了
get_page没有返回值
26行 page_num = int(get_page(url))报错

就是跟小甲鱼一样 ‘http://jandan.net/ooxx/page-1293#comments' 1294 1295....那样的

逃兵

wuyanzulqq 发表于 2020-12-21 09:29
就是跟小甲鱼一样 ‘http://jandan.net/ooxx/page-1293#comments' 1294 1295....那样的

那个已经过时了，你发的煎蛋网URL都404
你看新版request模块的
https://fishc.com.cn/forum.php?mod=forumdisplay&fid=319&filter=typeid&typeid=711

wuyanzulqq

逃兵 发表于 2020-12-21 09:57
那个已经过时了，你发的煎蛋网URL都404
你看新版request模块的
https://fishc.com.cn/forum.php?mod= ...

这个我知道，我看别人爬图片不是这样的，我主要是想知道怎么print图片的索引坐标

wuyanzulqq

逃兵 发表于 2020-12-21 09:57
那个已经过时了，你发的煎蛋网URL都404
你看新版request模块的
https://fishc.com.cn/forum.php?mod= ...

print(html[a:b])

小伤口

wuyanzulqq 发表于 2020-12-21 10:42
print(html[a:b])

https://www.mzitu.com/你爬这个网站
应该可以

wuyanzulqq

小伤口 发表于 2020-12-21 11:17
https://www.mzitu.com/你爬这个网站
应该可以

有没有那种正常点的 我人在图书馆

小伤口

wuyanzulqq 发表于 2020-12-21 13:34
有没有那种正常点的 我人在图书馆

一般的图片网站应该都可以，你自己可以去踩点，只要跟甲鱼老师那个煎蛋网差不多的都行吧？
b = html.find('/12',a)这个应该修改为
b = html.find('>',a)
而且这只是获取页面只能得到1完全可以直接用for循环
实在不行就去学正则表达式吧（一位大佬告诉俺的）

wuyanzulqq

小伤口 发表于 2020-12-21 19:04
一般的图片网站应该都可以，你自己可以去踩点，只要跟甲鱼老师那个煎蛋网差不多的都行吧？
b = html.f ...

正则表达式 我会啊 我就是没结合甲鱼哥的视频实践

wuyanzulqq

小伤口 发表于 2020-12-21 19:04
一般的图片网站应该都可以，你自己可以去踩点，只要跟甲鱼老师那个煎蛋网差不多的都行吧？
b = html.f ...

1. Traceback (most recent call last):
   
2.   File "C:\Users\admin\AppData\Local\Programs\Python\Python38\爬图片.py", line 49, in <module>
   
3.     download_mm()
   
4.   File "C:\Users\admin\AppData\Local\Programs\Python\Python38\爬图片.py", line 45, in download_mm
   
5.     img_addrs = find_page(page_url)
   
6.   File "C:\Users\admin\AppData\Local\Programs\Python\Python38\爬图片.py", line 19, in find_page
   
7.     html = url_open(url).decode('utf-8','ignore')
   
8.   File "C:\Users\admin\AppData\Local\Programs\Python\Python38\爬图片.py", line 7, in url_open
   
9.     res = urllib.request.urlopen(url)
   
10.   File "C:\Users\admin\AppData\Local\Programs\Python\Python38\lib\urllib\request.py", line 222, in urlopen
    
11.     return opener.open(url, data, timeout)
    
12.   File "C:\Users\admin\AppData\Local\Programs\Python\Python38\lib\urllib\request.py", line 531, in open
    
13.     response = meth(req, response)
    
14.   File "C:\Users\admin\AppData\Local\Programs\Python\Python38\lib\urllib\request.py", line 640, in http_response
    
15.     response = self.parent.error(
    
16.   File "C:\Users\admin\AppData\Local\Programs\Python\Python38\lib\urllib\request.py", line 569, in error
    
17.     return self._call_chain(*args)
    
18.   File "C:\Users\admin\AppData\Local\Programs\Python\Python38\lib\urllib\request.py", line 502, in _call_chain
    
19.     result = func(*args)
    
20.   File "C:\Users\admin\AppData\Local\Programs\Python\Python38\lib\urllib\request.py", line 649, in http_error_default
    
21.     raise HTTPError(req.full_url, code, msg, hdrs, fp)
    
22. urllib.error.HTTPError: HTTP Error 404: Not Found

复制代码

b = html.find('12',a)改成b = html.find('>',a) 就变这样了  不过没改之前错的更复杂（把我整个电脑整卡了)

小伤口

wuyanzulqq 发表于 2020-12-21 19:24
b = html.find('12',a)改成b = html.find('>',a) 就变这样了  不过没改之前错的更复杂（把我 ...

网站本身的问题，就如上位大佬所说

wuyanzulqq

小伤口 发表于 2020-12-21 19:25
网站本身的问题，就如上位大佬所说

那俺的代码没问题撒?

小伤口

wuyanzulqq 发表于 2020-12-21 19:29
那俺的代码没问题撒?

no problem
但是你好像还有两个函数pass掉了

wuyanzulqq

小伤口 发表于 2020-12-21 19:31
no problem
但是你好像还有两个函数pass掉了

这个问题不大