encoding error 报错求助

罗同学

之前写的一个爬某不太和谐论坛图的代码、今天有鱼油回帖说报错、最近比较生疏、看了半天也搜了半天还是没有发现问题所在，只感觉是编码哪里出了问题、请各位大神帮忙看看

另外爬到的图都是不和谐的，请各位帮忙的时候一定要注意周围环境、避免在公司或者是女票、父母在身边、影响了家庭和睦就不好了，特别不和谐的那种，28禁的那种

报错内容：encoding error : input conversion failed due to input error, bytes 0x9C 0x00 0x00 0x29

原帖名称《很惭愧、写了一个小爬虫——小草社区》

代码如下：

1. import requests
   
2. from bs4 import BeautifulSoup as bs
   
3. import re
   
4. import os
   
5. import socket
   
6. import time
   
7. import threading
   
8. 
   
9. 
   
10. def url_open(url):
    
11.     socket.setdefaulttimeout(20)
    
12.     headers = {
    
13.         'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.98 Safari/537.36 LBBROWSER'}
    
14.     res = requests.get(url, headers=headers)
    
15. 
    
16.     return res
    
17. 
    
18. 
    
19. def save(url):  # 传入每个子网页链接
    
20.     res = url_open(url)
    
21.     res.encoding = 'gbk'
    
22.     soup = bs(res.text, 'lxml')
    
23.     title = soup.find('title').text.split('-')[0]  # 标题
    
24.     #os.mkdir(title)
    
25.     # os.chdir(title)
    
26.     temp = soup.find_all('tr', class_='tr3')
    
27.     img = re.findall(r'data-src="(.*?jpg)" type', str(temp))
    
28.    
    
29.    
    
30.     imglist = []
    
31. 
    
32.     for each in img:
    
33.         imglist.append(each)
    
34.     for each in imglist:
    
35.         filename = each.split('/')[-1]
    
36.         img = url_open(each)
    
37.         print('saving...+%s'%filename)
    
38. 
    
39.         with open(title+filename, 'wb')as f:
    
40.             f.write(img.content)
    
41.     #os.chdir('..')
    
42. 
    
43. 
    
44. 
    
45. 
    
46. if __name__ == '__main__':
    
47.     os.makedirs('1024', exist_ok=True)
    
48.     os.chdir('1024')
    
49.     url = 'http://cl.9h7.xyz/thread0806.php?fid=16&search=&page=1'  #默认爬取第一个页面，毕竟要注意身体，需要多个页面的话，自己加个for循环也不是什么难事~
    
50.     urlhead = 'http://cl.9h7.xyz'   #页面解析出来的连接前面需要加上这个头才能打开，根据多年经验这个头是会变的，如果哪天不能用了自己看下是不是这个头变了
    
51.     res = url_open(url)
    
52.     res.encoding = 'gbk'
    
53. 
    
54.     '''找到页面中的所有子网页'''
    
55.     soup = bs(res.text, 'lxml')
    
56.     temp = soup.find_all('td', class_="tal")
    
57.     link = []
    
58.     for each in temp:
    
59.         link.append(urlhead + each.h3.a.get('href'))
    
60.     # del link[0:10]
    
61. 
    
62.     downloads = []
    
63.     for each in link:
    
64.         print(each)
    
65. 
    
66.         down = threading.Thread(target=save, args=[each])
    
67.         downloads.append(down)
    
68. 
    
69.         down.start()
    
70.     for each in downloads:
    
71.         each.join()
    
72.     print('Done')
    
73. 
    

复制代码

塔利班

领导，我真的在学python

罗同学

塔利班 发表于 2018-11-21 16:47
领导，我真的在学python

大神、请正面回答问题

塔利班

现在url输入就重定位到一个满18岁的页面，所以直接Done了，并米有出现encoding error而是没找到内容，直接结束了

罗同学

塔利班 发表于 2018-11-21 16:52
现在url输入就重定位到一个满18岁的页面，所以直接Done了，并米有出现encoding error而是没找到内容，直接 ...

改了代码里的链接地址，大佬再看看

塔利班

罗同学 发表于 2018-11-21 22:30
改了代码里的链接地址，大佬再看看

save函数我urlopen都是11004错误

罗同学

塔利班 发表于 2018-11-21 22:50
save函数我urlopen都是11004错误

救命

塔利班

罗同学 发表于 2018-11-23 11:02
救命

我面对这种网站没有抵抗力= =，

wongyusing

没问题啊，这个网站。
没什么难度吧。  
你的代码我没测试，直接写了一份