鱼C论坛

 找回密码
 立即注册
查看: 2715|回复: 4

爬虫遇到的好像是数据库的问题--UnicodeEncodeError

[复制链接]
发表于 2017-7-28 21:44:03 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
import urllib.request
import os
import re

def url_open(url):
    req=urllib.request.Request(url)
    req.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 UBrowser/6.1.2716.5 Safari/537.36')
    response=urllib.request.urlopen(url)
    html=response.read()
    return html
    
    
def get_totalpages(url):
    html=url_open(url).decode('utf-8')
    reg=r'共(.*?)页'
    totalpages=re.findall(reg,html)[0]
    return int(totalpages)

def get_sercoverurl(pageurl):
    html=url_open(pageurl).decode('utf-8')
    reg=r'<a href="(.*?)" target="_blank">'
    sercoverurl=re.findall(reg,html)
    return sercoverurl

def get_picurl(sercoverurl):
    html=url_open(sercoverurl).decode('utf-8')
    reg='<img src="(.*?)"'
    picurl=re.findall(reg,html)[0]
    return picurl

def main():
    os.chdir('E://OOXX')
    

    url='http://www.mmjpg.com/'

    totalpages=get_totalpages(url)
    print(totalpages)
    count=0
    for eachpage in range(1,totalpages+1):
        pageurl=url+'home/'+str(eachpage)
        print(pageurl)
        
        sercoverurl=get_sercoverurl(pageurl)
        print(sercoverurl)
        
        for eachpic in sercoverurl:    
            picurl=get_picurl(eachpic)           
            print(picurl)
            filename=str(count)+picurl.split('/')[-2]+'and'+picurl.split('/')[-1]
            urllib.request.urlretrieve(picurl,filename)
        count+=1

if __name__=='__main__':
    main()





照着大佬们的代码,自己加以修改的爬取美女的图片,但是出现了这些代码,代码好像不能实现翻页的功能,水平有限,实在找不出问题所在,求大佬解答!!!百度了一下,说是数据库什么的问题,但是找不到解决的方法。


Traceback (most recent call last):
  File "C:/Users/Administrator/Desktop/4.py", line 55, in <module>
    main()
  File "C:/Users/Administrator/Desktop/4.py", line 48, in main
    picurl=get_picurl(eachpic)
  File "C:/Users/Administrator/Desktop/4.py", line 26, in get_picurl
    html=url_open(sercoverurl).decode('utf-8')
  File "C:/Users/Administrator/Desktop/4.py", line 8, in url_open
    response=urllib.request.urlopen(url)
  File "C:\Users\Administrator\AppData\Local\Programs\Python\Python36-32\lib\urllib\request.py", line 223, in urlopen
    return opener.open(url, data, timeout)
  File "C:\Users\Administrator\AppData\Local\Programs\Python\Python36-32\lib\urllib\request.py", line 526, in open
    response = self._open(req, data)
  File "C:\Users\Administrator\AppData\Local\Programs\Python\Python36-32\lib\urllib\request.py", line 544, in _open
    '_open', req)
  File "C:\Users\Administrator\AppData\Local\Programs\Python\Python36-32\lib\urllib\request.py", line 504, in _call_chain
    result = func(*args)
  File "C:\Users\Administrator\AppData\Local\Programs\Python\Python36-32\lib\urllib\request.py", line 1346, in http_open
    return self.do_open(http.client.HTTPConnection, req)
  File "C:\Users\Administrator\AppData\Local\Programs\Python\Python36-32\lib\urllib\request.py", line 1318, in do_open
    encode_chunked=req.has_header('Transfer-encoding'))
  File "C:\Users\Administrator\AppData\Local\Programs\Python\Python36-32\lib\http\client.py", line 1239, in request
    self._send_request(method, url, body, headers, encode_chunked)
  File "C:\Users\Administrator\AppData\Local\Programs\Python\Python36-32\lib\http\client.py", line 1280, in _send_request
    self.putheader(hdr, value)
  File "C:\Users\Administrator\AppData\Local\Programs\Python\Python36-32\lib\http\client.py", line 1212, in putheader
    values[i] = one_value.encode('latin-1')
UnicodeEncodeError: 'latin-1' codec can't encode characters in position 15-18: ordinal not in range(256)
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2017-7-28 22:18:30 | 显示全部楼层
sercoverurl 这个 list 已经告诉你答案
仔细检查其中的每一个元素
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2017-7-29 07:54:14 | 显示全部楼层
url 里有中文
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2017-7-29 09:16:12 | 显示全部楼层
hldh214 发表于 2017-7-28 22:18
sercoverurl 这个 list 已经告诉你答案
仔细检查其中的每一个元素

请问错误代码哪里是提示sercoverurl错误的 ,我找不到。。
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2017-7-29 09:17:34 | 显示全部楼层

请问中文是?我有点不明白。。
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2025-2-23 20:03

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表