鱼C论坛

 找回密码
 立即注册
查看: 3206|回复: 1

零基础入门学习python 第60课论一只爬虫的自我修养衍生问题

[复制链接]
发表于 2017-12-5 21:35:17 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
各位大哥好,刚刚在学习第60课之后自己想去爬百度图片,碰到了一个奇怪的问题,我的水平太低,学的还没那么深,不知道怎么解决求大哥们帮忙看看.

import urllib.request
import re

def open_url(url):
    req = urllib.request.Request(url)
    req.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36')
    page = urllib.request.urlopen(req)   
    html = page.read().decode('utf-8')

    return html

def get_img(html):
    p = r'<img class="currentImg" id="currentImg" onload="alog &amp;&amp; alog("speed.set", "c_firstPageComplete", +new Date); alog.fire &amp;&amp; alog.fire("mark");" src="([^"]+\.jpg)"'
    imglist = re.findall(p, html)
   
    for each in imglist:
        filename = each.split("/")[-1]
        urllib.request.urlretrieve(each, filename, None)
    '''
    for each in imglist:
        print(each)
    '''
   
if __name__ == '__main__':
    url = "https://image.baidu.com/search/detail?ct=503316480&z=0&ipn=d&word=%E6%98%9F%E7%A9%BA%E5%9B%BE%E7%89%87&hs=2&pn=1&spn=0&di=139420341280&pi=0&rn=1&tn=baiduimagedetail&is=0%2C0&ie=utf-8&oe=utf-8&cl=2&lm=-1&cs=2661065627%2C1402941853&os=880470370%2C3175268172&simid=4268081991%2C651701367&adpicid=0&lpn=0&ln=30&fr=ala&fm=&sme=&cg=&bdtype=0&oriquery=%E6%98%9F%E7%A9%BA%E5%9B%BE%E7%89%87&objurl=http%3A%2F%2Fpic.58pic.com%2F58pic%2F17%2F16%2F41%2F06G58PICfVz_1024.jpg&fromurl=ippr_z2C%24qAzdH3FAzdH3Fooo_z%26e3Bcbrtv_z%26e3Bv54AzdH3Fpw5kw5AzdH3F808m98am_z%26e3Bip4s&gsm=0"
    get_img(open_url(url))



代码和小甲鱼在课上的一样,就只是改了一下表达式和URL,运行之后可以编译通过但是之后就没有反应了,我爬过了视频中的女神贴吧是有图片在桌面生成的的,但是百度图片和微博相册都出现了一些问题,爬微博的把编码形式改成"GBK"之后可以编译通过了,但是之后也没有反应了,图片也没有。
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

发表于 2017-12-5 22:05:26 | 显示全部楼层
课上是针对性的,不是通用的。
再说了,能这么简单就通用,还用得着搞这么多名堂。
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2025-10-1 02:24

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表