我下何从 发表于 2020-6-5 16:09:38

爬虫爬图求助，求助大佬！具体内容如下：

本帖最后由 我下何从 于 2020-6-5 16:11 编辑

import re                                                                        #出问题的地方有标注，具体的网页图片索引在下面，大佬不要看到代码就溜，唔该赛！
import urllib.request
import requests
import os
import random



'''   
dai=['222.90.110.194:8080', '223.241.20.245:30001', '27.46.23.18:888']
ip=random.choice(dai)
proxy_support=urllib.request.ProxyHandler({'https':ip})
opener=urllib.request.build_opener(proxy_support)
urllib.request.install_opener(opener)
'''

#取得html
def open_url(url):
   
    header={'user-agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3314.0 Safari/537.36 SE 2.X MetaSr 1.0'}
    res=requests.get(url,headers=header)
    res.encoding='gbk'
    html=res.text
    return html


#取得图片并保存
def get_img(html):
    p=r'<img id="bigImg" src="([^"]+\.jpg)"'
    imglist=re.findall(p,html)
    for each in imglist:
      filename=each.split('/')[-1]
      urllib.request.urlretrieve(each,filename,None)

            
#取得网页的页面                                                      
def get_page(html):
    p=r'<a href="([^"l]+\.html)"'
    pagelist=re.findall(p,html)

    pages_url=[]
   
    for i in range(len(pagelist)):
      pagelist_new='http:/www.jj20.com'+pagelist
      pages_url.append(pagelist_new)
      
    return pages_url

   
#主程序
def main_url(folder='jj20zha'):
    if os.path.exists(folder)==False:
      os.mkdir(folder)
    os.chdir(folder)
    url='http://www.jj20.com/bz/nxxz/'

#获得网页同一页面下不同的图片集合
    html=open_url(url)
    pages=get_page(html)
   
    for each in pages:
      each_new=each+'#q'
      print(each_new)
      html_page=open_url(each)   ############问题在这里，前面测试打印都没问题，但不不明白为什么问题在这，这里是把图片集合的地址变成html再传给下面的get_img(htmL)
#获得并保存图片
      get_img(html_page)               

   


if __name__=='__main__':
    main_url()
   

Twilight6 发表于 2020-6-5 16:14:47

本帖最后由 Twilight6 于 2020-6-5 16:22 编辑

获取图片要用   html = res.content
而不是   html = res.text

所以你这里不能一起用 一个函数来获取内容了 要重新写一个函数用来打开图片url 获取图片内容

我下何从 发表于 2020-6-5 16:24:14

Twilight6 发表于 2020-6-5 16:14
获取图片要用   html = res.content
而不是   html = res.text



还是不得行，如果我只是下载图1的照片的话，不改也是能下载到的，但进图片集合就会显示出错的图片
import re
import urllib.request
import requests
import os
import random



'''   
dai=['222.90.110.194:8080', '223.241.20.245:30001', '27.46.23.18:888']
ip=random.choice(dai)
proxy_support=urllib.request.ProxyHandler({'https':ip})
opener=urllib.request.build_opener(proxy_support)
urllib.request.install_opener(opener)
'''

#取得html
def open_url(url):
   
    header={'user-agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3314.0 Safari/537.36 SE 2.X MetaSr 1.0'}
    res=requests.get(url,headers=header)
    res.encoding='gbk'
    html=res.text
    return html
#图片html
def open_urlt(url):
   
    header={'user-agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3314.0 Safari/537.36 SE 2.X MetaSr 1.0'}
    res=requests.get(url,headers=header)
    res.encoding='gbk'
    html=res.content
    return html

#取得图片并保存
def get_img(html):
    p=r'<img id="bigImg" src="([^"]+\.jpg)"'
    imglist=re.findall(p,html)
    for each in imglist:
      filename=each.split('/')[-1]
      urllib.request.urlretrieve(each,filename,None)                #取代了with open(filename,'wb') as f:
                                                                      #             img=open_url(each)
                                                                      #             f.write(img)
#取得网页的页面                                                      
def get_page(html):
    p=r'<a href="([^"l]+\.html)"'
    pagelist=re.findall(p,html)

    pages_url=[]
   
    for i in range(len(pagelist)):
      pagelist_new='http:/www.jj20.com'+pagelist
      pages_url.append(pagelist_new)
      
    return pages_url

   
#主程序
def main_url(folder='jj20zha'):
    if os.path.exists(folder)==False:
      os.mkdir(folder)
    os.chdir(folder)
    url='http://www.jj20.com/bz/nxxz/'

#获得网页同一页面下不同的图片集合
    html=open_url(url)
    pages=get_page(html)
   
    for each in pages:
      each_new=each+'#q'
      print(each_new)
      html_page=open_urlt(each)   ############问题在这里，前面测试打印都没问题，但不不明白为什么问题在这，这里是把图片集合的地址变成html再传给下面的get_img(htmL)
#获得并保存图片
      get_img(html_page)               

   


if __name__=='__main__':
    main_url()
   

Twilight6 发表于 2020-6-5 16:25:53

我下何从 发表于 2020-6-5 16:24
还是不得行，如果我只是下载图1的照片的话，不改也是能下载到的，但进图片集合就会显示出错的图片
impor ...

我刚刚重新看了你 代码 你要重新写个获取 图片内容的 函数

我下何从 发表于 2020-6-5 16:29:15

Twilight6 发表于 2020-6-5 16:25
我刚刚重新看了你 代码 你要重新写个获取 图片内容的 函数

是下面这个部分的不？
#取得图片并保存
def get_img(html):
    p=r'<img id="bigImg" src="([^"]+\.jpg)"'
    imglist=re.findall(p,html)
    for each in imglist:
      filename=each.split('/')[-1]
      urllib.request.urlretrieve(each,filename,None)   

Twilight6 发表于 2020-6-5 16:29:59

我下何从 发表于 2020-6-5 16:29
是下面这个部分的不？
#取得图片并保存
def get_img(html):


嗯图片的用 content其他的 用 text

我下何从 发表于 2020-6-5 16:34:17

Twilight6 发表于 2020-6-5 16:29
嗯图片的用 content其他的 用 text

额，我刚才回复给小哥的代码已经区分开来了，但还是出现 NO host supplied

Twilight6 发表于 2020-6-5 16:35:11

我下何从 发表于 2020-6-5 16:34
额，我刚才回复给小哥的代码已经区分开来了，但还是出现 NO host supplied

发完整保存内容，后面...要我猜嘛

看样子可能你被封IP了

我下何从 发表于 2020-6-5 16:38:40

Twilight6 发表于 2020-6-5 16:35
发完整保存内容，后面...要我猜嘛

看样子可能你被封IP了

额， 我第一次回复小哥的代码是完整的，emmm那为啥我下载首页的图片又可以呢？疑惑
页: [1]
查看完整版本: 爬虫爬图求助，求助大佬！具体内容如下：