Python爬虫

克利夫兰

我想下载美图录里面的写真，我用了小甲鱼提供的代码和自己改动了好几次，可还是失败。请大家帮我看一下。import urllib.request
import os

def url_open(url):
    req = urllib.request.Request(url)   #生成了新的Request，然后用add方法把header加进去
    req.add_header('User-Agent',
                     'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36')
    response = urllib.request.urlopen(url)
    html = response.read()
    return html

def get_page(url):
    html = url_open(url).decode('utf-8')
    a = html.find('/item/4600_2.html')+ 19
    b = html.find('<',a)
    return html[a : b]#拼接返回号码

def find_img(url):
    html = url_open(url).decode('utf-8')
    img_addrs = []#图片作为一个列表
    a = html.find('img_src')#图片的真实地址
    while a != -1:
        b = html.find('.jpg',a,a+255)#find如果找不到会返回-1
        if b != -1:#如果b等于-1，那么就说明找到了
            img_addrs.append(html[a+9,b+4])
        else:
            b = a+9
        a = html.find('img_src',b)
    return img_addrs

def save_img(floder,img_addrs):
    for each in img_addrs:
        file_name = each.split('/')[-1]  #这句split的意思是分隔符是‘/’,负1代表取最后一个结果
        with open('file_name','wb') as f :
            img = url_open(each)
            f.write(img)

def download(folder = '爬虫图片',pages= 20):
    os.mkdir(folder)
    os.chdir(folder)
    url = 'https://www.meitulu.com/item/4600.html'
    page_num = int(get_page(url))

    for i in range(pages):
        page_num = page_num - 1
        img_url = "https://mtl.gzhuibei.com/images/img/4600/1.jpg".split('https://mtl.gzhuibei.com/images/img/4600/')[0]+str(page_num)+'.jpg'
        img_addrs = find_img(img_url)
        save_img(floder,img_addrs)


if __name__=='__main__':

zltzlt

代码没发全吧

克利夫兰

1. #定义网页打开并进行爬虫隐藏
   
2. def url_open(url):
   
3.     req = urllib.request.Request(url)   #生成了新的Request，然后用add方法把header加进去
   
4.     req.add_header('User-Agent',
   
5.                      'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36')
   
6.     response = urllib.request.urlopen(url)
   
7.     html = response.read()
   
8.     return html
   
9. 
   
10. #定义得到网页上的内容函数
    
11. def get_page(url):
    
12.     html = url_open(url).decode('utf-8')
    
13.     a = html.find('/item/4600_2.html')+ 19
    
14.     b = html.find('<',a)
    
15.     return html[a : b]#拼接返回号码
    
16. 
    
17. #在当前URL查找图片
    
18. def find_img(url):
    
19.     html = url_open(url).decode('utf-8')
    
20.     img_addrs = []#图片作为一个列表
    
21.     a = html.find('img_src')#图片的真实地址
    
22.     while a != -1:
    
23.         b = html.find('.jpg',a,a+255)#find如果找不到会返回-1
    
24.         if b != -1:#如果b等于-1，那么就说明找到了
    
25.             img_addrs.append(html[a+9,b+4])
    
26.         else:
    
27.             b = a+9
    
28.         a = html.find('img_src',b)
    
29.     return img_addrs
    
30.      
    
31. #定义保存图片的函数
    
32. def save_img(floder,img_addrs):
    
33.     for each in img_addrs:
    
34.         file_name = each.split('/')[-1]  #这句split的意思是分隔符是‘/’,负1代表取最后一个结果
    
35.         with open('file_name','wb') as f :
    
36.             img = url_open(each)
    
37.             f.write(img)
    
38.             
    
39. 
    
40. #定义下载图片的函数，并应用上面定义的几个函数
    
41. def download(folder = '爬虫图片',pages= 20):
    
42.     os.mkdir(folder)
    
43.     os.chdir(folder)
    
44.     url = 'https://www.meitulu.com/item/4600.html'
    
45.     page_num = int(get_page(url))
    
46. 
    
47.     for i in range(pages):
    
48.         page_num = page_num - 1
    
49.         img_url = "https://mtl.gzhuibei.com/images/img/4600/1.jpg".split('https://mtl.gzhuibei.com/images/img/4600/')[0]+str(page_num)+'.jpg'
    
50.         img_addrs = find_img(img_url)
    
51.         save_img(floder,img_addrs)
    
52. 
    
53. 
    
54. if __name__=='__main__':
    
55.     download()
    
56.    
    

复制代码

克利夫兰

zltzlt 发表于 2020-2-16 21:55
代码没发全吧

我刚跟帖复制上了代码，应该还在审核中

winhero

img_url = "https://mtl.gzhuibei.com/images/img/4600/1.jpg".split('https://mtl.gzhuibei.com/images/img/4600/')[0]+str(page_num)+'.jpg'  
分割这里错了

克利夫兰

winhero 发表于 2020-2-17 09:42
img_url = "https://mtl.gzhuibei.com/images/img/4600/1.jpg".split('https://mtl.gzhuibei.com/images/im ...

有点崩溃，我又改了一下发现还是不对