[已解决]求助列表历遍命令

jasmorning

先上代码

1. import urllib.request
   
2. import requests
   
3. import re
   
4. import os
   
5. #####get_pagelist、get_postlist、get_imglist######
   
6. 
   
7. def get_html(url):
   
8.     res = requests.get(url)
   
9.     return res.text
   
10. 
    
11. def down(url):
    
12.     url = pagelist[0] #设定url为pagelist列表中第一个
    
13.     posttemp = re.compile(r'<a href="(/meituisiwatupian/\d+/\d+\.html)" t')
    
14.     html = get_html(url)#定义html命令为获取url源代码
    
15.     postlistx = re.findall(posttemp,html)
    
16.     for post in postlistx:
    
17.         post = 'http://www.tu11.com/' + str(post)
    
18.         img = get_html(post)
    
19.         imgfind = r'src="(http://img15.haotuwu.com:8080/picture/\d+/\w+[^"]+.jpg)"'
    
20.         img = re.findall(imgfind,img)
    
21.         for down in img:
    
22.             filename = down.split("/")[-1]
    
23.             urllib.request.urlretrieve(down,filename,None)
    
24.         
    
25. 
    
26. if __name__=='__main__':
    
27.     page = 1
    
28.     pagelist = []
    
29.     while True:
    
30.             if page > 10:
    
31.                 break
    
32.             url = "http://www.tu11.com/meituisiwatupian/list_2_" + str(page) + ".html"
    
33.             pagelist.append(url)
    
34.             page += 1
    
35.     down(url)
    

复制代码

代码写的有点乱，基本思路是从main开始，构建一个页面列表pagelist，然后传入down函数，在down函数中构建一个postlistx列表，用拼接方式加上域名存为post列表，然后进入post列表中第一项，然后查找该帖子中所有.jpg

问题来了，现在程序跑起来的时候，仅得到了post列表中的第一个.jpg文件的地址，然后就去找post列表中第二个帖子去了。。。。

到底是哪里出错了呢？还是某个语句不该放在这个循环里？

最佳答案

月排行榜 / 总排行榜

ba21

2018-12-31 19:29:40

老实说，没明白你的意思。再说了人家网站也反爬。
如果你想爬所有页 应该是这样

1. def down(urls):
   
2.     for url in urls:
   
3.         posttemp = re.compile(r'<a href="(/meituisiwatupian/\d+/\d+\.html)" t')
   
4.         html = get_html(url)#定义html命令为获取url源代码
   
5.         postlistx = re.findall(posttemp,html)
   
6.         for post in postlistx:
   
7.             post = 'http://www.tu11.com/' + str(post)
   
8.             img = get_html(post)
   
9.             imgfind = r'src="(http://img15.haotuwu.com:8080/picture/\d+/\w+[^"]+.jpg)"'
   
10.             img = re.findall(imgfind,img)
    
11.             for down in img:
    
12.                 filename = down.split("/")[-1]
    
13.                 urllib.request.urlretrieve(down,filename,None)
    
14.         
    
15. 
    
16. if __name__=='__main__':
    
17.     page = 1
    
18.     pagelist = []
    
19.     while True:
    
20.         if page > 10:
    
21.             break
    
22.         url = "http://www.tu11.com/meituisiwatupian/list_2_" + str(page) + ".html"
    
23.         pagelist.append(url)
    
24.         page += 1
    
25.     down(pagelist)

复制代码

跳转到最佳答案楼层

ba21

老实说，没明白你的意思。再说了人家网站也反爬。
如果你想爬所有页 应该是这样

1. def down(urls):
   
2.     for url in urls:
   
3.         posttemp = re.compile(r'<a href="(/meituisiwatupian/\d+/\d+\.html)" t')
   
4.         html = get_html(url)#定义html命令为获取url源代码
   
5.         postlistx = re.findall(posttemp,html)
   
6.         for post in postlistx:
   
7.             post = 'http://www.tu11.com/' + str(post)
   
8.             img = get_html(post)
   
9.             imgfind = r'src="(http://img15.haotuwu.com:8080/picture/\d+/\w+[^"]+.jpg)"'
   
10.             img = re.findall(imgfind,img)
    
11.             for down in img:
    
12.                 filename = down.split("/")[-1]
    
13.                 urllib.request.urlretrieve(down,filename,None)
    
14.         
    
15. 
    
16. if __name__=='__main__':
    
17.     page = 1
    
18.     pagelist = []
    
19.     while True:
    
20.         if page > 10:
    
21.             break
    
22.         url = "http://www.tu11.com/meituisiwatupian/list_2_" + str(page) + ".html"
    
23.         pagelist.append(url)
    
24.         page += 1
    
25.     down(pagelist)

复制代码