[已解决]遇到没有尾页的网站，除了for循环有没有其它方法？

jjxx2005

遇到没有尾页的网站，除了for循环有没有其它方法？有尾页时我可以定位总页数，但是没有尾页时，我只能肉眼观察总页数，请问有没有更好的方法？

1. import requests
   
2. from lxml import etree
   
3. import os
   
4. if not os.path.exists('c:/视频'):
   
5.     os.mkdir('c:/视频')
   
6. url =  'https://www.qiushibaike.com/video/'
   
7. UA = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.92 Safari/537.36'}
   
8. r1 = requests.get(url=url,headers=UA).text
   
9. e1 = etree.HTML(r1)
   
10. j = 0
    
11. for i in range(1,14):
    
12.     if i == 1:
    
13.         url = 'https://www.qiushibaike.com/video/'
    
14.     else:
    
15.         url = 'https://www.qiushibaike.com/video/'+ 'page/'+ str(i) +'/'
    
16.     r1 = requests.get(url=url, headers=UA).text
    
17.     e1 = etree.HTML(r1)
    
18.     mp4 = e1.xpath('//div[@class = "col1 old-style-col1"]//source/@src')
    
19. 
    
20.     for mp4 in mp4:
    
21.         mp4 = 'https:'+mp4
    
22.         j += 1
    
23.         后缀 = mp4.split('.')[-1]
    
24.         文件路径 = 'c:/视频/'+ str(j) +'.'+后缀
    
25.         r1 = requests.get(url=mp4, headers=UA).content
    
26.         with open(文件路径,'wb') as fp:
    
27.             fp.write(r1)
    
28.             print(f'第{j}个视频','下载成功！！！')

复制代码

最佳答案

月排行榜 / 总排行榜

Twilight6

2020-7-17 12:12:03

爬出页码呗：

1. import requests
   
2. from lxml import etree
   
3. import os
   
4. if not os.path.exists('c:/视频'):
   
5.     os.mkdir('c:/视频')
   
6. url =  'https://www.qiushibaike.com/video/'
   
7. UA = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.92 Safari/537.36'}
   
8. r1 = requests.get(url=url,headers=UA).text
   
9. e1 = etree.HTML(r1)
   
10. j = 0
    
11. all_age = int(e1.xpath(r'//a/span/text()')[-2][1:-1])
    
12. for i in range(1,all_age+1):
    
13.     if i == 1:
    
14.         url = 'https://www.qiushibaike.com/video/'
    
15.     else:
    
16.         url = 'https://www.qiushibaike.com/video/'+ 'page/'+ str(i) +'/'
    
17.     r1 = requests.get(url=url, headers=UA).text
    
18.     e1 = etree.HTML(r1)
    
19.     mp4 = e1.xpath('//div[@class = "col1 old-style-col1"]//source/@src')
    
20. 
    
21.     for mp4 in mp4:
    
22.         mp4 = 'https:'+mp4
    
23.         j += 1
    
24.         后缀 = mp4.split('.')[-1]
    
25.         文件路径 = 'c:/视频/'+ str(j) +'.'+后缀
    
26.         r1 = requests.get(url=mp4, headers=UA).content
    
27.         with open(文件路径,'wb') as fp:
    
28.             fp.write(r1)
    
29.             print(f'第{j}个视频','下载成功！！！')

复制代码

跳转到最佳答案楼层

Twilight6

爬出页码呗：

1. import requests
   
2. from lxml import etree
   
3. import os
   
4. if not os.path.exists('c:/视频'):
   
5.     os.mkdir('c:/视频')
   
6. url =  'https://www.qiushibaike.com/video/'
   
7. UA = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.92 Safari/537.36'}
   
8. r1 = requests.get(url=url,headers=UA).text
   
9. e1 = etree.HTML(r1)
   
10. j = 0
    
11. all_age = int(e1.xpath(r'//a/span/text()')[-2][1:-1])
    
12. for i in range(1,all_age+1):
    
13.     if i == 1:
    
14.         url = 'https://www.qiushibaike.com/video/'
    
15.     else:
    
16.         url = 'https://www.qiushibaike.com/video/'+ 'page/'+ str(i) +'/'
    
17.     r1 = requests.get(url=url, headers=UA).text
    
18.     e1 = etree.HTML(r1)
    
19.     mp4 = e1.xpath('//div[@class = "col1 old-style-col1"]//source/@src')
    
20. 
    
21.     for mp4 in mp4:
    
22.         mp4 = 'https:'+mp4
    
23.         j += 1
    
24.         后缀 = mp4.split('.')[-1]
    
25.         文件路径 = 'c:/视频/'+ str(j) +'.'+后缀
    
26.         r1 = requests.get(url=mp4, headers=UA).content
    
27.         with open(文件路径,'wb') as fp:
    
28.             fp.write(r1)
    
29.             print(f'第{j}个视频','下载成功！！！')

复制代码

jjxx2005

Twilight6 发表于 2020-7-17 12:12
爬出页码呗：

感谢版主，另外有个问题像您咨询
all_age = int(e1.xpath(r'//a/span/text()')[-2][1:-1])

[-2]是取下标的倒数第2个，但是后面的切片我不太懂 [1:-1]
我发现
e1.xpath(r'//a/span/text()')[-2]   在页号上面有一个空行
但是按您的方法写成e1.xpath(r'//a/span/text()')[-2][1:-1] 空行就消失了  这个切片是什么原理？ 谢谢

Twilight6

jjxx2005 发表于 2020-7-17 12:58
感谢版主，另外有个问题像您咨询
all_age = int(e1.xpath(r'//a/span/text()')[-2][1:-1])

因为这里有两个不可见字符  比如  '\n13\n' 我切片 [1:-1] 就是把不可见字符给去掉了

jjxx2005

Twilight6 发表于 2020-7-17 15:37
因为这里有两个不可见字符  比如  '\n13\n' 我切片 [1:-1] 就是把不可见字符给去掉了

谢谢回复明白了