[已解决]爬虫挑战

人造人

简单的看了一下，挺简单的，^_^
简单的说一下思路
先把主页面爬下来，看了看发现没有这个目录列表
看了下浏览器接收到的数据，发现了你提到的这个地址

1. http://www.038909.xyz:5678/api/fs/list

复制代码

简单的研究了一下，得到了这个地址的使用方法
其实就是多看几个目录在这个地址上收到的数据，找规律么
然后就是根据找到的规律写代码了

另外，这个网站的反爬机制还不错
我目前最简单的解决方法也就是sleep一会了
1秒一个目录，出错了再10秒重试一下
如果这是你自己的网站，在测试爬虫的时候可以把这个目录弄的小一点么
我这爬了十几分钟了，才爬到 /体育/健身 这个目录，^_^
下面这个程序用于获取这个网站的整个目录树

1. #!/usr/bin/env python
   
2. #coding=utf-8
   
3. 
   
4. import requests
   
5. import json
   
6. import itertools
   
7. import time
   
8. from retry import retry
   
9. import sys
   
10. import logging
    
11. 
    
12. logging.basicConfig(stream = sys.stderr, level = logging.WARNING)
    
13. headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3"}
    
14. 
    
15. @retry(delay = 10, logger = logging.getLogger())
    
16. def list_dir(path):
    
17.     time.sleep(1)
    
18.     print(path, file = sys.stderr)
    
19.     content = []
    
20.     for page in itertools.count(1):
    
21.         json_ = {"path": path, "password": "", "page": page, "per_page": 30, "refresh": False}
    
22.         url = 'http://www.038909.xyz:5678/api/fs/list'
    
23.         response = requests.post(url, json = json_, headers = headers)
    
24.         response.encoding = 'utf-8'
    
25.         json_ = json.loads(response.text)
    
26.         data = json_['data']
    
27.         if data['content'] != None: content.extend(data['content'])
    
28.         total = data['total']
    
29.         if total == len(content): break
    
30.     for i in content:
    
31.         if not i['is_dir']: continue
    
32.         i['dir_content'] = list_dir(path + i['name'] + '/')
    
33.     return content
    
34. 
    
35. content = list_dir('/')
    
36. print(content)
    

复制代码

人造人

fineconey 发表于 2023-11-27 22:47
乱码了，路径如下。

还是直接用 api 吧，这样去拼 url 不得行

人造人

再改一改，我发现文件没有爬到下载地址，需要使用下面这个地址再对文件进行一次请求

1. http://www.038909.xyz:5678/api/fs/get

复制代码

爬了两个多小时才爬到 "/体育/健身/【赛普健身专业视频】价值19800元/实用工具图表/体质判断对照图"，^_^
然后服务器断开连接了，看起来是我的ip被封了，^_^

1. #!/usr/bin/env python
   
2. #coding=utf-8
   
3. 
   
4. import requests
   
5. import json
   
6. import itertools
   
7. import time
   
8. from retry import retry
   
9. import sys
   
10. import logging
    
11. 
    
12. logging.basicConfig(stream = sys.stderr, level = logging.WARNING)
    
13. headers = {"User-Agent": "Mozilla/6.0 (X11; Linux x86_64; rv:109.0) Gecko/20120101 Firefox/139.0"}
    
14. dir_url = 'http://www.038909.xyz:5678/api/fs/list'
    
15. file_url = 'http://www.038909.xyz:5678/api/fs/get'
    
16. 
    
17. @retry(delay = 5, logger = logging.getLogger())
    
18. def read_json(path, url, json_):
    
19.     time.sleep(1)
    
20.     response = requests.post(url, json = json_, headers = headers)
    
21.     json_ = json.loads(response.text)
    
22.     if json_['code'] != 200: raise ValueError(json_['message'])
    
23.     return json_['data']
    
24. 
    
25. def read_file(path):
    
26.     print(path, file = sys.stderr)
    
27.     json_ = {"path": path, "password": ""}
    
28.     return read_json(path, file_url, json_)
    
29. 
    
30. def read_dir(path):
    
31.     print(path, file = sys.stderr)
    
32.     content = []
    
33.     for page in itertools.count(1):
    
34.         json_ = {"path": path, "password": "", "page": page, "per_page": 30, "refresh": False}
    
35.         data = read_json(path, dir_url, json_)
    
36.         if data['content'] != None: content.extend(data['content'])
    
37.         total = data['total']
    
38.         if total == len(content): break
    
39.     for i in range(len(content)):
    
40.         is_dir = content[i]['is_dir']
    
41.         name = content[i]['name']
    
42.         if is_dir: content[i]['dir_content'] = read_dir(path + name + '/')
    
43.         else: content[i] = read_file(path + name)
    
44.     return content
    
45. 
    
46. #content = read_dir('/游戏/PC/07.运行库/')
    
47. content = read_dir('/')
    
48. print(content)
    

复制代码

人造人

fineconey 发表于 2023-11-28 20:20
结构是一样的，可以试试这个。

https://pan.mediy.cn/

需要我继续挂这个脚本去爬整个目录树吗？
^_^