[已解决]爬虫挑战

fineconey

请教一下，

最近通过docker拉取了小雅的资源库，

地址是：  http://www.038909.xyz:5678/

如何爬取整个网站的资源。不下载，只获取文件目录，拼接成如下的
http://www.038909.xyz:5678/d/%E6%B8%B8%E6%88%8F/PC/03.%E7%A7%8D%E5%AD%90%E6%96%87%E4%BB%B6%E9%9B%86%E5%90%88/%E7%A7%8D%E5%AD%90%E6%96%87%E4%BB%B6/2012%E5%B9%B46%E6%9C%88~11%E6%9C%88/%E5%90%88%E9%9B%86.exe




ps自己的网站，随便折腾。

好像是通过post实现【http://www.038909.xyz:5678/api/fs/list】

但不太好获取   {path: "/有声书", password: "", page: 1, per_page: 30, refresh: false}

有想试试的吗？

最佳答案

月排行榜 / 总排行榜

人造人

2023-11-28 01:56:38

简单的看了一下，挺简单的，^_^
简单的说一下思路
先把主页面爬下来，看了看发现没有这个目录列表
看了下浏览器接收到的数据，发现了你提到的这个地址

1. http://www.038909.xyz:5678/api/fs/list

复制代码

简单的研究了一下，得到了这个地址的使用方法
其实就是多看几个目录在这个地址上收到的数据，找规律么
然后就是根据找到的规律写代码了

另外，这个网站的反爬机制还不错
我目前最简单的解决方法也就是sleep一会了
1秒一个目录，出错了再10秒重试一下
如果这是你自己的网站，在测试爬虫的时候可以把这个目录弄的小一点么
我这爬了十几分钟了，才爬到 /体育/健身 这个目录，^_^
下面这个程序用于获取这个网站的整个目录树

1. #!/usr/bin/env python
   
2. #coding=utf-8
   
3. 
   
4. import requests
   
5. import json
   
6. import itertools
   
7. import time
   
8. from retry import retry
   
9. import sys
   
10. import logging
    
11. 
    
12. logging.basicConfig(stream = sys.stderr, level = logging.WARNING)
    
13. headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3"}
    
14. 
    
15. @retry(delay = 10, logger = logging.getLogger())
    
16. def list_dir(path):
    
17.     time.sleep(1)
    
18.     print(path, file = sys.stderr)
    
19.     content = []
    
20.     for page in itertools.count(1):
    
21.         json_ = {"path": path, "password": "", "page": page, "per_page": 30, "refresh": False}
    
22.         url = 'http://www.038909.xyz:5678/api/fs/list'
    
23.         response = requests.post(url, json = json_, headers = headers)
    
24.         response.encoding = 'utf-8'
    
25.         json_ = json.loads(response.text)
    
26.         data = json_['data']
    
27.         if data['content'] != None: content.extend(data['content'])
    
28.         total = data['total']
    
29.         if total == len(content): break
    
30.     for i in content:
    
31.         if not i['is_dir']: continue
    
32.         i['dir_content'] = list_dir(path + i['name'] + '/')
    
33.     return content
    
34. 
    
35. content = list_dir('/')
    
36. print(content)
    

复制代码

跳转到最佳答案楼层

FishC_GPT

可以使用Python的requests库来发送POST请求获取文件目录信息，并对返回的数据进行解析。以下是一个示例代码：

1. import requests
3. def get_file_list(url, path):
4.     data = {
5.         "path": path,
6.         "password": "",
7.         "page": 1,
8.         "per_page": 30,
9.         "refresh": False
10.     }
11.    
12.     response = requests.post(url, json=data)
13.     if response.status_code == 200:
14.         files = response.json().get("files")
15.         if isinstance(files, list):
16.             return files
17.     return []
19. def generate_download_url(base_url, file_path):
20.     # 将文件路径中的特殊字符编码转换为URL编码
21.     encoded_path = "/".join([requests.utils.quote(part) for part in file_path.split("/")])
22.     return f"{base_url}/{encoded_path}"
24. url = "http://www.038909.xyz:5678/api/fs/list"
25. base_url = "http://www.038909.xyz:5678"
27. file_list = get_file_list(url, "/")
28. for file_info in file_list:
29.     file_path = file_info.get("path")
30.     download_url = generate_download_url(base_url, file_path)
31.     print(download_url)

复制代码

这段代码先定义了一个`get_file_list`函数，用于发送POST请求获取文件目录信息。然后定义了一个`generate_download_url`函数，用于根据文件路径生成可下载的文件URL。最后在主程序部分，通过调用`get_file_list`函数获取文件列表，并循环遍历输出每个文件的下载URL。

请注意，这段代码仅提供了实现思路和示例代码，具体情况可能需要根据网站的实际接口和返回数据格式进行调整。同时，爬取网站资源可能涉及到合法性和道德性问题，请务必遵守相关法律法规和网站的使用规定。

以上回复来自 -- ChatGPT（FishC官方接口），如未能正确解答您的问题，请继续追问。

fineconey

乱码了，路径如下。

FishC_GPT

fineconey 发表于 2023-11-27 22:47
乱码了，路径如下。

如果路径中包含了URL编码的特殊字符，可以使用Python的urllib库来进行URL解码。以下是更新过后的代码示例：import requestsfrom urllib.parse import unquotedef get_file_list(url, path):    data = {        "path": path,        "password": "",        "page": 1,        "per_page": 30,        "refresh": False    }    response = requests.post(url, json=data)    if response.status_code == 200:        files = response.json().get("files")        if isinstance(files, list):            return files    return []def generate_download_url(base_url, file_path):    # 解码URL编码的文件路径    decoded_path = unquote(file_path)    return f"{base_url}/{decoded_path}"url = "http://www.038909.xyz:5678/api/fs/list"base_url = "http://www.038909.xyz:5678"direc_path = "/%E6%B8%B8%E6%88%8F/PC/03.%E7%A7%8D%E5%AD%90%E6%96%87%E4%BB%B6%E9%9B%86%E5%90%88/%E7%A7%8D%E5%AD%90%E6%96%87%E4%BB%B6/2012%E5%B9%B46%E6%9C%88~11%E6%9C%88/%E5%90%88%E9%9B%86.exepsfile_list = get_file_list(url, direc_path)for file_info in file_list:    file_path = file_info.get("path")    download_url = generate_download_url(base_url, file_path)    print(download_url)这段代码在之前的基础上，增加了一个`unquote`函数的调用来解码URL编码的文件路径。由于你提供的示例路径是已经进行了URL编码的，所以需要将路径进行解码才能得到正确的下载URL。请注意，这代码仅提供了解决乱码问题的思路和示例代码，请根据实际情况进行调整。

以上回复来自 -- ChatGPT（FishC官方接口），如未能正确解答您的问题，请继续追问。

isdkz

明天有空的话看看

人造人

简单的看了一下，挺简单的，^_^
简单的说一下思路
先把主页面爬下来，看了看发现没有这个目录列表
看了下浏览器接收到的数据，发现了你提到的这个地址

1. http://www.038909.xyz:5678/api/fs/list

复制代码

简单的研究了一下，得到了这个地址的使用方法
其实就是多看几个目录在这个地址上收到的数据，找规律么
然后就是根据找到的规律写代码了

另外，这个网站的反爬机制还不错
我目前最简单的解决方法也就是sleep一会了
1秒一个目录，出错了再10秒重试一下
如果这是你自己的网站，在测试爬虫的时候可以把这个目录弄的小一点么
我这爬了十几分钟了，才爬到 /体育/健身 这个目录，^_^
下面这个程序用于获取这个网站的整个目录树

1. #!/usr/bin/env python
   
2. #coding=utf-8
   
3. 
   
4. import requests
   
5. import json
   
6. import itertools
   
7. import time
   
8. from retry import retry
   
9. import sys
   
10. import logging
    
11. 
    
12. logging.basicConfig(stream = sys.stderr, level = logging.WARNING)
    
13. headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3"}
    
14. 
    
15. @retry(delay = 10, logger = logging.getLogger())
    
16. def list_dir(path):
    
17.     time.sleep(1)
    
18.     print(path, file = sys.stderr)
    
19.     content = []
    
20.     for page in itertools.count(1):
    
21.         json_ = {"path": path, "password": "", "page": page, "per_page": 30, "refresh": False}
    
22.         url = 'http://www.038909.xyz:5678/api/fs/list'
    
23.         response = requests.post(url, json = json_, headers = headers)
    
24.         response.encoding = 'utf-8'
    
25.         json_ = json.loads(response.text)
    
26.         data = json_['data']
    
27.         if data['content'] != None: content.extend(data['content'])
    
28.         total = data['total']
    
29.         if total == len(content): break
    
30.     for i in content:
    
31.         if not i['is_dir']: continue
    
32.         i['dir_content'] = list_dir(path + i['name'] + '/')
    
33.     return content
    
34. 
    
35. content = list_dir('/')
    
36. print(content)
    

复制代码

人造人

fineconey 发表于 2023-11-27 22:47
乱码了，路径如下。

还是直接用 api 吧，这样去拼 url 不得行

人造人

再改一改，我发现文件没有爬到下载地址，需要使用下面这个地址再对文件进行一次请求

1. http://www.038909.xyz:5678/api/fs/get

复制代码

爬了两个多小时才爬到 "/体育/健身/【赛普健身专业视频】价值19800元/实用工具图表/体质判断对照图"，^_^
然后服务器断开连接了，看起来是我的ip被封了，^_^

1. #!/usr/bin/env python
   
2. #coding=utf-8
   
3. 
   
4. import requests
   
5. import json
   
6. import itertools
   
7. import time
   
8. from retry import retry
   
9. import sys
   
10. import logging
    
11. 
    
12. logging.basicConfig(stream = sys.stderr, level = logging.WARNING)
    
13. headers = {"User-Agent": "Mozilla/6.0 (X11; Linux x86_64; rv:109.0) Gecko/20120101 Firefox/139.0"}
    
14. dir_url = 'http://www.038909.xyz:5678/api/fs/list'
    
15. file_url = 'http://www.038909.xyz:5678/api/fs/get'
    
16. 
    
17. @retry(delay = 5, logger = logging.getLogger())
    
18. def read_json(path, url, json_):
    
19.     time.sleep(1)
    
20.     response = requests.post(url, json = json_, headers = headers)
    
21.     json_ = json.loads(response.text)
    
22.     if json_['code'] != 200: raise ValueError(json_['message'])
    
23.     return json_['data']
    
24. 
    
25. def read_file(path):
    
26.     print(path, file = sys.stderr)
    
27.     json_ = {"path": path, "password": ""}
    
28.     return read_json(path, file_url, json_)
    
29. 
    
30. def read_dir(path):
    
31.     print(path, file = sys.stderr)
    
32.     content = []
    
33.     for page in itertools.count(1):
    
34.         json_ = {"path": path, "password": "", "page": page, "per_page": 30, "refresh": False}
    
35.         data = read_json(path, dir_url, json_)
    
36.         if data['content'] != None: content.extend(data['content'])
    
37.         total = data['total']
    
38.         if total == len(content): break
    
39.     for i in range(len(content)):
    
40.         is_dir = content[i]['is_dir']
    
41.         name = content[i]['name']
    
42.         if is_dir: content[i]['dir_content'] = read_dir(path + name + '/')
    
43.         else: content[i] = read_file(path + name)
    
44.     return content
    
45. 
    
46. #content = read_dir('/游戏/PC/07.运行库/')
    
47. content = read_dir('/')
    
48. print(content)
    

复制代码

fineconey

人造人 发表于 2023-11-28 19:58
再改一改，我发现文件没有爬到下载地址，需要使用下面这个地址再对文件进行一次请求

我临时关了，看了下后台，走了接近n多流量。。。。。

fineconey

人造人 发表于 2023-11-28 19:58
再改一改，我发现文件没有爬到下载地址，需要使用下面这个地址再对文件进行一次请求

结构是一样的，可以试试这个。

https://pan.mediy.cn/

人造人

fineconey 发表于 2023-11-28 20:20
结构是一样的，可以试试这个。

https://pan.mediy.cn/

需要我继续挂这个脚本去爬整个目录树吗？
^_^

fineconey

人造人 发表于 2023-11-28 21:03
需要我继续挂这个脚本去爬整个目录树吗？
^_^

喜欢什么就下载什么吧。

曲折

人造人 发表于 2023-11-28 01:56
简单的看了一下，挺简单的，^_^
简单的说一下思路
先把主页面爬下来，看了看发现没有这个目录列表

可惜了，对于我们这样的新手来说，你的很多库都不知道是干嘛的，哈哈！