[已解决]爬取

哈岁NB

大佬们，这种情况是不是就不能爬取了

最佳答案

月排行榜 / 总排行榜

isdkz

2023-3-4 17:42:40

对的，没有权限的资源自然也就不能爬取

跳转到最佳答案楼层

isdkz

对的，没有权限的资源自然也就不能爬取

哈岁NB

isdkz 发表于 2023-3-4 17:42
对的，没有权限的资源自然也就不能爬取

好的，感谢感谢

哈岁NB

isdkz 发表于 2023-3-4 17:42
对的，没有权限的资源自然也就不能爬取

可以帮我看一下这个代码是哪里出问题了吗，怎么只能爬取十个，后面怎么爬取不到了呢，感谢感谢

1. import requests
   
2. import re
   
3. from time import sleep
   
4. from lxml import html
   
5. etree = html.etree
   
6. 
   
7. 
   
8. header = {
   
9.    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36"
   
10. }
    
11. 
    
12. #解析标题和详情页的url
    
13. url_01 = 'https://www.ting456.com/book/d45049.html'
    
14. response = requests.get(url=url_01,headers=header).text
    
15. tree = etree.HTML(response)
    
16. li_list = tree.xpath('//*[@id="xima"]/div/li')
    
17. for li in li_list:
    
18.    
    
19.     title = li.xpath('./a/text()')[0]
    
20.     href = 'https://www.ting456.com' + li.xpath('./a/@href')[0]
    
21.     print(title,href)
    
22.     #print(href)
    
23.     #解析动态参数
    
24.     hre = li.xpath('./a/@href')[0]
    
25.     pattern = re.compile('(/play/\d+?-\d-)(\d)(\.html)')
    
26.     for i in pattern.findall(hre):
    
27.         don_02 = f"{i[0]}{int(i[1]) + 1}{i[2]}"
    
28. 
    
29.     # print(title,href)
    
30.     #解析动态参数
    
31.         url_02 = href
    
32.         response = requests.get(url=url_02, headers=header).text
    
33.         tree = etree.HTML(response)
    
34.         page = tree.xpath('//*[@id="player"]/script[1]/text()')[0]
    
35.         ex = 'now="(.+?)"'
    
36.         don_01 = re.findall(ex, page, re.S)[0]
    
37. 
    
38.         #解析音乐的url
    
39.         url_03 = 'https://www.ting456.com/js/player/play.php'
    
40. 
    
41.         parms = {
    
42.             "url": don_01,
    
43.             "from": "xima",
    
44.             "s": "undefined",
    
45.             "x": don_02
    
46.         }
    
47.         # s = "/ play / 45049 - 0 - {}.html".format(i)
    
48.         # print(s)
    
49.         #sleep(1)
    
50.         result = requests.get(url=url_03, headers=header, params=parms).text
    
51.         ex = 'mp3:"(.*?)"'
    
52.         url_04 = re.findall(ex, result, re.S)[0]
    
53.         #print(url_04)
    
54.     #
    
55.     # #请求音乐数据并保存
    
56.         con = requests.get(url=url_04, headers=header).content
    
57.         pattern = re.compile(r'[\\/:*?"<>|]')
    
58.         title = pattern.sub("", title)
    
59.         name = title + '.mp3'
    
60.         f = open(name, 'wb')
    
61.         f.write(con)
    
62.         print(title,"保存完毕")

复制代码

isdkz

哈岁NB 发表于 2023-3-4 18:03
可以帮我看一下这个代码是哪里出问题了吗，怎么只能爬取十个，后面怎么爬取不到了呢，感谢感谢

有没有报错？

哈岁NB

isdkz 发表于 2023-3-4 20:33
有没有报错？

没有报错，直接就程序结束了

哈岁NB

isdkz 发表于 2023-3-4 20:33
有没有报错？

就是这样，最后面的没有权限不爬取，但是十一十二这些还能爬，我这个程序不知道怎么就爬到十就结束了，就是因为url_04只输出10个，不知道为什么

哈岁NB

isdkz 发表于 2023-3-4 20:33
有没有报错？

找到原因了，是31行写进那个for循环了

isdkz

哈岁NB 发表于 2023-3-4 20:57
找到原因了，是31行写进那个for循环了

ok，我这里没跑出结果，也不知道网速太慢还是怎样

哈岁NB

isdkz 发表于 2023-3-4 20:59
ok，我这里没跑出结果，也不知道网速太慢还是怎样

好的，请问这个报错是什么原因呀，我查的是访问太频繁码

1. Traceback (most recent call last):
   
2.   File "D:\技能\python\venv\lib\site-packages\urllib3\connectionpool.py", line 703, in urlopen
   
3.     httplib_response = self._make_request(
   
4.   File "D:\技能\python\venv\lib\site-packages\urllib3\connectionpool.py", line 449, in _make_request
   
5.     six.raise_from(e, None)
   
6.   File "<string>", line 3, in raise_from
   
7.   File "D:\技能\python\venv\lib\site-packages\urllib3\connectionpool.py", line 444, in _make_request
   
8.     httplib_response = conn.getresponse()
   
9.   File "D:\Program Files\python\lib\http\client.py", line 1322, in getresponse
   
10.     response.begin()
    
11.   File "D:\Program Files\python\lib\http\client.py", line 303, in begin
    
12.     version, status, reason = self._read_status()
    
13.   File "D:\Program Files\python\lib\http\client.py", line 272, in _read_status
    
14.     raise RemoteDisconnected("Remote end closed connection without"
    
15. http.client.RemoteDisconnected: Remote end closed connection without response
    
16. 
    
17. During handling of the above exception, another exception occurred:
    
18. 
    
19. Traceback (most recent call last):
    
20.   File "D:\技能\python\venv\lib\site-packages\requests\adapters.py", line 489, in send
    
21.     resp = conn.urlopen(
    
22.   File "D:\技能\python\venv\lib\site-packages\urllib3\connectionpool.py", line 787, in urlopen
    
23.     retries = retries.increment(
    
24.   File "D:\技能\python\venv\lib\site-packages\urllib3\util\retry.py", line 550, in increment
    
25.     raise six.reraise(type(error), error, _stacktrace)
    
26.   File "D:\技能\python\venv\lib\site-packages\urllib3\packages\six.py", line 769, in reraise
    
27.     raise value.with_traceback(tb)
    
28.   File "D:\技能\python\venv\lib\site-packages\urllib3\connectionpool.py", line 703, in urlopen
    
29.     httplib_response = self._make_request(
    
30.   File "D:\技能\python\venv\lib\site-packages\urllib3\connectionpool.py", line 449, in _make_request
    
31.     six.raise_from(e, None)
    
32.   File "<string>", line 3, in raise_from
    
33.   File "D:\技能\python\venv\lib\site-packages\urllib3\connectionpool.py", line 444, in _make_request
    
34.     httplib_response = conn.getresponse()
    
35.   File "D:\Program Files\python\lib\http\client.py", line 1322, in getresponse
    
36.     response.begin()
    
37.   File "D:\Program Files\python\lib\http\client.py", line 303, in begin
    
38.     version, status, reason = self._read_status()
    
39.   File "D:\Program Files\python\lib\http\client.py", line 272, in _read_status
    
40.     raise RemoteDisconnected("Remote end closed connection without"
    
41. urllib3.exceptions.ProtocolError: ('Connection aborted.', RemoteDisconnected('Remote end closed connection without response'))
    
42. 
    
43. During handling of the above exception, another exception occurred:
    
44. 
    
45. Traceback (most recent call last):
    
46.   File "D:\技能\python\shengy\tunshi.py", line 34, in <module>
    
47.     response = requests.get(url=url_02, headers=header).text
    
48.   File "D:\技能\python\venv\lib\site-packages\requests\api.py", line 73, in get
    
49.     return request("get", url, params=params, **kwargs)
    
50.   File "D:\技能\python\venv\lib\site-packages\requests\api.py", line 59, in request
    
51.     return session.request(method=method, url=url, **kwargs)
    
52.   File "D:\技能\python\venv\lib\site-packages\requests\sessions.py", line 587, in request
    
53.     resp = self.send(prep, **send_kwargs)
    
54.   File "D:\技能\python\venv\lib\site-packages\requests\sessions.py", line 701, in send
    
55.     r = adapter.send(request, **kwargs)
    
56.   File "D:\技能\python\venv\lib\site-packages\requests\adapters.py", line 547, in send
    
57.     raise ConnectionError(err, request=request)
    
58. requests.exceptions.ConnectionError: ('Connection aborted.', RemoteDisconnected('Remote end closed connection without response'))

复制代码

isdkz

哈岁NB 发表于 2023-3-4 21:04
好的，请问这个报错是什么原因呀，我查的是访问太频繁码

确实是，应该等一会儿就好

哈岁NB

isdkz 发表于 2023-3-4 21:09
确实是，应该等一会儿就好

好的，感谢感谢

哈岁NB

isdkz 发表于 2023-3-4 21:09
确实是，应该等一会儿就好

请问一下大佬，我现在基础爬虫学完了，下一步该学什么呢

isdkz

哈岁NB 发表于 2023-3-5 09:11
请问一下大佬，我现在基础爬虫学完了，下一步该学什么呢

进阶的话可以深入学一下http协议的知识，还有 js 也可以学一下

哈岁NB

isdkz 发表于 2023-3-5 09:45
进阶的话可以深入学一下http协议的知识，还有 js 也可以学一下

好的，感谢感谢

哈岁NB

isdkz 发表于 2023-3-5 09:45
进阶的话可以深入学一下http协议的知识，还有 js 也可以学一下

想问一下，如果自己想找项目练手，该去哪里找呢，GitHub吗

isdkz

哈岁NB 发表于 2023-3-5 09:50
想问一下，如果自己想找项目练手，该去哪里找呢，GitHub吗

对的，基本是去 github 上找，

这里有一些不错的爬虫项目：
https://www.zhihu.com/question/58151047

https://zhuanlan.zhihu.com/p/425241599

哈岁NB

isdkz 发表于 2023-3-5 09:57
对的，基本是去 github 上找，

这里有一些不错的爬虫项目：

好的，感谢感谢