[已解决]pyquery爬虫解析

哈岁NB

请问大佬们，我这个代码怎么解析不到详情页的数据呢

1. import requests
   
2. import logging
   
3. from urllib.parse import urljoin
   
4. from pyquery import PyQuery as pq
   
5. 
   
6. index_url = 'https://www.ygdy8.net/html/gndy/china/list_4_{}.html'
   
7. header = {
   
8.    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36"
   
9. }
   
10. PAGE = 3
    
11. logging.basicConfig(level=logging.INFO,format='%(asctime)s - %(levelname)s: %(message)s')
    
12. 
    
13. #发起请求
    
14. def scrape_page(url):
    
15.     logging.info('正在爬取：{}...'.format(url))
    
16.     try:
    
17.         response = requests.get(url=url,headers=header)
    
18.         if response.status_code == 200:
    
19.             return response.text
    
20.         logging.error('出现错误，爬取代码：{}'.format(response.status_code))
    
21.     except requests.RequestException:
    
22.         logging.error('爬取{}出现错误'.format(url))
    
23. 
    
24. #拼接url并发起请求
    
25. def scrape_index(page):
    
26.     url = index_url.format(page)
    
27.     return scrape_page(url)
    
28. 
    
29. 
    
30. #解析详情页url
    
31. def detail_url(index_html):
    
32.     details_url = []
    
33.     doc = pq(index_html)
    
34.     hrefs = doc('td b a:nth-child(2)').items()
    
35.     for href in hrefs:
    
36.         urls = href.attr('href')
    
37.         url = urljoin(index_url, urls)
    
38.         details_url.append(url)
    
39. 
    
40.     return details_url
    
41. 
    
42. #详情页发起请求
    
43. def scrpae_detail(url):
    
44.     return scrape_page(url)
    
45. 
    
46. 
    
47. #解析详情页
    
48. def parse_detail(html):
    
49.    
    
50.     doc = pq(html)
    
51.     br = doc('#Zoom span br').text()
    
52.     return br
    
53. 
    
54. 
    
55. 
    
56. 
    
57. 
    
58. def main():
    
59.     for page in range(1,2):
    
60.         index_html = scrape_index(page)
    
61.         hrefs = detail_url(index_html)
    
62.         # logging.info('detail_url:{}'.format(list(href)))
    
63.         for href in hrefs:
    
64.             detail_html = scrpae_detail(href)
    
65.             br = parse_detail(detail_html)
    
66.             logging.info('{}'.format(br))
    
67. 
    
68. 
    
69. if __name__ == '__main__':
    
70.     main()

复制代码

最佳答案

月排行榜 / 总排行榜

陶远航

2023-7-5 17:59:57

您的代码中有几个问题可能导致无法解析到详情页的数据：

1. 主要问题在于解析详情页URL的部分。在您的代码中，使用了urljoin函数来拼接URL，但需要注意的是，urljoin的第一个参数应该是基础URL，第二个参数是相对URL。而在您的代码中，index_url被当作基础URL，但它是一个格式化字符串，并不能完整表示基础URL。我建议您将 index_url 改为 'https://www.ygdy8.net/html/gndy/china/'，然后再使用urljoin函数进行拼接。

2. 另外，您在解析详情页URL时使用了td b a:nth-child(2)作为选择器，但这并不是唯一的选择器，具体情况要看网页结构。建议您检查一下网页的HTML结构，确保选择器是正确的。

3. 您的主函数中使用了range(1,2)，这会导致只爬取第一页的数据。如果您想要爬取多个页面的数据，可以修改为range(1, PAGE+1)，其中PAGE是您设定的总页数。

请尝试修改以上问题，看看是否能够解决无法解析到详情页数据的问题。如果还有其他问题，请提供详细的错误信息以便更好地帮助您解决。

跳转到最佳答案楼层

陶远航

您的代码中有几个问题可能导致无法解析到详情页的数据：

1. 主要问题在于解析详情页URL的部分。在您的代码中，使用了urljoin函数来拼接URL，但需要注意的是，urljoin的第一个参数应该是基础URL，第二个参数是相对URL。而在您的代码中，index_url被当作基础URL，但它是一个格式化字符串，并不能完整表示基础URL。我建议您将 index_url 改为 'https://www.ygdy8.net/html/gndy/china/'，然后再使用urljoin函数进行拼接。

2. 另外，您在解析详情页URL时使用了td b a:nth-child(2)作为选择器，但这并不是唯一的选择器，具体情况要看网页结构。建议您检查一下网页的HTML结构，确保选择器是正确的。

3. 您的主函数中使用了range(1,2)，这会导致只爬取第一页的数据。如果您想要爬取多个页面的数据，可以修改为range(1, PAGE+1)，其中PAGE是您设定的总页数。

请尝试修改以上问题，看看是否能够解决无法解析到详情页数据的问题。如果还有其他问题，请提供详细的错误信息以便更好地帮助您解决。

哈岁NB

陶远航 发表于 2023-7-5 17:59
您的代码中有几个问题可能导致无法解析到详情页的数据：

1. 主要问题在于解析详情页URL的部分。在您的代码 ...

解决了。感谢感谢