[已解决]parsel解析

哈岁NB

请问大佬们，这个页面怎样用parsel把城市和最低温度爬取出来呢 http://www.weather.com.cn/textFC/hb.shtml

最佳答案

月排行榜 / 总排行榜

isdkz

2023-7-8 17:17:05

1. import requests
   
2. from parsel import Selector
   
3. 
   
4. url = 'http://www.weather.com.cn/textFC/hb.shtml'
   
5. response = requests.get(url)
   
6. response.encoding='utf-8'
   
7. html_content = response.text
   
8. 
   
9. # 假设html_content是你从网页获取的HTML内容
   
10. selector = Selector(html_content)
    
11. 
    
12. # 遍历页面中的每个省/直辖市信息
    
13. for province_info in selector.css('body > div.lqcontentBoxH > div.contentboxTab > div > div > div.hanml > div:nth-child(1) > div'):
    
14.     # 获取第一个城市名
    
15.     city = province_info.css('table > tr:nth-child(3) > td:nth-child(2) > a::text').get()
    
16.     # 获取第一个城市的最低温度
    
17.     min_temperature = province_info.css('table > tr:nth-child(3) > td:nth-child(8)::text').get()
    
18.     print(f'城市: {city}, 最低气温: {min_temperature}')
    
19.     # 遍历每个省的每个城市
    
20.     for city_info in province_info.css('table > tr')[3:]:
    
21.         # 获取城市名
    
22.         city = city_info.css('td:nth-child(1) > a::text').get()
    
23.         # 获取最低温度
    
24.         min_temperature = city_info.css('td:nth-child(7)::text').get()
    
25. 
    
26.         print(f'城市: {city}, 最低气温: {min_temperature}')
    

复制代码

跳转到最佳答案楼层

沐雨尘枫

1. import requests
   
2. from parsel import Selector
   
3. 
   
4. url = 'http://www.weather.com.cn/textFC/hb.shtml'
   
5. response = requests.get(url)
   
6. html = response.text
   
7. 
   
8. selector = Selector(text=html)
   
9. city_elements = selector.css('.conMidtab .conMidtab2 .conMidtab3 a')
   
10. temperature_elements = selector.css('.conMidtab .conMidtab2 .conMidtab3 span')
    
11. 
    
12. cities = city_elements.css('::text').getall()
    
13. temperatures = temperature_elements.css('::text').getall()
    
14. 
    
15. for city, temperature in zip(cities, temperatures):
    
16.     print(f"城市：{city}，最低温度：{temperature}")
    

复制代码

哈岁NB

沐雨尘枫 发表于 2023-7-8 16:26

这个不行，爬不到

沐雨尘枫

哈岁NB 发表于 2023-7-8 16:29
这个不行，爬不到

嗯，加代码就可以了，如果有帮助能给个最佳答案吗

1. with open('weather_data.txt', 'w') as file:
   
2.     for city, temperature in zip(cities, temperatures):
   
3.         file.write(f"城市：{city}，最低温度：{temperature}\n")
   

复制代码

沐雨尘枫

哈岁NB 发表于 2023-7-8 16:29
这个不行，爬不到

代码没有问题，只是没有保存

哈岁NB

沐雨尘枫 发表于 2023-7-8 16:57
代码没有问题，只是没有保存

大佬，按照你的这个代码我这个咋啥也爬不到

1. import requests
   
2. from parsel import Selector
   
3. 
   
4. url = 'http://www.weather.com.cn/textFC/hb.shtml'
   
5. response = requests.get(url)
   
6. html = response.text
   
7. 
   
8. selector = Selector(text=html)
   
9. city_elements = selector.css('.conMidtab .conMidtab2 .conMidtab3 a')
   
10. temperature_elements = selector.css('.conMidtab .conMidtab2 .conMidtab3 span')
    
11. 
    
12. cities = city_elements.css('::text').getall()
    
13. temperatures = temperature_elements.css('::text').getall()
    
14. 
    
15. with open('weather_data.txt', 'w') as file:
    
16.     for city, temperature in zip(cities, temperatures):
    
17.         file.write(f"城市：{city}，最低温度：{temperature}\n")
    
18. 
    
19. 
    

复制代码

isdkz

沐雨尘枫 发表于 2023-7-8 16:57
代码没有问题，只是没有保存

你的代码确实爬不到

isdkz

1. import requests
   
2. from parsel import Selector
   
3. 
   
4. url = 'http://www.weather.com.cn/textFC/hb.shtml'
   
5. response = requests.get(url)
   
6. response.encoding='utf-8'
   
7. html_content = response.text
   
8. 
   
9. # 假设html_content是你从网页获取的HTML内容
   
10. selector = Selector(html_content)
    
11. 
    
12. # 遍历页面中的每个省/直辖市信息
    
13. for province_info in selector.css('body > div.lqcontentBoxH > div.contentboxTab > div > div > div.hanml > div:nth-child(1) > div'):
    
14.     # 获取第一个城市名
    
15.     city = province_info.css('table > tr:nth-child(3) > td:nth-child(2) > a::text').get()
    
16.     # 获取第一个城市的最低温度
    
17.     min_temperature = province_info.css('table > tr:nth-child(3) > td:nth-child(8)::text').get()
    
18.     print(f'城市: {city}, 最低气温: {min_temperature}')
    
19.     # 遍历每个省的每个城市
    
20.     for city_info in province_info.css('table > tr')[3:]:
    
21.         # 获取城市名
    
22.         city = city_info.css('td:nth-child(1) > a::text').get()
    
23.         # 获取最低温度
    
24.         min_temperature = city_info.css('td:nth-child(7)::text').get()
    
25. 
    
26.         print(f'城市: {city}, 最低气温: {min_temperature}')
    

复制代码

陶远航

首先，请确保您已经安装了 parsel 和 requests 库。如果没有安装，可以使用以下命令安装：

1. pip install parsel requests

复制代码

然后，您可以使用以下代码来爬取城市和最低温度：

1. import requests
2. from parsel import Selector
4. url = "http://www.weather.com.cn/textFC/hb.shtml"
6. # 发送请求并获取页面内容
7. response = requests.get(url)
8. response.encoding = "utf-8"
9. html_content = response.text
11. # 使用Parsel解析页面
12. selector = Selector(text=html_content)
14. # 定位城市和最低温度的XPath
15. cities_xpath = "//div[contains(@class, 'conMidtab')]//td[2]/a/text()"
16. min_temps_xpath = "//div[contains(@class, 'conMidtab')]//td[8]/text()"
18. # 提取城市和最低温度
19. cities = selector.xpath(cities_xpath).getall()
20. min_temps = selector.xpath(min_temps_xpath).getall()
22. # 将结果打印出来
23. for city, min_temp in zip(cities, min_temps):
24.     print(f"{city}: {min_temp}")

复制代码

这段代码首先发送一个请求到目标网址并获取HTML内容。接着，使用Parsel的 Selector 解析页面，然后根据XPath提取城市和最低温度的数据。最后，将结果打印出来。

请注意，这个代码只适用于该网址的当前结构。如果页面结构发生改变，您可能需要更新XPath以获取正确的数据。

哈岁NB

陶远航 发表于 2023-7-8 17:52
首先，请确保您已经安装了 parsel 和 requests 库。如果没有安装，可以使用以下命令安装：

这个爬出来是这样的

isdkz

哈岁NB 发表于 2023-7-8 18:10
这个爬出来是这样的

为什么你就是不看我的？

isdkz

请关注下我的答案吧，球球了：https://fishc.com.cn/forum.php?m ... 602&pid=6280035

哈岁NB

isdkz 发表于 2023-7-8 18:21
请关注下我的答案吧，球球了：https://fishc.com.cn/forum.php?mod=redirect&goto=findpost&ptid=230602&pi ...

没看到，感谢感谢

哈岁NB

isdkz 发表于 2023-7-8 18:16
为什么你就是不看我的？

一开始看到了，后来刷新一下没了，就没看到了

isdkz

哈岁NB 发表于 2023-7-8 18:26
一开始看到了，后来刷新一下没了，就没看到了

好吧

哈岁NB

isdkz 发表于 2023-7-8 18:26
好吧

请问我要是想爬周一周二周三的数据，该怎么爬呢，那个页面必须点一下才会在源网页代码中显示数据

isdkz

哈岁NB 发表于 2023-7-8 18:47
请问我要是想爬周一周二周三的数据，该怎么爬呢，那个页面必须点一下才会在源网页代码中显示数据

1. import requests
   
2. from parsel import Selector
   
3. 
   
4. url = 'http://www.weather.com.cn/textFC/hb.shtml'
   
5. response = requests.get(url)
   
6. response.encoding='utf-8'
   
7. html_content = response.text
   
8. 
   
9. # 假设html_content是你从网页获取的HTML内容
   
10. selector = Selector(html_content)
    
11. date = selector.css('body > div.lqcontentBoxH > div.contentboxTab > div > div > ul.day_tabs > li::text')
    
12. 
    
13. # 遍历页面上每天的信息
    
14. for i, day_info in enumerate(selector.css('body > div.lqcontentBoxH > div.contentboxTab > div > div > div.hanml > div')):
    
15.     print(f'{date[i].get()}:\n')
    
16.     # 遍历页面中的每个省/直辖市信息
    
17.     for province_info in day_info.xpath('./div'):
    
18.         # 获取第一个城市名
    
19.         city = province_info.css('table > tr:nth-child(3) > td:nth-child(2) > a::text').get()
    
20.         # 获取第一个城市的最低温度
    
21.         min_temperature = province_info.css('table > tr:nth-child(3) > td:nth-child(8)::text').get()
    
22.         print(f'城市: {city}, 最低气温: {min_temperature}')
    
23.         # 遍历每个省的每个城市
    
24.         for city_info in province_info.css('table > tr')[3:]:
    
25.             # 获取城市名
    
26.             city = city_info.css('td:nth-child(1) > a::text').get()
    
27.             # 获取最低温度
    
28.             min_temperature = city_info.css('td:nth-child(7)::text').get()
    
29. 
    
30.             print(f'城市: {city}, 最低气温: {min_temperature}')
    
31.     print('\n', '-' * 50, '\n', sep='')
    

复制代码

哈岁NB

isdkz 发表于 2023-7-8 19:14

好的，感谢感谢

哈岁NB

isdkz 发表于 2023-7-8 19:14

请问这个代码为什么可以爬取到每一天的呢，我没太没看懂，网页中需要点击才会显示，代码也没有发现点击的动作为什么就可以爬取到呢

isdkz

哈岁NB 发表于 2023-7-9 10:20
请问这个代码为什么可以爬取到每一天的呢，我没太没看懂，网页中需要点击才会显示，代码也没有 ...

因为他每一天的数据本来就在网页的标签里面的，只不过加了隐藏属性而已，这个不影响我们获取标签，只要选择器写对了就能获取到，隐藏属性只是作用到浏览器解析html标签的

你点击的时候实际上就是执行了js代码把之前显示的设为隐藏，把你点击的那个的隐藏属性去掉