爬取58同城，代码运行无误，但未能爬到东西

澍梵.

代码可以运行但是无法爬出数据，运行完后csv表为空。
问题应该在select的定位上，但是总是解决不了。
感谢帮助！

1. import urllib.request
   
2. from bs4 import BeautifulSoup
   
3. import pandas as pd
   
4. 
   
5. #爬取数据
   
6. def request_Data(url):
   
7. 
   
8.     #创建requests对象
   
9.     req = urllib.request.Request(url)
   
10.    
    
11.     page_data_list = []
    
12.    
    
13.     with urllib.request.urlopen(req) as response:
    
14.         data = response.read()
    
15.         htmlstr = data.decode()
    
16.         L = parse_HTMLData(htmlstr)
    
17.         page_data_list.extend(L)
    
18.    
    
19.     return page_data_list
    
20. 
    
21. 
    
22. #解析数据
    
23. def parse_HTMLData(htmlstr):
    
24.    
    
25.     sp = BeautifulSoup(htmlstr,'html.parser')
    
26.    
    
27.     #获得房子信息列表
    
28.     house_list = sp.select('body > div.main-wrap > div.content-wrap > div.content-side-left  > li:nth-child')
    
29.                               
    
30.    
    
31.     #当前页中的记录列表
    
32.     page_list = []
    
33.     for house in house_list:
    
34.         #每一行数据
    
35.         rows_list = []
    
36.         
    
37.         #获得房子标题
    
38.         title = house.select('body > div.main-wrap > div.content-wrap > div.content-side-left  > li')
    
39.                            
    
40.                            
    
41.         title = (title[0].text).strip()
    
42.         rows_list.append(title)
    
43.         
    
44.         #获得房子信息
    
45.         infos = house.select('body > div.main-wrap > div.content-wrap > div.content-side-left > li > div.list-info > p')
    
46.                            
    
47.         # 获得房子户型
    
48.         house_type = (infos[0].text).strip()
    
49.         rows_list.append(house_type)
    
50.         # 获得房子面积
    
51.         house_area = (infos[2].text).strip()
    
52.         rows_list.append(house_area)
    
53.         # 获得房子朝向
    
54.         house_face = (infos[4].text).strip()
    
55.         rows_list.append(house_face)
    
56.         # 获得房子楼层
    
57.         house_floor = (infos[6].text).strip()
    
58.         rows_list.append(house_floor)
    
59.         #获得房子所在城区
    
60.         addr_dist = house.select('body > div.main-wrap > div.content-wrap > div.content-side-left > li > div.list-info > p:nth-child(3) > span > a:nth-child(2)')
    
61.                                 body > div.main-wrap > div.content-wrap > div.content-side-left > ul > li:nth-child(1) > div.list-info > p:nth-child(3) > span > a:nth-child(2)
    
62.         rows_list.append(addr_dist)
    
63.         #获得房子所在小区
    
64.         addr_name = house.select('body > div.main-wrap > div.content-wrap > div.content-side-left > li > div.list-info > p:nth-child(3) > span > a:nth-child(1)')
    
65.                                  
    
66.         addr_name = (addr_name[0].text).strip()
    
67.         rows_list.append(addr_name)
    
68.         #获得房子总价
    
69.         total_price = house.select('body > div.main-wrap > div.content-wrap > div.content-side-left > li.sendsoj.hove > div.price > p.sum > b')
    
70.                                     
    
71.         total_price = (total_price[0].text).strip()
    
72.         rows_list.append(total_price)
    
73.         #获得房子单价
    
74.         price = house.select('body > div.main-wrap > div.content-wrap > div.content-side-left > li.sendsoj.hove > div.price > p.unit')
    
75.                               
    
76.                                 
    
77.         price = (price[0].text).strip()
    
78.         rows_list.append(price)
    
79.            
    
80.         page_list.append(rows_list)
    
81.         
    
82.     return page_list
    
83.         
    
84. 
    
85. url_temp = 'http://sh.ganji.com/ershoufang/pn{}/'
    
86. 
    
87. data_list = []
    
88. 
    
89. for i in range(1,11):  #总共70页
    
90.     url = url_temp.format(i)
    
91.     print(url)
    
92.     print('+++++第{}页++++++'.format(i))
    
93.    
    
94.     try:
    
95.         L = request_Data(url)
    
96.         data_list.extend(L)
    
97.     except Exception as e:
    
98.         
    
99.         #不再循环
    
100.         print('不再有数据，结束循环')
     
101.         break
     
102.    
     
103. print(data_list)
     
104.    
     
105. #保存数据
     
106. #列名
     
107. colsname = ['标题', '户型', '面积', '朝向', '楼层', '城区', '小区名', '总价', '单价']  
     
108. 
     
109. df = pd.DataFrame(data_list, columns = colsname)  
     
110. df.to_csv('house_data.csv',index = False,encoding='gbk')

复制代码

YunGuo

一步步检查，实在不行就换xpath解析

疾风怪盗

你先不要考虑select，先考虑下有没有爬到数据，再考虑定位问题

1. print(htmlstr)

复制代码

你打印过这个没？运行了下你的代码，打印出来是显示要输入验证码，没爬到数据啊

suchocolate

1. # _*_ coding: utf-8 _*_
   
2. # Developer: suchocolate
   
3. # Date: 9/15/2020 22:14
   
4. # File name: 58tc.py
   
5. # Development tool: PyCharm
   
6. 
   
7. import requests
   
8. from lxml import etree
   
9. from openpyxl import Workbook
   
10. 
    
11. 
    
12. def main():
    
13.     wb = Workbook()
    
14.     ws = wb.active
    
15.     head = ['标题', '户型', '面积', '朝向', '楼层', '城区', '小区名', '总价（万）', '单价']
    
16.     ws.append(head)
    
17.     base_url = 'https://sh.58.com/ershoufang/pn'
    
18.     headers = {'user-agent': 'firefox'}
    
19.     for num in range(1, 11):
    
20.         url = base_url + str(num)
    
21.         r = requests.get(url, headers=headers)
    
22.         html = etree.HTML(r.text)
    
23.         result = html.xpath('//li[@class="sendsoj"]')
    
24.         for item in result:
    
25.             data = []
    
26.             title = item.xpath('./div[2]/h2/a/text()')
    
27.             data.extend(title)
    
28.             house_type = item.xpath('./div[2]/p[1]/span[1]/text()')
    
29.             data.extend(house_type)
    
30.             area = item.xpath('./div[2]/p[1]/span[2]/text()')
    
31.             data.extend(area)
    
32.             orient = item.xpath('./div[2]/p[1]/span[3]/text()')
    
33.             data.extend(orient)
    
34.             floor = item.xpath('./div[2]/p[1]/span[4]/text()')
    
35.             data.extend(floor)
    
36.             urban = item.xpath('./div[2]/p[2]/span[1]/a[2]/text()')
    
37.             data.extend(urban)
    
38.             community = item.xpath('./div[2]/p[2]/span[1]/a[1]/text()')
    
39.             data.extend(community)
    
40.             total_price = item.xpath('./div[3]/p[1]/b/text()')
    
41.             data.extend(total_price)
    
42.             uni_price = item.xpath('./div[3]/p[2]/text()')
    
43.             data.extend(uni_price)
    
44.             ws.append(data)
    
45.     wb.save('test.xlsx')
    
46. 
    
47. 
    
48. if __name__ == '__main__':
    
49.     main()

复制代码

挥舞乾坤

https://sh.58.com/ershoufang/pn1/

你换下网址试下，或者直接用requests模块，因为有302的重定向，urllib.request不知道会不会自动处理重定向，一直都用requests，requests是会自动处理重定向的