网页中的二维表转成一维表

Vastsea

网页中的二维表如何用Python爬成一维表。网页文件见Desktop.zip

1. import requests
   
2. from bs4 import BeautifulSoup
   
3. url = "http://192.168.70.24/web/guest/cn/websys/status/getUnificationCounter.cgi"
   
4. req = requests.get(url)
   
5. html = req.text
   
6. bs = BeautifulSoup(html,"html.parser")

复制代码

后面不知道怎么写好了。

suchocolate

1. 
   
2. import requests
   
3. from lxml import etree
   
4. 
   
5. 
   
6. def main():
   
7.     url = 'http://192.168.70.24/web/guest/cn/websys/status/getUnificationCounter.cgi'
   
8.     r = requests.get(url)
   
9.     html = etree.HTML(r.text)
   
10.     result = html.xpath('//tbody//tbody/tr[3]//text()')
    
11.     print(result)
    
12. 
    
13. 
    
14. if __name__ == '__main__':
    
15.     main()

复制代码

Vastsea

为啥print(result)只返回“[]”

suchocolate

Vastsea 发表于 2021-10-14 14:48
为啥print(result)只返回“[]”

由于无法访问你提供的内网的网页，我只是尽力根据你提供的html来猜猜xpath路径。
你可以根据实际情况调整xpath，调整方法：
1）浏览器打开网页，右键审查元素。
2）再右键你想看的元素，弹出菜单，复制，选中xpath
3）把xpath添加到上面html.xpath()里

以下是加载你提供的html的搜索出的结果：

Vastsea

复制的Xpath 如下：/html/body/table/tbody/tr/td[3]/table[3]/tbody/tr/td[2]/table[5]/tbody

结果还是“[]”

suchocolate

Vastsea 发表于 2021-10-15 10:59
复制的Xpath 如下：/html/body/table/tbody/tr/td[3]/table[3]/tbody/tr/td[2]/table[5]/tbody

结果还是 ...

把你的代码贴一下。

Vastsea

suchocolate 发表于 2021-10-15 11:12
把你的代码贴一下。

1. import requests
   
2. from lxml import etree
   
3. 
   
4. 
   
5. def main():
   
6.     url = 'http://192.168.70.24/web/guest/cn/websys/status/getUnificationCounter.cgi'
   
7.     r = requests.get(url)
   
8.     html = etree.HTML(r.text)
   
9.     result = html.xpath('/html/body/table/tbody/tr/td[3]/table[3]/tbody/tr/td[2]/table[5]/tbody')
   
10.     print(result)
    
11. 
    
12. 
    
13. if __name__ == '__main__':
    
14.     main()

复制代码

suchocolate

1. import requests
   
2. from lxml import etree
   
3. 
   
4. 
   
5. def main():
   
6.     url = 'http://192.168.70.24/web/guest/cn/websys/status/getUnificationCounter.cgi'
   
7.     r = requests.get(url)
   
8.     with open('r.txt', 'w', encoding='utf-8') as f:
   
9.         f.write(r.text)
   
10. 
    
11. 
    
12. if __name__ == '__main__':
    
13.     main()

复制代码

生成的r.txt发我下。

Vastsea

文件存到哪儿了？
搜索都没搜到。

suchocolate

Vastsea 发表于 2021-10-15 16:12
文件存到哪儿了？
搜索都没搜到。

ipython.exe所在路径。
或者自定义路径：with open('d:/r.text', 'w') as f:

Vastsea

生成文件，见附件。谢谢！

suchocolate

Vastsea 发表于 2021-10-21 11:02
生成文件，见附件。谢谢！

1. 
   
2. import requests
   
3. from lxml import etree
   
4. 
   
5. 
   
6. def main():
   
7.     url = 'http://192.168.70.24/web/guest/cn/websys/status/getUnificationCounter.cgi'
   
8.     r = requests.get(url)
   
9.     html = etree.HTML(r.text)
   
10.     result = html.xpath('/html/body/table/tr/td[3]/table[3]//text()')
    
11.     pt = []
    
12.     for i in result:
    
13.         if ' ' not in i:
    
14.             pt.append(i)
    
15.     print(pt)
    
16. 
    
17. 
    
18. if __name__ == '__main__':
    
19.     main()

复制代码

Mrload

行列号不是顺着下来的
行是 3、5、7、9
列是5、7、8、10、11、13、14、16

Vastsea

结果是这样的，不是想要的那样。