网页中的二维表转成一维表

Vastsea

网页中的二维表如何用Python爬成一维表。网页文件见Desktop.zip

import requests
from bs4 import BeautifulSoup
url = "http://192.168.70.24/web/guest/cn/websys/status/getUnificationCounter.cgi"
req = requests.get(url)
html = req.text
bs = BeautifulSoup(html,"html.parser")

后面不知道怎么写好了。

suchocolate

import requests
from lxml import etree


def main():
    url = 'http://192.168.70.24/web/guest/cn/websys/status/getUnificationCounter.cgi'
    r = requests.get(url)
    html = etree.HTML(r.text)
    result = html.xpath('//tbody//tbody/tr[3]//text()')
    print(result)


if __name__ == '__main__':
    main()

Vastsea

为啥print(result)只返回“[]”

suchocolate

Vastsea 发表于 2021-10-14 14:48
为啥print(result)只返回“[]”

由于无法访问你提供的内网的网页，我只是尽力根据你提供的html来猜猜xpath路径。
你可以根据实际情况调整xpath，调整方法：
1）浏览器打开网页，右键审查元素。
2）再右键你想看的元素，弹出菜单，复制，选中xpath
3）把xpath添加到上面html.xpath()里

以下是加载你提供的html的搜索出的结果：

Vastsea

复制的Xpath 如下：/html/body/table/tbody/tr/td[3]/table[3]/tbody/tr/td[2]/table[5]/tbody

结果还是“[]”

suchocolate

Vastsea 发表于 2021-10-15 10:59
复制的Xpath 如下：/html/body/table/tbody/tr/td[3]/table[3]/tbody/tr/td[2]/table[5]/tbody

结果还是 ...

把你的代码贴一下。

Vastsea

suchocolate 发表于 2021-10-15 11:12
把你的代码贴一下。

import requests
from lxml import etree


def main():
    url = 'http://192.168.70.24/web/guest/cn/websys/status/getUnificationCounter.cgi'
    r = requests.get(url)
    html = etree.HTML(r.text)
    result = html.xpath('/html/body/table/tbody/tr/td[3]/table[3]/tbody/tr/td[2]/table[5]/tbody')
    print(result)


if __name__ == '__main__':
    main()

suchocolate

import requests
from lxml import etree


def main():
    url = 'http://192.168.70.24/web/guest/cn/websys/status/getUnificationCounter.cgi'
    r = requests.get(url)
    with open('r.txt', 'w', encoding='utf-8') as f:
        f.write(r.text)


if __name__ == '__main__':
    main()

生成的r.txt发我下。

Vastsea

文件存到哪儿了？
搜索都没搜到。

suchocolate

Vastsea 发表于 2021-10-15 16:12
文件存到哪儿了？
搜索都没搜到。

ipython.exe所在路径。
或者自定义路径：with open('d:/r.text', 'w') as f:

Vastsea

生成文件，见附件。谢谢！

suchocolate

Vastsea 发表于 2021-10-21 11:02
生成文件，见附件。谢谢！

import requests
from lxml import etree


def main():
    url = 'http://192.168.70.24/web/guest/cn/websys/status/getUnificationCounter.cgi'
    r = requests.get(url)
    html = etree.HTML(r.text)
    result = html.xpath('/html/body/table/tr/td[3]/table[3]//text()')
    pt = []
    for i in result:
        if ' ' not in i:
            pt.append(i)
    print(pt)


if __name__ == '__main__':
    main()

Mrload

行列号不是顺着下来的
行是 3、5、7、9
列是5、7、8、10、11、13、14、16

Vastsea

结果是这样的，不是想要的那样。