[已解决]爬虫

哈岁NB

大佬们，这个为什么爬取不到数据呀

1. import requests
   
2. from lxml import html
   
3. etree = html.etree
   
4. 
   
5. url = 'http://61.163.88.227:8006/hwsq.aspx?sr=0nkRxv6s9CTRMlwRgmfFF6jTpJPtAv87'
   
6. data = {'ctl00$ContentLeft$menuDate1$TextBox11': '2023-03-04'}
   
7. headers = {'User-Agent': 'Mozilla/5.0'}
   
8. resp = requests.get(url, data=data, headers=headers).text
   
9. tree = etree.HTML(resp)
   
10. title = tree.xpath('/html/body/form/div[3]/table/tbody/tr/td/table/tbody/tr/td[2]/div/table[4]/tbody/tr/td[1]/table/tbody/tr[2]/td[2]/text()')
    
11. print(title)

复制代码

最佳答案

月排行榜 / 总排行榜

isdkz

2023-3-2 22:05:28

哈岁NB 发表于 2023-3-2 20:06
那该怎么写才能获取三门峡这类数据呢

我帮你改了一下代码，有疑惑再问，之前的那些参数不全，无法获取到 ajax 的响应

要安装 texttable 这个库：

1. pip install texttable

复制代码

1. import requests
   
2. import texttable as tt
   
3. from lxml import html
   
4. from urllib.request import unquote
   
5. etree = html.etree
   
6. 
   
7. url = 'http://61.163.88.227:8006/hwsq.aspx?sr=0nkRxv6s9CTRMlwRgmfFF6jTpJPtAv87'
   
8. headers = {'User-Agent': 'Mozilla/5.0'}
   
9. data = {
   
10.     'ctl00$ContentLeft$menuDate1$TextBox11': '2023-03-04',
    
11.     '__ASYNCPOST': 'true',
    
12.     'ctl00$ScriptManager1': 'ctl00$ScriptManager1|ctl00$ContentLeft$Button1'
    
13. }
    
14. 
    
15. 
    
16. sess = requests.Session()
    
17. sess.headers = headers
    
18. resp = sess.get(url).text
    
19. tree = etree.HTML(resp)
    
20. data['__VIEWSTATE'] = tree.xpath('//*[@id="__VIEWSTATE"]/@value')[0]
    
21. data['__EVENTVALIDATION'] = tree.xpath('//*[@id="__EVENTVALIDATION"]/@value')[0]
    
22. 
    
23. 
    
24. resp = sess.post(url, data=data).text
    
25. '''
    
26. with open('tmp.html', 'w') as f:
    
27.     print(resp, file=f)
    
28. '''
    
29. 
    
30. 
    
31. tree = etree.HTML(resp)
    
32. 
    
33. # /html/body/table[4]/tbody/tr/td[1]/table/tbody/tr[2]/td[2]
    
34. tds = tree.xpath('//*[@id="ContentRight_divfff"]/table[2]/tr/td')
    
35. 
    
36. for td in tds:
    
37.     trs = td.xpath('./table/tr')
    
38.     header = trs[0].xpath('./td/text()')
    
39.     table = tt.Texttable()
    
40.     table.header(header)
    
41.     for row in trs[1:]:
    
42.         table.add_row(row.xpath('./td/text()'))
    
43.     print(table.draw())
    
44.     print()
    

复制代码

跳转到最佳答案楼层

isdkz

因为那个数据是 js 动态渲染的，你直接在审查元素那里复制的 xpath 都是渲染后的了，

而 requests 获取到的是你请求的页面的源代码，它不会帮你请求 js，css 等动态资源，

更不会去帮你渲染

哈岁NB

isdkz 发表于 2023-3-2 20:02
因为那个数据是 js 动态渲染的，你直接在审查元素那里复制的 xpath 都是渲染后的了，

而 requests 获取 ...

那该怎么写才能获取三门峡这类数据呢

isdkz

哈岁NB 发表于 2023-3-2 20:06
那该怎么写才能获取三门峡这类数据呢

我帮你改了一下代码，有疑惑再问，之前的那些参数不全，无法获取到 ajax 的响应

要安装 texttable 这个库：

1. pip install texttable

复制代码

1. import requests
   
2. import texttable as tt
   
3. from lxml import html
   
4. from urllib.request import unquote
   
5. etree = html.etree
   
6. 
   
7. url = 'http://61.163.88.227:8006/hwsq.aspx?sr=0nkRxv6s9CTRMlwRgmfFF6jTpJPtAv87'
   
8. headers = {'User-Agent': 'Mozilla/5.0'}
   
9. data = {
   
10.     'ctl00$ContentLeft$menuDate1$TextBox11': '2023-03-04',
    
11.     '__ASYNCPOST': 'true',
    
12.     'ctl00$ScriptManager1': 'ctl00$ScriptManager1|ctl00$ContentLeft$Button1'
    
13. }
    
14. 
    
15. 
    
16. sess = requests.Session()
    
17. sess.headers = headers
    
18. resp = sess.get(url).text
    
19. tree = etree.HTML(resp)
    
20. data['__VIEWSTATE'] = tree.xpath('//*[@id="__VIEWSTATE"]/@value')[0]
    
21. data['__EVENTVALIDATION'] = tree.xpath('//*[@id="__EVENTVALIDATION"]/@value')[0]
    
22. 
    
23. 
    
24. resp = sess.post(url, data=data).text
    
25. '''
    
26. with open('tmp.html', 'w') as f:
    
27.     print(resp, file=f)
    
28. '''
    
29. 
    
30. 
    
31. tree = etree.HTML(resp)
    
32. 
    
33. # /html/body/table[4]/tbody/tr/td[1]/table/tbody/tr[2]/td[2]
    
34. tds = tree.xpath('//*[@id="ContentRight_divfff"]/table[2]/tr/td')
    
35. 
    
36. for td in tds:
    
37.     trs = td.xpath('./table/tr')
    
38.     header = trs[0].xpath('./td/text()')
    
39.     table = tt.Texttable()
    
40.     table.header(header)
    
41.     for row in trs[1:]:
    
42.         table.add_row(row.xpath('./td/text()'))
    
43.     print(table.draw())
    
44.     print()
    

复制代码

哈岁NB

isdkz 发表于 2023-3-2 22:05
我帮你改了一下代码，有疑惑再问，之前的那些参数不全，无法获取到 ajax 的响应

要安装 texttable  ...

好的，感谢感谢，我研究一下