python 爬虫爬取带选项式的html中的表格。

379981309

1.问题描述：需要爬取某个html网页上的表格中的内容，但是这个表格的标题是带选项的，比如日期为8号的数据，日期为9号的数据，当选择不同的日期时，表格中的数据也会跟着改变，但是网页的页面和地址都没有发生改变。直接用xpath查找元素只能找到表的标题，里面的内容返回值都是空([]).
2.我的理解是，本身这个网页的html是空着的，只有当提交信息时（选择日期时），表格中的内容才会被返回。但是实际操作中选择日期后，没有在：检查元素-网络-XHR的页面中提交任何的请求。。。。。所以就无法设置提交的data
3.所以对于这种情况该怎么获取表格中的数据呢？
初始页面：

改变日期后：
查询页面元素：

                               
登录/注册后可看大图

response.xpath('/html/body/div[8]/div[2]/div[2]/div[2]/div/div/div/div[1]/div[2]/div[2]/div[2]/table/tbody/tr[5]/td[2]/div').extract()
返回为：【】
去掉tbody后返回值也还是为：【】

suchocolate

这是ajax，取数据时单独发送request请求。
你把你的所有代码发上来，说你要取的数据，我们先看看。

379981309

suchocolate 发表于 2020-8-27 11:55
这是ajax，取数据时单独发送request请求。
你把你的所有代码发上来，说你要取的数据，我们先看看。

谢谢大佬，我查到这个ajax的数据怎么爬了。有专业名词就好查的多了。

suchocolate

379981309 发表于 2020-8-27 12:40
谢谢大佬，我查到这个ajax的数据怎么爬了。有专业名词就好查的多了。

好，后续有什么问题继续在楼下回复，没有问题麻烦给个最佳。