[已解决]爬虫

哈岁NB

isdkz 发表于 2023-3-5 14:51
因为你当前工作目录中没有 data 这个文件夹，

sharehold_records_df.to_excel("./data/sharehold_reco ...

这行代码就是添加的这个吗？为什么要len(record) == 7呢

isdkz

哈岁NB 发表于 2023-3-5 15:33
这个不是把标签所有的内容输出了吗，如果单独想要这个标签的文本呢

css选择器只能选择到特定的元素，

如果你想要获取标签的文本就遍历每一个元素，使用 .string

哈岁NB

isdkz 发表于 2023-3-5 15:45
css选择器只能选择到特定的元素，

如果你想要获取标签的文本就遍历每一个元素，使用 .string

好的，感谢感谢

isdkz

哈岁NB 发表于 2023-3-5 15:38
这行代码就是添加的这个吗？为什么要len(record) == 7呢

这行代码是将每一行的内容添加进去，这个表格一共有6列，再加上 自己加的那一列 stock 一共7列

当有7列的时候才将它加进结果中

哈岁NB

isdkz 发表于 2023-3-5 15:48
这行代码是将每一行的内容添加进去，这个表格一共有6列，再加上 自己加的那一列 stock 一共7列

当有7 ...

明白了，感谢感谢

哈岁NB

这种和那种动态数据返回一串json字符串有什么区别呀

哈岁NB

isdkz 发表于 2023-3-5 14:05
那个是 js 动态渲染出来的，因为 requests 不会帮你自动获取静态资源（js、css）来渲染，

他只会帮你请 ...

这种和那种动态数据返回一串json字符串有什么区别呀

isdkz

哈岁NB 发表于 2023-3-6 11:52
这种和那种动态数据返回一串json字符串有什么区别呀

返回一串字符串的只是获取数据源而已，而动态渲染是根据数据源来去修改文档对象模型（dom）

将数据展示到页面上来

哈岁NB

isdkz 发表于 2023-3-6 12:02
返回一串字符串的只是获取数据源而已，而动态渲染是根据数据源来去修改文档对象模型（dom）

将数据展 ...

那动态渲染是根据数据源去修改，那我不是可以直接定位到这个数据源直接获取数据吗

isdkz

哈岁NB 发表于 2023-3-6 12:16
那动态渲染是根据数据源去修改，那我不是可以直接定位到这个数据源直接获取数据吗

确实是，它要渲染页面肯定要去数据源那里获取数据的

哈岁NB

isdkz 发表于 2023-3-6 12:24
确实是，它要渲染页面肯定要去数据源那里获取数据的

那这个数据源为什么一定位就还是首页呢，然后也获取不到，而不是像有的页面动态数据一定位就是JSON字符串呢

isdkz

哈岁NB 发表于 2023-3-6 12:33
那这个数据源为什么一定位就还是首页呢，然后也获取不到，而不是像有的页面动态数据一定位就是JSON字符串 ...

不是所有的数据返回的都是 json 的，返回 json 的一般都是有结构、有规律的数据

你要找出它渲染上去的那个是通过哪个请求获取到的

哈岁NB

isdkz 发表于 2023-3-6 12:39
不是所有的数据返回的都是 json 的，返回 json 的一般都是有结构、有规律的数据

你要找出它渲染上去的 ...

那全局搜索不是就能搜索到这个请求吗，那这个为什么一搜索除了首页那个请求就没其他请求了呢

isdkz

哈岁NB 发表于 2023-3-6 12:43
那全局搜索不是就能搜索到这个请求吗，那这个为什么一搜索除了首页那个请求就没其他请求了呢

确实可以搜到，我之前有一点没有考虑到，数据源不一定是后面通过 js 发起请求的，

也有可能它跟主页面一起返回，只不过在 js 脚本那里，后面才通过 js 脚本渲染上去

哈岁NB

isdkz 发表于 2023-3-6 12:50
确实可以搜到，我之前有一点没有考虑到，数据源不一定是后面通过 js 发起请求的，

也有可能它跟主页面 ...

明白了，感谢感谢