哈岁NB 发表于 2023-3-5 15:38:32

isdkz 发表于 2023-3-5 14:51
因为你当前工作目录中没有 data 这个文件夹,

sharehold_records_df.to_excel("./data/sharehold_reco ...

这行代码就是添加的这个吗?为什么要len(record) == 7呢

isdkz 发表于 2023-3-5 15:45:15

哈岁NB 发表于 2023-3-5 15:33
这个不是把标签所有的内容输出了吗,如果单独想要这个标签的文本呢

css选择器只能选择到特定的元素,

如果你想要获取标签的文本就遍历每一个元素,使用 .string

哈岁NB 发表于 2023-3-5 15:46:59

isdkz 发表于 2023-3-5 15:45
css选择器只能选择到特定的元素,

如果你想要获取标签的文本就遍历每一个元素,使用 .string

好的,感谢感谢

isdkz 发表于 2023-3-5 15:48:28

哈岁NB 发表于 2023-3-5 15:38
这行代码就是添加的这个吗?为什么要len(record) == 7呢

这行代码是将每一行的内容添加进去,这个表格一共有6列,再加上 自己加的那一列 stock 一共7列

当有7列的时候才将它加进结果中

哈岁NB 发表于 2023-3-5 15:49:28

isdkz 发表于 2023-3-5 15:48
这行代码是将每一行的内容添加进去,这个表格一共有6列,再加上 自己加的那一列 stock 一共7列

当有7 ...

明白了,感谢感谢

哈岁NB 发表于 2023-3-5 22:24:08

这种和那种动态数据返回一串json字符串有什么区别呀

哈岁NB 发表于 2023-3-6 11:52:16

isdkz 发表于 2023-3-5 14:05
那个是 js 动态渲染出来的,因为 requests 不会帮你自动获取静态资源(js、css)来渲染,

他只会帮你请 ...


这种和那种动态数据返回一串json字符串有什么区别呀

isdkz 发表于 2023-3-6 12:02:17

哈岁NB 发表于 2023-3-6 11:52
这种和那种动态数据返回一串json字符串有什么区别呀

返回一串字符串的只是获取数据源而已,而动态渲染是根据数据源来去修改文档对象模型(dom)

将数据展示到页面上来

哈岁NB 发表于 2023-3-6 12:16:39

isdkz 发表于 2023-3-6 12:02
返回一串字符串的只是获取数据源而已,而动态渲染是根据数据源来去修改文档对象模型(dom)

将数据展 ...

那动态渲染是根据数据源去修改,那我不是可以直接定位到这个数据源直接获取数据吗

isdkz 发表于 2023-3-6 12:24:10

哈岁NB 发表于 2023-3-6 12:16
那动态渲染是根据数据源去修改,那我不是可以直接定位到这个数据源直接获取数据吗

确实是,它要渲染页面肯定要去数据源那里获取数据的

哈岁NB 发表于 2023-3-6 12:33:16

isdkz 发表于 2023-3-6 12:24
确实是,它要渲染页面肯定要去数据源那里获取数据的

那这个数据源为什么一定位就还是首页呢,然后也获取不到,而不是像有的页面动态数据一定位就是JSON字符串呢

isdkz 发表于 2023-3-6 12:39:14

哈岁NB 发表于 2023-3-6 12:33
那这个数据源为什么一定位就还是首页呢,然后也获取不到,而不是像有的页面动态数据一定位就是JSON字符串 ...

不是所有的数据返回的都是 json 的,返回 json 的一般都是有结构、有规律的数据

你要找出它渲染上去的那个是通过哪个请求获取到的

哈岁NB 发表于 2023-3-6 12:43:55

isdkz 发表于 2023-3-6 12:39
不是所有的数据返回的都是 json 的,返回 json 的一般都是有结构、有规律的数据

你要找出它渲染上去的 ...

那全局搜索不是就能搜索到这个请求吗,那这个为什么一搜索除了首页那个请求就没其他请求了呢

isdkz 发表于 2023-3-6 12:50:07

哈岁NB 发表于 2023-3-6 12:43
那全局搜索不是就能搜索到这个请求吗,那这个为什么一搜索除了首页那个请求就没其他请求了呢

确实可以搜到,我之前有一点没有考虑到,数据源不一定是后面通过 js 发起请求的,

也有可能它跟主页面一起返回,只不过在 js 脚本那里,后面才通过 js 脚本渲染上去

哈岁NB 发表于 2023-3-6 12:56:31

isdkz 发表于 2023-3-6 12:50
确实可以搜到,我之前有一点没有考虑到,数据源不一定是后面通过 js 发起请求的,

也有可能它跟主页面 ...

明白了,感谢感谢
页: 1 [2]
查看完整版本: 爬虫