zyj1214 发表于 2023-11-15 19:21:21

有哪些网站允许用python爬取数据？

最好给个链接！

isdkz 发表于 2023-11-15 19:21:32

有一些网站允许使用Python进行数据爬取，这些网站通常提供了API或者开放了数据接口供开发者使用。其中一些常用的包括：

1. Twitter：Twitter提供了API供开发者获取用户信息、推文等数据。你可以访问 https://developer.twitter.com/en/docs 开始使用Twitter API。

2. GitHub：GitHub提供了API供开发者获取仓库、用户信息等数据。你可以访问 https://developer.github.com/v3/ 开始使用GitHub API。

3. Reddit：Reddit提供了API供开发者获取帖子、评论等数据。你可以访问 https://www.reddit.com/dev/api/ 开始使用Reddit API。

需要注意的是，在使用这些API时，你需要遵守相关网站的使用条款和规定，确保你的爬取行为合法且符合网站的规定。

小甲鱼 发表于 2023-11-15 19:35:19

爬取网站数据需要遵守网站的 robots.txt 规则和相关法律。一些网站提供了公开的 ，可以使用 Python 或其他语言来获取数据。

练习站点推荐 -> https://scrape.center/

非常不错，上面各种案例的 Demo 都有~


页: [1]
查看完整版本: 有哪些网站允许用python爬取数据？