大地郡主 发表于 2020-7-21 11:19:13

爬虫最基础的东西遇到了问题，大佬

求助！
请问我在pycharm中写了小甲鱼书上的这段代码
import requests


res = requests.get("https://movie.douban.com/top250")
print(res.text)

可是pycharm什么都没有打印出来

print(res.text)
********************************
*******************************
‘*’代表空格，意思是什么都没打
请问这是怎么回事呢

Twilight6 发表于 2020-7-21 11:21:41



被反爬了呗，加个 headers 即可：

import requests

headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'}

res = requests.get("https://movie.douban.com/top250",headers=headers)
print(res.text)

xiaosi4081 发表于 2020-7-21 11:23:27

本帖最后由 xiaosi4081 于 2020-7-21 11:26 编辑

不加个ua，肯定爬不到啦：
import requests
headers = {"User-Agent":" Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.122 Safari/537.36"}

res = requests.get("https://movie.douban.com/top250",headers=headers)
print(res.text)

headers 就是请求头，如果不加请求头的话，可能没法通过服务器的检查


如果帮助到你了，记得设置最佳哈{:10_287:}

xiaosi4081 发表于 2020-7-21 11:24:11

Twilight6 发表于 2020-7-21 11:21
被反爬了呗，加个 headers 即可：

可恶，被你抢了{:10_266:}

大地郡主 发表于 2020-7-21 11:39:18

Twilight6 发表于 2020-7-21 11:21
被反爬了呗，加个 headers 即可：

谢谢您，请问您当时学爬虫时是怎样学的，我现在在书上看到的所有案例现在打出来好像都不太行{:10_247:}
请您指点一下

大地郡主 发表于 2020-7-21 11:40:03

xiaosi4081 发表于 2020-7-21 11:23
不加个ua，肯定爬不到啦：




谢谢您！
页: [1]
查看完整版本: 爬虫最基础的东西遇到了问题，大佬