为什么http://www.fishc.com爬下是这样子的

qin_yin

Why?

笨鸟学飞

没代码不好告诉你为什么，我这爬取没问题

1. import requests
   
2. 
   
3. 
   
4. def geturl(url):
   
5.     headers = {
   
6.         'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3776.400 QQBrowser/10.6.4212.400'
   
7.     }
   
8.     res = requests.get(url,headers=headers)
   
9.     if res.status_code != 200:
   
10.         print('爬取异常，请检查网络后稍后重试！')
    
11.     else:
    
12.         return res
    
13. 
    
14. def main():
    
15.     url = 'https://movie.douban.com/top250'
    
16.     res = geturl(url)
    
17.     print(res.text)
    
18. 
    
19. if __name__ == '__main__':
    
20.     main()

复制代码

qin_yin

笨鸟学飞 发表于 2020-11-17 22:13
没代码不好告诉你为什么，我这爬取没问题

你这个代码我第一行报错
ModuleNotFoundError: No module named 'requests'

Lamotu

qin_yin 发表于 2020-11-17 22:27
你这个代码我第一行报错
ModuleNotFoundError: No module named 'requests'

pip install requests
你没装第三方库

笨鸟学飞

qin_yin 发表于 2020-11-17 22:27
你这个代码我第一行报错
ModuleNotFoundError: No module named 'requests'

装下模块吧，写爬虫必备的 requests模块，和BeautifulSoup模块

_荟桐_

是要爬鱼c论坛主页还是有视频的那个页面？
主页www.fishc.com.cn
打开有个视频的那个网页是www.fishc.com
这两个网址不一样，打开看看就知道了


而且爬下来的是网页的源代码，用html打开有些内容显示不了（应该把文件后缀改成txt）