[已解决]打印不出内容

jzz1314520

1. import requests
   
2. from fake_useragent import UserAgent
   
3. 
   
4. url = 'https://movie.douban.com/top250?start=%s&filter='
   
5. ua = UserAgent()
   
6. 
   
7. req = requests.get(url,headers={'User_Agent':str(ua.random)})
   
8. # req.add_header('User_agent',ua)
   
9. response = req.text
   
10. print(response)

复制代码

代码如上，运行没有出错，但是就是打印不出内容，是有什么步骤缺失吗

最佳答案

月排行榜 / 总排行榜

疾风怪盗

2020-10-11 12:41:56

刚开始学，UA直接网页上复制一个呗

1. import requests
   
2. from bs4 import BeautifulSoup
   
3. import time
   
4. 
   
5. headers = {
   
6.     'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.163 Safari/537.36'
   
7. }
   
8. 
   
9. 
   
10. with open('豆瓣电影排行榜.txt', 'w', encoding='utf-8') as file:
    
11.     for page in range(10):
    
12.         url = 'https://movie.douban.com/top250?start={}&filter='.format(page*25)
    
13.         res = requests.get(url, headers=headers)
    
14.         soup = BeautifulSoup(res.text, 'html.parser')
    
15.         for item in soup.select('div.item'):
    
16.             tag = item.select('div.hd a')
    
17.             link = tag[0]['href']  # 地址
    
18.             name = tag[0].select('span.title')[0].text  # 影片名称
    
19.             content = item.select('div.bd p.quote span.inq')  # 简介
    
20.             score = item.select('div.bd div.star span.rating_num')[0].text  # 评分
    
21.             number_of_score = item.select('div.bd div.star')[0].text.split()[-1]  # 评价人数
    
22.             information = item.select('div.bd p')[0].text.split()  # 信息列表
    
23.             if [y for y in information if y.isdigit()]:
    
24.                 year = [y for y in information if y.isdigit()][0] + '年'  # 上映时间
    
25.             else:
    
26.                 year = '暂无数据'
    
27.             if content:  # 判断是否为None
    
28.                 content = content[0].text
    
29.             else:
    
30.                 content = '此影片尚无简介'
    
31. 
    
32.             file.write(f'影片名称:《{name}》\n')
    
33.             file.write(f'上映时间:{year}\n')
    
34.             file.write(f'影片评分:{number_of_score},得分{score}分\n')
    
35.             file.write(f'影片简介:{content}\n')
    
36.             file.write(f'影片地址:{link}\n')
    
37.             file.write('\n')
    
38. 
    
39.         print(f'第{page+1}页爬取完毕')
    
40.         time.sleep(2)
    
41.     else:
    
42.         print('done!')
    

复制代码

跳转到最佳答案楼层

wp231957

请求失败
你那个自定义函数是个什么鬼

疾风怪盗

刚开始学，UA直接网页上复制一个呗

1. import requests
   
2. from bs4 import BeautifulSoup
   
3. import time
   
4. 
   
5. headers = {
   
6.     'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.163 Safari/537.36'
   
7. }
   
8. 
   
9. 
   
10. with open('豆瓣电影排行榜.txt', 'w', encoding='utf-8') as file:
    
11.     for page in range(10):
    
12.         url = 'https://movie.douban.com/top250?start={}&filter='.format(page*25)
    
13.         res = requests.get(url, headers=headers)
    
14.         soup = BeautifulSoup(res.text, 'html.parser')
    
15.         for item in soup.select('div.item'):
    
16.             tag = item.select('div.hd a')
    
17.             link = tag[0]['href']  # 地址
    
18.             name = tag[0].select('span.title')[0].text  # 影片名称
    
19.             content = item.select('div.bd p.quote span.inq')  # 简介
    
20.             score = item.select('div.bd div.star span.rating_num')[0].text  # 评分
    
21.             number_of_score = item.select('div.bd div.star')[0].text.split()[-1]  # 评价人数
    
22.             information = item.select('div.bd p')[0].text.split()  # 信息列表
    
23.             if [y for y in information if y.isdigit()]:
    
24.                 year = [y for y in information if y.isdigit()][0] + '年'  # 上映时间
    
25.             else:
    
26.                 year = '暂无数据'
    
27.             if content:  # 判断是否为None
    
28.                 content = content[0].text
    
29.             else:
    
30.                 content = '此影片尚无简介'
    
31. 
    
32.             file.write(f'影片名称:《{name}》\n')
    
33.             file.write(f'上映时间:{year}\n')
    
34.             file.write(f'影片评分:{number_of_score},得分{score}分\n')
    
35.             file.write(f'影片简介:{content}\n')
    
36.             file.write(f'影片地址:{link}\n')
    
37.             file.write('\n')
    
38. 
    
39.         print(f'第{page+1}页爬取完毕')
    
40.         time.sleep(2)
    
41.     else:
    
42.         print('done!')
    

复制代码