[已解决]豆瓣爬虫求助！

ashlike

1. import requests
   
2. from bs4 import BeautifulSoup
   
3. 
   
4. start=0
   
5. result=[]
   
6. header={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.106 Safari/537.36'}
   
7. 
   
8. for i in range (0,1):
   
9.     html=requests.get('https://movie.douban.com/top250?start='+str(start)+'&filter=',headers=header)
   
10.    
    
11.     html.encoding='utf-8'
    
12.     start+=25
    
13.     soup=BeautifulSoup(html.text,'html.parser')
    
14. 
    
15.     for item in soup.find_all('div','info'):
    
16.         title=item.div.a.span.string
    
17.         yearline=item.find('div','bd').p.contents[2].string
    
18.         yearline=yearline.replace('\n','')
    
19.         yearline=yearline.replace(' ','')
    
20.         year=yearline[0:4]
    
21.         rating=item.find('span',{'class':'rating_num'}).get_text()
    
22. 
    
23.         oneresult=[title,rating,year]
    
24.         result.append(oneresult)
    
25.         
    
26. print(result)
    
27.         
    

复制代码

上面是别人写的爬取豆瓣电影 Top 250（https://movie.douban.com/top250）的代码
我想要把它改成用来查询 豆瓣热门电视剧的标题和评分（https://movie.douban.com/tv/#!ty ... 20&page_start=0）

1. import requests
   
2. from bs4 import BeautifulSoup
   
3. 
   
4. start=0
   
5. result=[]
   
6. header={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.106 Safari/537.36'}
   
7. 
   
8. for i in range (0,1):
   
9.     html=requests.get('https://movie.douban.com/tv/#!type=tv&tag=%E6%97%A5%E5%89%A7&sort=time&page_limit=20&page_start='+str(start),headers=header)
   
10.    
    
11.     html.encoding='utf-8'
    
12.     start+=20
    
13.     soup=BeautifulSoup(html.text,'html.parser')
    
14. 
    
15.     for item in soup.find_all('div','list-wp'):
    
16.         '不知道怎么写
    
17.         
    
18.     oneresult=[title,rating,year]
    
19.         result.append(oneresult)
    
20.         
    
21. print(result)

复制代码

但是卡在这里不知道该怎么写

最佳答案

月排行榜 / 总排行榜

1q23w31

2020-8-2 06:59:03

1. import requests
   
2. #from bs4 import BeautifulSoup   #不需要此第三方库，由于不解析网页
   
3. '''页面生成受到js控制，故只加载页面得不出数据，改为直接解析数据'''
   
4. page_start=0
   
5. result=[]
   
6. header={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.106 Safari/537.36'}
   
7. for j in range(1,3):
   
8.     html = requests.get('https://movie.douban.com/j/search_subjects?type=tv&tag=%E6%97%A5%E5%89%A7&sort=time&page_limit=20&page_start='+str(page_start),headers=header)
   
9.     data = html.json()
   
10.     for i in range (0,20):
    
11.         #html.encoding='utf-8'
    
12. 
    
13.         #soup=BeautifulSoup(html.text,'html.parser')
    
14. 
    
15.         #for item in soup.find_all('div','list-wp'):
    
16.             #print(item)
    
17.         
    
18.         #oneresult=[title,rating,year]
    
19.         #result.append(oneresult)
    
20.                   
    
21.         #获取response数据
    
22.         '''以上方法弃用'''
    
23.         if data['subjects'][i]['rate'] == '':
    
24.             data['subjects'][i]['rate'] = '暂无评分'
    
25.         print(data['subjects'][i]['rate'],data['subjects'][i]['title'])
    
26.     page_start+=20
    
27. #print(result)

复制代码

代码已修改，看注释，不懂的再说

跳转到最佳答案楼层

1q23w31

1. import requests
   
2. #from bs4 import BeautifulSoup   #不需要此第三方库，由于不解析网页
   
3. '''页面生成受到js控制，故只加载页面得不出数据，改为直接解析数据'''
   
4. page_start=0
   
5. result=[]
   
6. header={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.106 Safari/537.36'}
   
7. for j in range(1,3):
   
8.     html = requests.get('https://movie.douban.com/j/search_subjects?type=tv&tag=%E6%97%A5%E5%89%A7&sort=time&page_limit=20&page_start='+str(page_start),headers=header)
   
9.     data = html.json()
   
10.     for i in range (0,20):
    
11.         #html.encoding='utf-8'
    
12. 
    
13.         #soup=BeautifulSoup(html.text,'html.parser')
    
14. 
    
15.         #for item in soup.find_all('div','list-wp'):
    
16.             #print(item)
    
17.         
    
18.         #oneresult=[title,rating,year]
    
19.         #result.append(oneresult)
    
20.                   
    
21.         #获取response数据
    
22.         '''以上方法弃用'''
    
23.         if data['subjects'][i]['rate'] == '':
    
24.             data['subjects'][i]['rate'] = '暂无评分'
    
25.         print(data['subjects'][i]['rate'],data['subjects'][i]['title'])
    
26.     page_start+=20
    
27. #print(result)

复制代码

代码已修改，看注释，不懂的再说

ashlike

1q23w31 发表于 2020-8-2 06:59
代码已修改，看注释，不懂的再说

谢谢你，原来用html读不到数据
要用json来获取数据

1q23w31

ashlike 发表于 2020-8-2 15:32
谢谢你，原来用html读不到数据
要用json来获取数据

https://movie.douban.com/j/search_subjectstype=tv&tag=%E6%97%A5%E5%89%A7&sort=time&page_limit=20&page_start=0
这个网址不是网页的地址，而是数据的地址，不是用json读取的问题