[已解决]反扒

齐紫荆。

import requests
from bs4 import BeautifulSoup
import bs4

def getHTMLText(url):
    try:
        headers = {'User-Agent':'Mozilla/5.0',\
                   'Accept':'*/*',\
                   'Accept-Encoding':'gzip',\
                   'Accept-Language':'zh-Hans-CN',\
                   'Cha-Control':'no-cacha',\
                   'Host':'img3.doubanio.com',\
                   }
        r = requests.get(url,headers=headers)
        r.encoding = r.apparent_encoding
        r.raise_for_status
        print(r.status_code)
        return r,text
    except:
        return '爬取失败'

def fillTop(html,ulist):
    soup = BeautifulSoup(html,"html.parser")
    movie = soup.find_all('li')
    for i in movie:
        ulist.append(i.div.div.em.text)


def printMovie(ulist):
    print(ulist)




def main():
    url = "https://movie.douban.com/top250"
    html = getHTMLText(url)
    unifo = []
    fillTop(html,unifo)
    printMovie(unifo)


main()
  404了，

最佳答案

月排行榜 / 总排行榜

zltzlt

2020-4-3 18:12:32

只用加 User-Agent 就可以了

1. import requests
   
2. from bs4 import BeautifulSoup
   
3. import bs4
   
4. 
   
5. 
   
6. def getHTMLText(url):
   
7.     try:
   
8.         headers = {'User-Agent': 'Mozilla/5.0'}
   
9.         r = requests.get(url, headers=headers)
   
10.         r.encoding = r.apparent_encoding
    
11.         print(r.status_code)
    
12.         return r.text
    
13.     except Exception:
    
14.         return '爬取失败'
    
15. 
    
16. 
    
17. def fillTop(html, ulist):
    
18.     soup = BeautifulSoup(html, "html.parser")
    
19.     movie = soup.find_all('li')
    
20.     for i in movie:
    
21.         ulist.append(i.div.div.em.text)
    
22. 
    
23. 
    
24. def printMovie(ulist):
    
25.     print(ulist)
    
26. 
    
27. 
    
28. def main():
    
29.     url = "https://movie.douban.com/top250"
    
30.     html = getHTMLText(url)
    
31.     unifo = []
    
32.     fillTop(html, unifo)
    
33.     printMovie(unifo)
    
34. 
    
35. 
    
36. main()

复制代码

跳转到最佳答案楼层

admintest166

404是请求错误 就像你请求google一样 永远都是404
可能是网络原因 请求超时了 你调整一下请求超时的时间 而且这个TOP250就没有反爬

齐紫荆。

admintest166 发表于 2020-4-3 14:41
404是请求错误 就像你请求google一样 永远都是404
可能是网络原因 请求超时了 你调整一下请求超时的时间  ...

它这个直接爬返回的是418，然后我设置了表头返回的是404

zltzlt

只用加 User-Agent 就可以了

1. import requests
   
2. from bs4 import BeautifulSoup
   
3. import bs4
   
4. 
   
5. 
   
6. def getHTMLText(url):
   
7.     try:
   
8.         headers = {'User-Agent': 'Mozilla/5.0'}
   
9.         r = requests.get(url, headers=headers)
   
10.         r.encoding = r.apparent_encoding
    
11.         print(r.status_code)
    
12.         return r.text
    
13.     except Exception:
    
14.         return '爬取失败'
    
15. 
    
16. 
    
17. def fillTop(html, ulist):
    
18.     soup = BeautifulSoup(html, "html.parser")
    
19.     movie = soup.find_all('li')
    
20.     for i in movie:
    
21.         ulist.append(i.div.div.em.text)
    
22. 
    
23. 
    
24. def printMovie(ulist):
    
25.     print(ulist)
    
26. 
    
27. 
    
28. def main():
    
29.     url = "https://movie.douban.com/top250"
    
30.     html = getHTMLText(url)
    
31.     unifo = []
    
32.     fillTop(html, unifo)
    
33.     printMovie(unifo)
    
34. 
    
35. 
    
36. main()

复制代码