爬电影天堂

1556134029

跟着B站上的教程写的  请大佬们指点看看有什么不足之处

1. from lxml import etree
   
2. import requests
   
3. 
   
4. BASE_DOMAIN = "https://dytt8.net"
   
5. HEADERS = {
   
6.         'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.162 Safari/537.36'
   
7. 
   
8.     }
   
9. def get_detail_urls(url):
   
10. 
    
11.     response = requests.get(url, headers=HEADERS)
    
12.     text = response.content.decode('gbk', 'ignore')
    
13.     html = etree.HTML(text)
    
14.     detail_URLS = html.xpath("//table[@class='tbspan']//a/@href")
    
15.     detail_URLS=map(lambda url:BASE_DOMAIN+url,detail_URLS)
    
16.     return detail_URLS
    
17. 
    
18. def parse_detail_page(url):
    
19.     movie = {}
    
20.     response = requests.get(url,headers=HEADERS)
    
21.     text = response.content.decode('gbk', 'ignore')
    
22.     html = etree.HTML(text)
    
23.     title = html.xpath("//div[@class='title_all']//font[@color='#07519a']/text()")[0]
    
24.     movie['title'] = title
    
25.     zoomE = html.xpath("//div[@id='Zoom']")[0]
    
26.     imgs = zoomE.xpath(".//img/@src")
    
27.     movie['imgs'] = imgs
    
28.     def parse_info(info,rule):
    
29.         return info.replace(rule,"").strip()
    
30.     infos = zoomE.xpath(".//text()")
    
31.     for index,info in enumerate(infos):
    
32.        # print(info)
    
33.        # print(index)
    
34.        # print('='*30)
    
35.         if info.startswith("◎年　　代"):
    
36.             info = parse_info(info,"◎年　　代")
    
37.             movie['year'] = info
    
38.         elif info.startswith("◎产　　地"):
    
39.             info = parse_info(info,"◎产　　地")
    
40.             movie['country'] = info
    
41.         elif info.startswith("◎类　　别"):
    
42.             info = parse_info(info,"◎类　　别")
    
43.             movie['category'] = info
    
44.         elif info.startswith("◎豆瓣评分"):
    
45.             info = parse_info(info,"◎豆瓣评分")
    
46.             movie['douban rating'] = info
    
47.         elif info.startswith("◎片　　长"):
    
48.             info = parse_info(info,"◎片　　长")
    
49.             movie['duration'] = info
    
50.         elif info.startswith("◎导　　演"):
    
51.             info = parse_info(info,"◎导　　演")
    
52.             movie['director'] = info
    
53.         elif info.startswith("◎主　　演"):
    
54.             info = parse_info(info,"◎主　　演")
    
55.             actors = []
    
56.             for x in range(index+1,len(infos)):
    
57.                 actor = infos[x].strip()
    
58.                 if actor.startswith("◎"):
    
59.                     break
    
60.                 actors.append(actor)
    
61.             movie['actors'] = actors
    
62.         elif info.startswith("◎标　　签"):
    
63.             info = parse_info(info,"◎标　　签")
    
64.             movie['label'] = info
    
65. 
    
66.         elif info.startswith("◎简　　介"):
    
67.             info = parse_info(info, "◎简　　介")
    
68.             for x in range(index + 1, len(infos)):
    
69.                 profile = infos[x].strip()
    
70.                 if profile.startswith("【下载地址】"):
    
71.                     break
    
72.                 movie['profile'] = profile
    
73.     download_url = html.xpath("//td[@bgcolor='#fdfddf']/a/@href")
    
74.     movie['download_url'] = download_url
    
75.     return movie
    
76. def spider():
    
77.     base_url = 'https://dytt8.net/html/gndy/dyzz/list_23_{}.html'
    
78.     movies = []
    
79.     for x in range(1,8):
    
80.         #第一个for循环是来控制总共有几页的
    
81.         url = base_url.format(x)
    
82.         detail_URLS = get_detail_urls(url)
    
83.         for detail_URL in detail_URLS:
    
84.             #第二个for循环是用来遍历一夜中所用电影详情的url
    
85.             movie = parse_detail_page(detail_URL)
    
86.             movies.append(movie)
    
87.             print(movies)
    
88. 
    
89. 
    
90. if __name__ == '__main__':
    
91.     spider()

复制代码

1556134029

自占一楼
第一遍忘了return movie了返回的都是none  找了好久

叙白

给大佬捧场

1012327963

给大佬捧场

永恒的蓝色梦想

给大佬捧场

wuqramy

给大佬捧场

_荟桐_

print("给大佬捧场")

Mike_python小

育碧

拍死人

可以

永远的渣滓

666

路θ甲

厉害

疾风怪盗

给大佬捧场，学习了

曌广

给大佬捧场

reekingliu

给大佬捧场

低调男端土

极品真汉子

chenyiyun

111

小叮当来了

为啥我运行不出来呢

1556134029

小叮当来了 发表于 2021-3-24 17:23
为啥我运行不出来呢

报错显示的啥