[已解决]关于爬取《豆瓣电影Top250》遇到的问题

wongyusing

基本思路：
1.先从首页获取到每部电影的link（链接），年份/地区/类型，标签。
2.从详情页获取，导演、编剧，演员、简介等信息。
3.通过判断进行翻页操作。重复第一步，第二部。

代码如下
gogo.py

1. # -*- coding: utf-8 -*-
   
2. import scrapy
   
3. from DouBanTop250.items import Doubantop250Item
   
4. from scrapy.http import Request
   
5. import re
   
6. 
   
7. class GogoSpider(scrapy.Spider):
   
8.     name = 'gogo'
   
9.     #allowed_domains = ['https://movie.douban.com/top250']
   
10.     start_urls = ['https://movie.douban.com/top250?start=0']
    
11. 
    
12.     def parse(self, response):
    
13.         #print(response.text)
    
14.         items = []
    
15.         url_list = response.xpath('//*[@id="content"]/div/div[1]/ol')#获取内容列表
    
16.         item = Doubantop250Item()
    
17.         for url in url_list:
    
18.             item['link'] = url.xpath('.//@href').extract()#电影详情页链接
    
19.             item['yead'] = url.xpath('.//div[2]/div[2]/p[1]/text()[2]').extract()#临时参数，用来获取年份/地区/类型
    
20.             item['label'] = url.xpath('.//div[2]/div[2]/p[2]/span/text()').extract() # 标签
    
21.             item['score'] = url.xpath('.//div[2]/div[2]/div/span[2]/text()').extract() # 评分
    
22.             items.append(item)
    
23.             print(item['link'],item['yead'],item['label'],item['score'])
    
24.             #yield Request(url=item['link'], meta={'item1': item}, callback=self.parse_one)
    
25. 
    
26. 
    
27.         for a in item['yead']:#把年份/地区/类型去除标签，并取出来
    
28.             year = a.strip() #去除空格
    
29.             year = year.lstrip()  # 1994 / 美国 / 犯罪 剧情
    
30.             year = year.replace(' ', '\\')  # 1995 / 香港中国大陆 / 喜剧爱情奇幻冒险
    
31.             year = year.replace('/', '')
    
32.             year = year.replace('\\', '/')
    
33.             year = year.split()  # ['1994', '美国', '犯罪/剧情']
    
34.             item['Released'] = year[0]  # 上映时间
    
35.             item['Production'] = year[1]  # 上映地区
    
36.             item['types'] = year[2]  #类型
    
37.             items.append(item)
    
38.             print(item['Released'],item['Production'],item['types'])#1994 美国 犯罪/剧情
    
39.             #yield Request(url=item['link'], meta={'item1': item}, callback=self.parse_one)
    
40.             # 问题在上面这一句，报错说，函数parse_one不能接受列表的link，只接受字符串的link
    
41. 
    
42.     def parse_one(self, response):#进入详情页获取数据
    
43.         item = Doubantop250Item()
    
44.         item2 = response.meta['item1']
    
45.         item['title'] = response.xpath('//*[@id="content"]/h1/span[1]/text()').extract()[0]  # 标题
    
46. 
    
47.         item['director'] = response.xpath('//*[@id="info"]/span[1]/span[@class="attrs"]/a/text()').extract()[0]  # 导演
    
48. 
    
49.         item['sxreenwriter'] = response.xpath('//*[@id="info"]/span[2]/span[2]/a/text()').extract()[0]  # 编剧 no
    
50. 
    
51.         req = r'<span class="pl">语言:</span> (.*?)<br/>\n '
    
52.         item['Language'] = re.findall(req, response.text, re.S)[0]  # 语言
    
53. 
    
54.         req = r'<span property="v:runtime" content=".*?">(.*?)</span>'
    
55.         item['Length'] = re.findall(req, response.text)[0]  # 片长时间/分钟
    
56. 
    
57.         req = r'<span class="pl">又名:</span> (.*?)<br/>\n  '
    
58.         item['Alias'] = re.findall(req, response.text, re.S)[0]  # 别名
    
59. 
    
60.         req = r'<span class="all hidden">(.*?)</span>|<span property="v:summary" class="">(.*?)</span>'
    
61.         item['Introduction'] = re.findall(req, response.text, re.S)  # 剧情简介
    
62.         print(item['title'],item['director'],item['sxreenwriter'],['Language'],item['Length'],item['Alias'],item['Introduction'])
    
63.         #yield item
    

复制代码

items.py

1. 
   
2. import scrapy
   
3. 
   
4. 
   
5. class Doubantop250Item(scrapy.Item):
   
6.     # define the fields for your item here like:
   
7.     # name = scrapy.Field()
   
8.     link = scrapy.Field()          # 链接
   
9. 
   
10.     title = scrapy.Field()         # 电影名
    
11. 
    
12.     director = scrapy.Field()      # 导演
    
13. 
    
14.     sxreenwriter = scrapy.Field()  # 编剧
    
15. 
    
16.     types = scrapy.Field()         # 电影类型
    
17. 
    
18.     Production = scrapy.Field()    # 制片地区
    
19. 
    
20.     Language = scrapy.Field()      # 语言
    
21. 
    
22.     Released = scrapy.Field()      # 上映时间
    
23. 
    
24.     Length = scrapy.Field()        # 片长时间/分钟
    
25. 
    
26.     Alias = scrapy.Field()         # 别名
    
27. 
    
28.     Introduction = scrapy.Field()  # 剧情简介
    
29. 
    
30.     label = scrapy.Field()         # 标签
    
31. 
    
32.     score = scrapy.Field()         # 评分
    
33. 
    
34.     yead = scrapy.Field()          # 临时参数
    
35. 
    

复制代码

问题出在把第一个函数中的link是列表，传入parse_one(self, response)时要求link是字符串。
该如何改写让link是字符串呢？？
代码下载
链接: https://pan.baidu.com/s/1QBt7InC0obPb9nW_RsX02A 密码: 847r

最佳答案

月排行榜 / 总排行榜

gopythoner

2018-4-17 10:19:49

使用循环迭代啊，把你的列表迭代成字符串不就行了

跳转到最佳答案楼层

gopythoner

使用循环迭代啊，把你的列表迭代成字符串不就行了