adjani 发表于 2021-12-7 13:31:57

Scrapy只能爬取第一组数据

写的代码只能爬取网站第一组数据，后面的爬不了。@不二如是
代码：
import scrapy
from tutorial.items import DmozItem

class DmozSpidera(scrapy.Spider):
    name = 'dmoz'
    allowed_domains = ['dmoz-odp.org']
    start_urls = [
      'https://www.dmoz-odp.org/Computers/Programming/Languages/Python/Books/',
      'https://www.dmoz-odp.org/Computers/Programming/Languages/Python/Resources/'
      ]
    def parse(self,response):
      res = scrapy.selector.Selector(response)
      i =1
      sites = res.xpath('//*[@id="site-list-content"]')
      items = []
      for site in sites:
            item = DmozItem()
            ti = 'div[%d]/div/a/div' % i
            li = 'div[%d]/div/a' % i
            de = 'div[%d]/div/div' % i
            item['title'] = site.xpath(ti).extract()
            item['link'] = site.xpath(li).extract()
            item['desc'] = site.xpath(de).extract()
            items.append(item)
            i += 1

      return items
      



adjani 发表于 2021-12-7 20:43:21

@不二如是

adjani 发表于 2021-12-10 21:38:34

@不二如是
页: [1]
查看完整版本: Scrapy只能爬取第一组数据