鱼C论坛

 找回密码
 立即注册
查看: 2131|回复: 1

scrapy框架爬取百度贴吧 xpath没错为什么爬出来啥也没有

[复制链接]
发表于 2021-5-31 16:39:51 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
import scrapy
from baidutieba.items import BaidutiebaItem

class Baidutieba1Spider(scrapy.Spider):
    name = 'baidutieba1'
    #allowed_domains = ['www.baidu.com']
    start_urls = ['https://tieba.baidu.com/f?kw=python&ie=utf-8&pn=0']

    def parse(self,response):
        #分组
        tr_list = response.xpath('//div[@id="pagelet_frs-list/pagelet/thread_list"]//li')
        for tr in tr_list:
            item = BaidutiebaItem()
            item["title"] = tr.xpath('./div/div[2]/div[1]/div[1]/a/text()').extract_first()
            item['href'] = tr.xpath('./div/div[2]/div[1]/div[1]/a/@href').extract_first()
            item['publish_date'] = tr.xpath('./div/div[2]/div[2]/div[2]/span[1]/a').extract_first()

            yield scrapy.Request(
                item["href"],
                callback=self.patse_detail,
                meta = {"item":item}
            )

    def patse_detail(self,response):
        item = response.meta["item"]
        print(item)
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2021-6-23 15:43:07 | 显示全部楼层
网页内容有语法错误导致虽然浏览器可以识别bs4却无法定位。
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2025-1-15 06:59

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表