[已解决]xpath

萧易天

运行这段代码没有返回值

1. import requests
   
2. import parsel
   
3. # 1、 分析目标网页。确定爬取的url路径，header参数
   
4. base_url = 'https://tieba.baidu.com/f?kw=%E7%A7%A6%E6%97%B6%E6%98%8E%E6%9C%88&ie=utf-8&pn=50'
   
5. header = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.120 Safari/537.36'}
   
6. # 2、发送请求 --requests
   
7. response = requests.get(base_url, headers=header)
   
8. html_str = response.text
   
9. #print(html_str)
   
10. # 3、 解析数据 --parsel 转化为selector对象
    
11. # 转化数据类型
    
12. html = parsel.Selector(html_str)
    
13. #print(html)
    
14. # 数据解析
    
15. title_url = html.xpath('//div[@class="threadlist_lz clearfix"]/div/a/@href').extract()
    
16. print(title_url)

复制代码

最佳答案

月排行榜 / 总排行榜

suchocolate

2020-4-16 11:23:17

你换换User-agent试试。
我这没有parsel包，用的lxml。
然后我换了UA，可以爬到数据。

1. import requests
   
2. from lxml import etree
   
3. 
   
4. base_url = 'https://tieba.baidu.com/f?kw=%E7%A7%A6%E6%97%B6%E6%98%8E%E6%9C%88&ie=utf-8&pn=50'
   
5. headers = {'User-Agent': 'firefox'}
   
6. r = requests.get(base_url, headers=headers)
   
7. html = etree.HTML(r.text)
   
8. result = html.xpath('//div[@class="threadlist_lz clearfix"]/div/a/@href')
   
9. print(result)

复制代码

跳转到最佳答案楼层

_2_

第 13 行的代码注释掉了，所以没有输出
第 16 行的话，应该是解析之后为空(None)，所以没有输出(这个我不太确定)

suchocolate

你换换User-agent试试。
我这没有parsel包，用的lxml。
然后我换了UA，可以爬到数据。

1. import requests
   
2. from lxml import etree
   
3. 
   
4. base_url = 'https://tieba.baidu.com/f?kw=%E7%A7%A6%E6%97%B6%E6%98%8E%E6%9C%88&ie=utf-8&pn=50'
   
5. headers = {'User-Agent': 'firefox'}
   
6. r = requests.get(base_url, headers=headers)
   
7. html = etree.HTML(r.text)
   
8. result = html.xpath('//div[@class="threadlist_lz clearfix"]/div/a/@href')
   
9. print(result)

复制代码