[已解决]lxml库xpath方法，为什么我只能爬取一个用户id

donkeylord

import requests
from lxml import etree
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.119 Safari/537.36'}
url = 'https://www.qiushibaike.com/text/'
res = requests.get(url, headers=headers)
selectors = etree.HTML(res.text)
ids = selectors.xpath('//div[@class="article block untagged mb15 typs_long"]')
for id in ids:
    result = id.xpath('div[1]/a[2]/h2/text()')
    print(result)



我目标是爬取所有用户id名，为什么只能爬取一个用户ID

最佳答案

月排行榜 / 总排行榜

枫树霜雪

2018-2-12 17:55:13

我去了一下你爬的网站，你寻找的'//div[@class="article block untagged mb15 typs_long 只有一个，当然结果也只有一个的了

跳转到最佳答案楼层

qq1477821088

应该是xpath写错了   或者可以去掉User-Agent试一下  我之前爬这个站加User-Agent就取不到。。。

枫树霜雪

我去了一下你爬的网站，你寻找的'//div[@class="article block untagged mb15 typs_long 只有一个，当然结果也只有一个的了

donkeylord

那应该怎么写呢

枫树霜雪

donkeylord 发表于 2018-2-12 19:05
那应该怎么写呢

你想要获得是该页面所有的用户名是么