[已解决]爬虫问题

slhlde

import requests
from lxml import etree
headers={"User-Agent":
             "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36"}
url='https://www.qiushibaike.com/text/'
res=requests.get(url,headers=headers)
selector=etree.HTML(res.text)
url_infos=selector.xpath('//div[@class="article block untagged mb15"]')
for url_info in url_infos:
    id=url_info.xpath('div[1]/a[2]/h2/text()')[0]
print(id)

这是书上的源码
运行了 显示<built-in function id>

.xpath('//div[@class="article block untagged mb15"]') 这个我保持怀疑  因为我看了   后面 还有 typs_long 或者 typs_hot
那么是不是要加上去？？？变成：('//div[@class="article block untagged mb15 typs_long"]')

最佳答案

月排行榜 / 总排行榜

mongoole

2018-8-3 10:40:21

你要是爬取内容~~
诺~

1. url_infos=selector.xpath('//div[@class="content"]/span[1]/text()')
   
2. # print(url_infos)
   
3. 
   
4. for url_info in url_infos:
   
5.     print(url_info)

复制代码

跳转到最佳答案楼层

1041288269

//div[@class="article block untagged mb15 typs_hot"]/a/@href

1041288269

//div[@class="article block untagged mb15 typs_hot"]/a/@href

slhlde

1041288269 发表于 2018-7-31 01:09
//div[@class="article block untagged mb15 typs_hot"]/a/@href

加/a我可以理解 但是加@href 不理解什么意思 难道不是加/span???


谢谢您的回复
期待新的回复。

luckin

建议用BeautifulSoup

wei_Y

id是内置函数，你的xpath并没有取到数据，所以url_info为空。

slhlde

wei_Y 发表于 2018-8-2 19:27
id是内置函数，你的xpath并没有取到数据，所以url_info为空。

喔喔 谢谢您的回复 那该怎么解决呢？

mongoole

你要是爬取内容~~
诺~

1. url_infos=selector.xpath('//div[@class="content"]/span[1]/text()')
   
2. # print(url_infos)
   
3. 
   
4. for url_info in url_infos:
   
5.     print(url_info)

复制代码

slhlde

mongoole 发表于 2018-8-3 10:40
你要是爬取内容~~
诺~

谢谢层主  代码前面的行号怎么设置？？就是你回复的代码格式怎么设置