用xpath怎么提取百度新闻的标题，beautifulSoup知道了

boyy

1. import urllib.request
   
2. import urllib.parse
   
3. from lxml import etree
   
4. from bs4 import BeautifulSoup
   
5. url="http://news.baidu.com/ns?word=title%3A%28%E5%B9%B3%E5%AE%89%29&pn=0&cl=2&ct=1&tn=newstitle&rn=20&ie=utf-8&bt=0&et=0"
   
6. res=urllib.request.Request(url)
   
7. res.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.104 Safari/537.36 Core/1.53.3368.400 QQBrowser/9.6.11974.400')
   
8. response=urllib.request.urlopen(res).read()
   
9. soup=BeautifulSoup(response,'html.parser')
   
10. soup_list=soup.find_all('div',class_="result title")
    
11. for eat in soup_list:
    
12.     title=eat.select('a')[0].get_text()
    
13.     link=eat.a.get("href")
    
14.     ti=eat.select('div')[0].get_text().split()[1]
    
15.     print("%s\n%s\n%s\n\n"%(title,link,ti))

复制代码

这是用BeautifulSoup提取的效果

BeautifulSoup

用xpath的text()提出的是一节一节的不完整，内容一段在em节点内，一段在a节点内

yaoyaozhe

h3[@class="c-title"]/a/text()

blue18

为啥没有import lxml import etree 也可以?

payton24

blue18 发表于 2017-10-30 20:28
为啥没有import lxml import etree 也可以?

1. import urllib.parse
   
2. from lxml import etree

复制代码

不运行xpath的话，这两行可以去掉。

payton24

yaoyaozhe 发表于 2017-9-27 16:17
h3[@class="c-title"]/a/text()

这样提取出来的数据会少了关键字哦。

payton24

捣鼓了一下，终于弄懂了。可以看看：

1. from lxml import etree
   
2. import urllib.request
   
3. url="http://news.baidu.com/ns?word=title%3A%28%E5%B9%B3%E5%AE%89%29&pn=0&cl=2&ct=1&tn=newstitle&rn=20&ie=utf-8&bt=0&et=0"
   
4. res=urllib.request.Request(url)
   
5. res.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.104 Safari/537.36 Core/1.53.3368.400 QQBrowser/9.6.11974.400')
   
6. response=urllib.request.urlopen(res).read()
   
7. html = etree.HTML(response)
   
8. result_list = html.xpath('//h3[@class="c-title"]/a')
   
9. link = html.xpath('//h3[@class="c-title"]/a/@href')
   
10. ti = html.xpath('//div/text()')
    
11. 
    
12. num = 0
    
13. for i in result_list:   
    
14.     print(i.xpath('string(.)'))
    
15.     print(link[num])
    
16.     print(ti[num*2+1].replace('\n','').replace(' ',''),'\n')   
    
17.     num += 1

复制代码

在原有基础上，增加了新闻的来源。
其中一条新闻的格式为：

1. 兰州市城关区首个智慧平安社区试点启动
   
2. http://gansu.gscn.com.cn/system/2017/12/24/011876177.shtml
   
3. 中国甘肃网  12小时前

复制代码

boyy

payton24 发表于 2017-12-24 22:49
捣鼓了一下，终于弄懂了。可以看看：

这个之前已近弄出来了，丑

payton24

boyy 发表于 2017-12-30 00:11
这个之前已近弄出来了，丑

厉害厉害，都开始有界面了。我还得加把劲追赶上来啊