[复习笔记]---Xpath数据解析，大致介绍

Stubborn

前面的帖子已经有介绍了Request，知道如何向一个url发送GET或者POST请求了，然而，当我们得到响应体，是一个HTML体，也就是网页的源码，我们应该怎么提取自己需要的信息呢。

下面贴一个简单的Xpath使用Demo

1. # -*- coding: utf-8 -*-
   
2. # !/usr/bin/python3
   
3. """
   
4. Created 2019-9-27
   
5. @author: 1263270345@qq.com / Alex
   
6. """
   
7. # 如何使用Xpath简单demo
   
8. import requests
   
9. from lxml import etree
   
10. response = requests.get(url="https://movie.douban.com/top250").text
    
11. html = etree.HTML(response)
    
12. li_list = html.xpath('//ol[@class="grid_view"]/li')
    
13. for li in li_list:
    
14.     a_href = li.xpath("./div/div[1]/a/@href")
    
15.     img_alt = li.xpath("./div/div[1]/a/img/@alt")
    
16.     comments_number = li.xpath("./div/div[2]/div[2]/div/span[4]/text()")
    
17.     move_comment = li.xpath("./div/div[2]/div[2]/p[2]/span/text()")

复制代码

下面分享，记得结合简单Demo一起看哦

游客，如果您要查看本帖隐藏内容请回复

结语，到这里，Xpath介绍完了，渔友们可以结合前面的Request + Xpath来采集网页了。
课后练习题，有兴趣的朋友可以去练习下
        1. 腾讯招聘 数据获取
                采集网址：https://careers.tencent.com/search.html
                采集目标：职位名字 职位简介 工作职责 工作要求
                采集要求：
                        * 必须使用XPath来提取数据
                        * 数据保存到本地，最好是csv
            * 必须使用函数式的编程
       
        2. 豆瓣Top250数据提取  
                采集网址：https://movie.douban.com/top250
                采集目标：剧情简介 电影名称 电影图片 电影评分  评价人数
                采集要求：
                        * 由于这里介绍已经有代码，所以请尝试，直接xpath需要的内容，不提取li标签对
                        * 必须使用XPath来提取数据
                        * 必须使用函数式编程 尽量使用面向对象式编程
                        * 数据保存到本地，最好是csv

        3. 猫眼电影：
                采集网址：https://maoyan.com/board/4
                采集目标：电影名称 电影图片链接 主演  上映时间        电影评分
                采集要求：
                        * 必须使用XPath来提取数据
                        * 必须使用函数式编程 尽量使用面向对象式编程
                        * 数据保存到本地，最好是csv

ykn大神6

看看

kaohsing

#练习一下

1. -*- coding: UTF-8 -*-
   
2. # =================================================
   
3. #      language       ： Python3.7
   
4. #      IDLE           :  pycharm
   
5. #      Library needed ： lxml,requests
   
6. #      Date           :  09/28/2019
   
7. # =================================================
   
8. import csv, time
   
9. import requests
   
10. from lxml import etree
    
11. 
    
12. 
    
13. def get_html(url, headers):
    
14.     try:
    
15.         r = requests.get(url=url, headers=headers)
    
16.         return r.text
    
17.     except requests.ConnectionError as e:
    
18.         print('Error')
    
19. 
    
20. 
    
21. def parsed_data(content):
    
22.     movie_list = []
    
23.     et = etree.HTML(content)
    
24.     info = et.xpath("//div[@class='movie-item-info']")
    
25.     score = et.xpath("//div[contains(@class,'score-num')]/p")
    
26.     img = et.xpath("//img[@class='board-img']/@data-src")
    
27.     for e, i, j in zip(info, score, img):
    
28.         lst = [x.xpath('string(.)').strip() for x in e.xpath('./p')]
    
29.         lst.append(''.join(i.xpath('.//i/text()')))
    
30.         lst.append(j)
    
31.         movie_list.append(lst)
    
32.     return movie_list
    
33. 
    
34. 
    
35. def write2csv(lst):
    
36.     with open("result.csv", "a", newline="") as f:
    
37.         writer = csv.writer(f)
    
38.         writer.writerows(lst)
    
39. 
    
40. 
    
41. def main():
    
42.     base_url = r'https://maoyan.com/board/4?offset={}'
    
43.     ua = 'Mozilla/5.0 '
    
44.     headers = {'User-Agent': ua}
    
45.     for i in range(10):
    
46.         url = base_url.format(str(i * 10))
    
47.         write2csv(parsed_data(get_html(url, headers)))
    
48.         time.sleep(1)
    
49. 
    
50. 
    
51. if __name__ == '__main__':
    
52.     #start = time.time()
    
53.     main()
    
54.     #print( time.time()- start)

复制代码

NikoRobin

看看

XiaoPaiShen

Take a look

当年的小法师

学习一下

SweetHunter

一起加油

NikoRobin

练习一下：爬豆瓣

1. import requests
   
2. from lxml import etree
   
3. import csv
   
4. import time
   
5. 
   
6. # 获取所有页面url，存放到urls列表中
   
7. urls = []
   
8. def get_url():
   
9.     # 爬取页数最大为10
   
10.     for i in range(10):
    
11.         url = 'https://movie.douban.com/top250?start=%d' % (i*25)
    
12.         urls.append(url)
    
13. 
    
14. headers = {
    
15.     'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.157 Safari/537.36'}
    
16. 
    
17. # 提取指定数据，存放到datas和imgs列表中
    
18. datas = []
    
19. imgs = []
    
20. i = 1  # 电影序号,由开始爬取的页码决定（从第一页开始爬为1，第二页开始为26，第三页开始为51，以此类推）
    
21. def get_data():
    
22.     global i
    
23.     for url in urls:
    
24.         response = requests.get(url, headers=headers).text
    
25.         html = etree.HTML(response)
    
26.         for index in range(1, 26):
    
27.             data = []
    
28.             title = html.xpath('//ol[@class="grid_view"]/li[%d]//span[1][@class="title"]/text()' % index)[0]  # 电影标题
    
29.             try:
    
30.                 introduction = html.xpath('//ol[@class="grid_view"]/li[%d]//span[@class="inq"]/text()' % index)[0]  # 电影简介，没有简介用空字符串替代
    
31.             except:
    
32.                 introduction = ''
    
33.             rating = html.xpath('//ol[@class="grid_view"]/li[%d]//span[@class="rating_num"]/text()' % index)[0]  # 电影评分
    
34.             num = html.xpath('//ol[@class="grid_view"]/li[%d]//div[@class="star"]/span[4]/text()' % index)[0]  # 评分人数
    
35.             img_link = html.xpath('//ol[@class="grid_view"]/li[%d]//img/@src' % index)[0]  # 图片url
    
36.             img = requests.get(img_link).content
    
37.             data.extend(['No.%d'%i, title, introduction, rating, num])
    
38.             datas.append(data)
    
39.             imgs.append(img)
    
40.             print('\r已获取第 %d 条数据' % i, end='')
    
41.             i += 1
    
42.         time.sleep(3)
    
43. 
    
44. # 保存图片在当前目录下的imgs文件夹中
    
45. def save_img():
    
46.     i = 1  # 图片序号,由开始爬取的页码决定（从第一页开始爬为1，第二页开始为26，第三页开始为51，以此类推）
    
47.     for img in imgs:
    
48.         with open('imgs/%d.jpg'%i, 'wb') as f:
    
49.             f.write(img)
    
50.             print('\r已保存第 %d 张图片' % i, end='')
    
51.             i += 1
    
52. 
    
53. # 保存数据到csv文件中
    
54. def save_data():
    
55.     headers = ['排名', '电影名', '简介', '评分', '评分人数']
    
56.     with open('doubanmovietop250.csv', 'a', encoding='utf-8', newline='') as f:
    
57.         f_csv = csv.writer(f)
    
58.         f_csv.writerow(headers)
    
59.         f_csv.writerows(datas)
    
60.         print('\n已保存data')
    
61. 
    
62. def main():
    
63.     get_url()
    
64.     get_data()
    
65.     save_data()
    
66.     save_img()
    
67. 
    
68. if __name__ == '__main__':
    
69.     main()

复制代码

Tghao

学xpath的小伙伴最好装个这个插件哦

                               
登录/注册后可看大图

neon923

学习大神

芒花

围观

Y0uWill_1Will

学习

羽lovefan

谢谢大哥

luoyuxuan

kk

slhlde

Tghao 发表于 2019-10-8 12:16
学xpath的小伙伴最好装个这个插件哦

可以共享下吗？网上下载的不能用啊

1570843497

1

xiaozhang311

xiangkan

prettygirl13145

谢谢分享

youcke

呆家学习

2008ill

666