Python memoryview & bytearray 的用法

一个账号

Python memoryview & bytearray 的用法

bytearray 是可变 (mutable) 的字节序列，相对于 Python2 中的 str，但 str 是不可变 (immutable) 的。

在 Python3 中由于 str 默认是 unicode 编码，所以只有通过 bytearray 才能按字节访问。

memoryview 为支持 buffer protocol[1,2] 的对象提供了按字节的内存访问接口，好处是不会有内存拷贝。

默认 str 和 bytearray 支持 buffer procotol。

下面两种行为的对比：

简单点就是，str 和 bytearray 的切片操作会产生新的切片 str 和 bytearry 并拷贝数据，使用 memoryview 之后不会。

不使用 memoryview

1. >> a = 'aaaaaa'
   
2. >> b = a[:2]    # 会产生新的字符串
   
3. 
   
4. >> a = bytearray('aaaaaa')
   
5. >> b = a[:2]    # 会产生新的 bytearray
   
6. >> b[:2] = 'bb' # 对b的改动不影响 a
   
7. >> a
   
8. bytearray(b'aaaaaa')
   
9. >> b
   
10. bytearray(b'bb')

复制代码

使用 memoryview

1. >> a = 'aaaaaa'
   
2. >> ma = memoryview(a)
   
3. >> ma.readonly  # 只读的 memoryview
   
4. True
   
5. >> mb = ma[:2]  # 不会产生新的字符串
   
6. 
   
7. >> a = bytearray('aaaaaa')
   
8. >> ma = memoryview(a)
   
9. >> ma.readonly  # 可写的memoryview
   
10. False
    
11. >> mb = ma[:2]      # 不会会产生新的 bytearray
    
12. >> mb[:2] = 'bb'    # 对 mb 的改动就是对 ma 的改动
    
13. >> mb.tobytes()
    
14. 'bb'
    
15. >> ma.tobytes()
    
16. 'bbaaaa'

复制代码

我的使用场景是网络程序中 socket 接收和接收数据的解析：

使用 memoryview 之前的 sock 接收代码简化如下

1. def read(size):
   
2. ret = ''
   
3. remain = size
   
4. while True:
   
5.     data = sock.recv(remain)
   
6.     ret += data     # 这里不断会有新的 str 对象产生
   
7.     if len(data) == remain:
   
8.         break
   
9.     remain -= len(data)
   
10. return ret

复制代码

使用 meoryview 之后，避免了不断的字符串拼接和新对象的产生

1. def read(size):
   
2.     ret = memoryview(bytearray(size))
   
3.     remain = size
   
4.     while True:
   
5.         data = sock.recv(remain)
   
6.         length = len(data)
   
7.         ret[size - remain: size - remain + length] = data
   
8.         if len(data) == remain:
   
9.             break
   
10.         remain -= len(data)
    
11.     return ret

复制代码

返回 memoryview 还有一个优点，在使用 struct 进行 unpack 解析时可以直接接收 memoryview 对象，非常高效（避免大的 str 进行分段解析时大量的切片操作）。

例如：

1.     mv = memoryview('\x00\x01\x02\x00\x00\xff...')
   
2.     type, len = struct.unpack('!BI', mv[:5])
   
3.     ...

复制代码

hrp

标题是不是少了个字母，memoryview

一个账号

hrp 发表于 2020-3-16 18:12
标题是不是少了个字母，memoryview

感谢提醒！