Boltons 使用的是 BSD 许可证,到目前为止已经收录 超过230个 的纯 Python实用工具库,这些工具库与 Python 标准库并没有重合,是补充的关系,包括:
- cacheutils 工具集:用于管理缓存,提供 LRU 和 LRI 等缓存方式
- debugutils 工具库:用于调试实用程序
- dictutils 工具库:映射类型(OMD)
- ecoutils 工具库:生态系统分析
- fileutils工具库:文件系统帮助器,提供原子文件保存等功能
- formatutils 工具库:str.format() 工具箱
- funcutils 工具库:functools 修正
- gcutils 工具库:垃圾收集工具
- ioutils 工具库:增强输入/输出功能
- iterutils 工具库:itertools 改进
- jsonutils 工具库:JSON交互
- listutils 工具库:list 衍生物
- mathutils 工具库:提供数学函数的支持
- mboxutils 工具库:Unix邮箱实用程序
- namedutils 工具库:提供两种轻量级容器类型
- pathutils 工具库:提供处理文件路径的函数
- queueutils 工具库:优先级队列,目前提供基于堆及基于排序列表两种队列实现
- setutils 工具库:IndexedSet 类型
- socketutils 工具库:socket 包装纸
- statsutils 工具库:统计基本面
- strutils 工具库:文本操作,涉及到方方面面,有非常多的工具函数
- tableutils 工具库:2D数据结构
- tbutils 工具库:回溯跟踪和调用堆栈,丰富的Tracebackinfo类实现了栈追踪
- timeutils 工具库:增加 datetime 对象处理能力
- typeutils 工具库:类型处理
- urlutils 工具库:结构化URL,方便对 URL 进行处理
# 1. 如何安装
安装只需要一条命令
pip install boltons
# 2. 实用范例
Boltons 的工具库函数非常多,不能一一举例,本文只摘取一些明哥认为经典的工具做为演示
遍历日期
在 timeutils 工具库中有一个 daterange 可以对日期进行遍历,省去自己手动构造日期
>>> from datetime import date
>>> from boltons.timeutils import daterange
>>>
>>> christmas = date(year=2022, month=12, day=25)
>>> new_year = date(year=2023, month=1, day=1)
>>> for day in daterange(christmas, new_year):
... print(repr(day))
...
datetime.date(2022, 12, 25)
datetime.date(2022, 12, 26)
datetime.date(2022, 12, 27)
datetime.date(2022, 12, 28)
datetime.date(2022, 12, 29)
datetime.date(2022, 12, 30)
datetime.date(2022, 12, 31)
当然,你也可以指定遍历的间隔
>>> for day in daterange(date(2017, 5, 1), date(2017, 8, 1),
... step=(0, 1, 0), inclusive=True):
... print(repr(day))
...
datetime.date(2017, 5, 1)
datetime.date(2017, 6, 1)
datetime.date(2017, 7, 1)
datetime.date(2017, 8, 1)
其中参数的意义是:
- step (int):元组 (year, month, day) 。
- inclusive (bool) :是否包含 stop 的日期
范围转具体
在 libvirt 里的 xml 上的 CPU 上通常都是这样表示的
如何将这种格式(emulatorpin 里的 cpuset)的范围,直接转成具体包含了哪些核呢?
使用 boltons 的 strutils 工具包的一个函数立马搞定
>>> from boltons.strutils import parse_int_list
>>>
>>> parse_int_list('0,7,21-22,48,55,69-70')
[0, 7, 21, 22, 48, 55, 69, 70]
递归映射
iterutils 工具包里提供一个 remap 函数,可用于遍历和转换嵌套结构。
如下面这个例子,将删除所有 value = None 的元素
>>> from pprint import pprint
>>>
>>> reviews = {'Star Trek': {'TNG': 10, 'DS9': 8.5, 'ENT': None},
... 'Babylon 5': 6, 'Dr. Who': None}
>>>
>>>
>>> from boltons.iterutils import remap
>>>
>>> pprint(remap(reviews, lambda p, k, v: v is not None))
{'Babylon 5': 6, 'Star Trek': {'DS9': 8.5, 'TNG': 10}}
与 remap 相似的函数还有一个 research,可用于递归匹配查找
假设有如下一个字典
root = {'a': {'b': 1, 'c': (2, 'd', 3)}, 'e': None}
此时我想找出所有 value 为整数的的项,可以这样子实现
>>> from boltons.iterutils import research
>>>
>>> res = research(root, query=lambda p, k, v: isinstance(v, int))
>>> print(sorted(res))
[(('a', 'b'), 1), (('a', 'c', 0), 2), (('a', 'c', 2), 3)]
流式读取多文件
如果你有多个文件需要连接起来处理,可以使用 ioutils 工具包里的 MultiFileReader
>>> from boltons.ioutils import MultiFileReader, BytesIO
>>>
>>> mfr = MultiFileReader(BytesIO(b'ab'), BytesIO(b'cd'), BytesIO(b'e'))
>>> mfr.read(3).decode('ascii')
'abc'
创建多级目录
Linux 上可以使用 mkdir -p
命令来创建多级目录,但若使用 Python 来实现这个功能其实是非常麻烦的,如果不断的判断,一级一级往下去创建
而在 boltons 上的 fileutils 工具包提供的 mkdir_p 函数,可以达到 Linux 上 mkdir -p
丝滑体验
>>> from boltons.fileutils import mkdir_p
>>>
>>> mkdir_p("/home/foo/bar/test")
URL结构处理
一个 URL 由下面结构组成
foo://user:pass@example.com:8042/over/there?name=ferret#nose
_/ _______/ _________/ __/_________/ _________/ __/
| | | | | | |
scheme userinfo host port path query fragment
当我想从 URL 中解析获取部分内容时,就要对该字符串进行正则匹配。
若使用 boltons 中的 urlutils 工具库 中的 URL 类,可以很方便对获取任何 url 构成
>>> from boltons.urlutils import URL
>>>
>>> url = URL('foo://example.com:8042/over/there?name=ferret#nose')
>>> print(url.host)
example.com
>>>
>>> print(url.port)
8042
>>>
>>> print(url.path)
/over/there
>>>
>>> print(url.query_params)
QueryParamDict([('name', 'ferret')])
# 3. 写在最后
Boltons 是纯Python,如果你不想引入 Boltons 巨大的工具箱时,也不用担心,每个模块都是独立的,没有依赖关系,可以直接复制到项目中使用