java读取mapdb_mapdb实践

2023年 8月 13日 70.8k 0

mapdb是什么

mapdb是一个嵌入式java数据库引擎,主要提供map和set形式的数据存储,使用起来就像是在操作java本身的map,set,事实上mapdb的确实现了jdk中对应的接口,mapdb可以提供内存级别和磁盘级别的缓存,采用了fluent api,使用起来还是很方便的,底层实现部分使用了kotlin。

不同的db

mapdb提供了内存级别数据库,使用jvm堆空间

DB db = DBMaker.memoryDB().make();

直接内存数据库,使用direct memory

DB db = DBMaker.memoryDirectDB().make();

random access file数据库,使用磁盘空间

DB db = DBMaker.fileDB("/Users/cdqiushengsen/Documents/helloTreeMapDb").make()

使用mmap(memory map file)数据库,同样使用磁盘空间,但是使用了内存映射技术,进程读取数据的时候不需要陷入内核态,直接从内存映射地址找到磁盘上对应的地址,比楼上快很多

DB db = DBMaker.fileDB("/Users/cdqiushengsen/Documents/helloTreeMapDb")

.fileMmapEnableIfSupported().make()

还有一种是使用filechannel,性能介于以上两者之间

map类型

创建好数据库后可以使用treemap和hashmap,两者的区别可参考官方文档,不过官方文档目前么有给出两者的具体对比,有点尴尬。

对于hashmap,需要注意参数layout

ConcurrentMap map = db.hashMap("words")

.keySerializer(Serializer.LONG)

.valueSerializer(Serializer.STRING)

.layout(64, 64, 4)//分别表示concurrentcy,nodeSize,levels

.createOrOpen();

直接给出官方文档解释,我们在使用时需要估计大存储量,否则超过大值过后性能会下降。

对于treemap,需要注意参数valuesOutsideNodesEnable

看官方文档,一个叶子节点默认大可包含32个entry,使用get方法时会把节点下所有entry的value都反序列化,为了提高性能可以将value存储在节点之外提供性能。另外节点的大entry数可以通过maxNodeSize()方法设置,值越大,b树更浅,查找次数少,但是反序列化慢。

测试时的佳实践

分别在单线程读写和多线程读写进行操作,参数配置如下

DB db = DBMaker.fileDB("/Users/cdqiushengsen/Documents/helloTreeMapDb")

//.checksumHeaderBypass()

.fileMmapEnableIfSupported()//1

.fileMmapPreclearDisable()//2

.cleanerHackEnable()//3

.closeOnJvmShutdown()//4

.transactionEnable()//5

.concurrencyScale(128)//6

.make();

ConcurrentMap map = db.treeMap("words")

.keySerializer(Serializer.LONG)

.valueSerializer(Serializer.STRING)

.valuesOutsideNodesEnable()

.createOrOpen();

对于1,表示如果支持的话使用mmap,也就是在64为操作系统开启,32位不开启,因为太小了;

对于2,是对使用mmap的优化,官方文档说快快快

对于3,这是针对使用mmap时,jvm所出现的bug所做的处理,实际上也还有其他问题,具体可参考官方文档和http://www.mapdb.org/blog/mmap_file_and_jvm_crash/

对于4,指的是jvm正常关闭时,将会关闭数据库,但是如果使用kill -9等强制关闭措施将导致mapdb的校验和出现问题,下次打开时将出现异常,虽然可以使用checksumHeaderBypass参数规避这个问题,但是官方还是建议使用事务来保证数据的安全性

对于5,开启事务,写的速度下降,但是数据安全了

对于6,数据库内部本质还是读写锁,因此更高的并发度设置在并发写的时候可以提供写性能

其他的:使用了mmap真的比random access file快很多,值得尝试,虽然有坑!!!希望jvm早日修复mmap的bug————————————————版权声明:本文为CSDN博主「weixin_39762001」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。原文链接:https://blog.csdn.net/weixin_39762001/article/details/114844517

相关文章

Oracle如何使用授予和撤销权限的语法和示例
Awesome Project: 探索 MatrixOrigin 云原生分布式数据库
下载丨66页PDF,云和恩墨技术通讯(2024年7月刊)
社区版oceanbase安装
Oracle 导出CSV工具-sqluldr2
ETL数据集成丨快速将MySQL数据迁移至Doris数据库

发布评论