mapdb是什么
mapdb是一个嵌入式java数据库引擎,主要提供map和set形式的数据存储,使用起来就像是在操作java本身的map,set,事实上mapdb的确实现了jdk中对应的接口,mapdb可以提供内存级别和磁盘级别的缓存,采用了fluent api,使用起来还是很方便的,底层实现部分使用了kotlin。
不同的db
mapdb提供了内存级别数据库,使用jvm堆空间
DB db = DBMaker.memoryDB().make();
直接内存数据库,使用direct memory
DB db = DBMaker.memoryDirectDB().make();
random access file数据库,使用磁盘空间
DB db = DBMaker.fileDB("/Users/cdqiushengsen/Documents/helloTreeMapDb").make()
使用mmap(memory map file)数据库,同样使用磁盘空间,但是使用了内存映射技术,进程读取数据的时候不需要陷入内核态,直接从内存映射地址找到磁盘上对应的地址,比楼上快很多
DB db = DBMaker.fileDB("/Users/cdqiushengsen/Documents/helloTreeMapDb")
.fileMmapEnableIfSupported().make()
还有一种是使用filechannel,性能介于以上两者之间
map类型
创建好数据库后可以使用treemap和hashmap,两者的区别可参考官方文档,不过官方文档目前么有给出两者的具体对比,有点尴尬。
对于hashmap,需要注意参数layout
ConcurrentMap map = db.hashMap("words")
.keySerializer(Serializer.LONG)
.valueSerializer(Serializer.STRING)
.layout(64, 64, 4)//分别表示concurrentcy,nodeSize,levels
.createOrOpen();
直接给出官方文档解释,我们在使用时需要估计大存储量,否则超过大值过后性能会下降。
对于treemap,需要注意参数valuesOutsideNodesEnable
看官方文档,一个叶子节点默认大可包含32个entry,使用get方法时会把节点下所有entry的value都反序列化,为了提高性能可以将value存储在节点之外提供性能。另外节点的大entry数可以通过maxNodeSize()方法设置,值越大,b树更浅,查找次数少,但是反序列化慢。
测试时的佳实践
分别在单线程读写和多线程读写进行操作,参数配置如下
DB db = DBMaker.fileDB("/Users/cdqiushengsen/Documents/helloTreeMapDb")
//.checksumHeaderBypass()
.fileMmapEnableIfSupported()//1
.fileMmapPreclearDisable()//2
.cleanerHackEnable()//3
.closeOnJvmShutdown()//4
.transactionEnable()//5
.concurrencyScale(128)//6
.make();
ConcurrentMap map = db.treeMap("words")
.keySerializer(Serializer.LONG)
.valueSerializer(Serializer.STRING)
.valuesOutsideNodesEnable()
.createOrOpen();
对于1,表示如果支持的话使用mmap,也就是在64为操作系统开启,32位不开启,因为太小了;
对于2,是对使用mmap的优化,官方文档说快快快
对于3,这是针对使用mmap时,jvm所出现的bug所做的处理,实际上也还有其他问题,具体可参考官方文档和http://www.mapdb.org/blog/mmap_file_and_jvm_crash/
对于4,指的是jvm正常关闭时,将会关闭数据库,但是如果使用kill -9等强制关闭措施将导致mapdb的校验和出现问题,下次打开时将出现异常,虽然可以使用checksumHeaderBypass参数规避这个问题,但是官方还是建议使用事务来保证数据的安全性
对于5,开启事务,写的速度下降,但是数据安全了
对于6,数据库内部本质还是读写锁,因此更高的并发度设置在并发写的时候可以提供写性能
其他的:使用了mmap真的比random access file快很多,值得尝试,虽然有坑!!!希望jvm早日修复mmap的bug————————————————版权声明:本文为CSDN博主「weixin_39762001」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。原文链接:https://blog.csdn.net/weixin_39762001/article/details/114844517