很多小伙伴在使用tidb时对网络磁盘，本地磁盘不了解闹出了很多乌龙。我就简单明了的讲解一下网络磁盘的原理。 硬件的三级缓存理论 从磁盘-〉内存-〉cpu。原本单机物理磁盘的访问路径…
数据迁移是指将数据从一个数据库系统移动到另一个数据库系统的过程。在进行数据迁移时，我们可以采取一些优化措施来提高数据迁移的效率和准确性。以下是一些优化数据库数据迁移学习的方法： 确…
使用EXPDP在完成数据导出之前，可以使用ESTIMATE参数评估待导出数据库对象的大小，但是estimate参数有两种选择，一种是block数据块数量的形式估算，一种是通过sta…
引言 MYSQL 可以查看一个 SQL 大概性能的命令往往都是使用 expalin , 该命令个人理解中该命令更偏向于给出 sql 在组织数据方面的操作情况, 从中大致可以看出使用…
当数据量比较大时，使用常规的方式来判重就不行了。例如，使用 MySQL 数据库判重，或使用 List.contains() 或 Set.contains() 判重就不可行，因为 M…
在很多MySQL使用场景中，随着业务的发展和技术的不断进步，MySQL数据库的数据量从最初的几百GB 增长到TB级别（这主要归因于业务规模的扩大、数据保留需求的增长以及系统设计的考…
oracle 数据库大小取决于数据量、表结构、索引和临时空间。影响因素包括：数据量：影响数据库大小的最大因素。表结构：具有复杂结构的表会更大。索引：索引可以显着增加数据库大小。临时…
导语：一家运营海外休闲游戏的公司随着其业务的发展，表的数据量大幅增加，原始的单实例MySQL在性能方面已经无法满足业务需求，因此需要寻求新的解决方案。本文主要介绍了选用OceanB…
1.背景 1.1 现状目前转转业财系统接收了上游各个业务系统（例如：订单、oms、支付、售后等系统）的数据，并将其转换为财务数据，最终输出财务相关报表和指标数据，帮助公司有效地进行…
当数据量比较大时，使用常规的方式来判重就不行了。例如，使用 MySQL 数据库判重，或使用 List.contains() 或 Set.contains() 判重就不可行，因为 M…
前言 之前有看过到mysql大数据量分页情况下性能会很差，但是没有探究过它的原因，今天讲一讲mysql大数据量下偏移量很大，性能很差的问题，并附上解决方式。 原因 将原因前我们先做…
查询分页一般要最少要执行两条 SQL 语句:SELECT COUNT(*) FROM tablename WHERE columnName = 'xx'SELECT * FROM …
上周有个童鞋问我这个问题，系统性说一下。一般来说，并发量大，吞吐量大的互联网分层架构是怎么样的？数据库上层都有一个微服务，服务层记录“业务库”与“数据库实例配置”的映射关系，通过数…
评估数据库的实际需求是一个非常重要的过程，它可以帮助我们确定数据库的规模、性能要求和功能需求，从而为项目的数据库设计和部署提供指导。在实际项目中，评估数据库的实际需求通常需要考虑以…
背景 Spark 是字节跳动内部使用广泛的计算引擎，已广泛应用于各种大规模数据处理、机器学习和大数据场景。目前中国区域内每天的任务数已经超过 150 万，每天的 Shuffle 读…
标题：利用ECharts和Java接口实现大数据量统计图表的优化摘要：在大数据时代，数据量的快速增长对数据的可视化提出了更高的要求。本文介绍了如何使用ECharts和Java接口来…
如何结合 PHP 接口和 ECharts 实现大数据量统计图的展示导言：随着互联网的快速发展和智能化的推广，数据量的增长呈现出爆炸式增长的趋势。对于大数据量的统计，传统的数据展示方…
如何制定备份策略 关于备份策略的制定，我们需要考虑以下几点因素： 备份方案：物理备份还是逻辑备份，这个可以由数据量来决定，比如：小于 100G 使用逻辑备份，大于 100G 使用物…
一个诡异的现象在进行数据结构设计时，我们通常需要考虑到相关业务的数据量等因素。比如非核心业务但数据量大并且频繁写入的表的主键，我们可能会考虑设计为Long类型。刚开始，数据量小，可…
前言 今天和大家分享一通过自己团队的能力，不依赖外部技术支持和厂商支持，完成O系数据库集群水平横向扩展的典型案例。望能给各位小伙伴对于存量数据库性能提升带来一点思路。 O系ERP系…
