一文详解 OceanBase 并行执行引擎实现摘要:本文整理自OceanBase TechTalk第四期杭州站由蚂蚁金服OB团队技术专家余璜(花名:晓楚)的演讲,本文将带读者深入了解OceanBase 2.0的并行执行框架。Tips:您可以关注“OceanBase”公众号回复“0512”获取现场PPT 背景介绍 OceanBase 在公司内外越来越多的场景落地,需求也开始多样化。客户不仅希望 OceanBase 提供优异的 OLTP 能力,还 数据运维 2024-05-07 共饮一杯
OceanBase 执行引擎的自适应技术最近在学习《OceanBase 数据库源码解析》这本书,发现其中介绍执行器的内容相对比较少,主要都集中在讲解执行器的并行执行。因此今天想通过这篇文章,给大家简单聊一聊 OceanBase 执行器几种常见的自适应技术,算是作为执行器部分的一个补充吧。 AP 性能提升面临的挑战 数据库如果想要提升 AP 的性能,主要面临着三个方面的问题: 最首要的就是优化器的估计不能一直保证绝对准确。这里面有很复杂的 数据运维 2024-05-07 泡泡
OceanBase 并行执行学习笔记 1 —— 并行执行概念From 晓楚: 这是一篇迟来的并行执行系统化产品说明文档。 自 2019 年以来,并行执行功能被快速应用于各个场景,其重要性一步步提升。 但是,一直以来,缺少一份详尽的用户使用文档,这给业务团队使用并行执行功能带来很多困难。今天,我们要解决这个困难。 并行执行是让单个 SQL 语句使用多个 CPU 和 I/O 资源的能 数据运维 2024-05-07 泡泡
OceanBase 并行执行学习笔记 2 —— 设定并行度并行度(degree of parallelism,简称 DOP)指的是单个 DFO 在执行时使用的工作线程数。并行执行的设计目的就是为了高效利用多核资源。OceanBase 并行执行框架提供了多种方式指定并行度,既可以手工指定,也可以利用 Auto DOP 的能力让数据库帮你自动选择。本篇博客主要介绍如何通过手工来指定并行度。 并行执行系列的内容分为以下七篇博客,本篇是其中的第二篇。 第一篇 并 数据运维 2024-05-07 共饮一杯
OceanBase 并行执行学习笔记 3 —— 并发控制与排队在一定场景下,并行查询会因为等待线程资源而排队,本篇博客就来简单介绍一下并行执行线程资源的管理方式。 并行执行系列的内容分为以下七篇博客,本篇是其中的第三篇。 第一篇 并行执行概念 第二篇 设定并行度 第三篇 并发控制与排队 第四篇 并行执行分类 第五篇 并行执行控制参数 第六篇 并行执行诊断及调优技巧 第七篇 并行执行 PoC QuickStart 3.1 并行执行并发控制 我们通过租户级变量 数据运维 2024-05-07 共饮一杯
OceanBase 并行执行学习笔记 4 —— 并行执行分类OceanBase 支持多种语句的并行,本篇博客将会安装并行执行的不同类别,分别介绍:并行查询、并行 DML、并行 DDL、并行 LOAD DATA。 并行执行系列的内容分为以下七篇博客,本篇是其中的第四篇。 第一篇 并行执行概念 第二篇 设定并行度 第三篇 并发控制与排队 第四篇 并行执行分类 第五篇 并行执行控制参数 第六篇 并行执行诊断及调优技巧 第七篇 并行执行 PoC QuickStar 数据运维 2024-05-07 大树
OceanBase 并行执行学习笔记 5 —— 并行执行控制参数OceanBase 提供了一组参数来控制并行执行的初始化和调优。在 OceanBase 启动时,可以根据租户的 CPU 数量和租户配置项 px_workers_per_cpu_quota 计算出默认并行执行控制参数。用户也可以不使用默认值,在启动时手工指定参数值,还可以根据实际场景在后期手工增加或减小参数值。并行执行功能默认是开启的。 这篇博客 数据运维 2024-05-07 剑圣无痕
OceanBase 并行执行学习笔记 6 —— 并行执行诊断及调优技巧诊断并行执行问题,可以从两个大的方面入手。首先从系统整体上判断,比如确认网络、磁盘 IO、CPU 是不是被打满;然后从具体 SQL 着手,找到问题 SQL 在哪里,它的内部状态如何。 并行执行系列的内容分为以下七篇博客,本篇是其中的第六篇。 第一篇 并行执行概念 第二篇 设定并行度 第三篇 并发控制与排队 第四篇 并行执行分类 第五篇 并行执行控制参数 第六篇 并行执行诊断及调优技巧 第七篇 并行 数据运维 2024-05-07 剑圣无痕
OceanBase 并行执行学习笔记 7 —— 并行执行 PoC QuickStart并行执行是一个复杂的主题,需要经过一段时间的学习,才能准确把握,将并行执行的威力发挥到最大。为了让新手同学快速上手并行执行,提供本 Quick Start,适用于 3.1 及以上任意版本的 OceanBase。这里提供的参数不是最优的,但是可以避免绝大多数 bad case。 并行执行系列的内容分为以下七篇博客,本篇是最后一篇。 第一篇 并行执行概念 第二篇 设定并行度 第三篇 并发控制与排队 第 数据运维 2024-05-07 捡田螺的小男孩
PHP 函数并行执行优化策略php 中可以通过以下策略优化函数并行执行:使用多进程 (pcntl_fork)使用多线程 (pthread)使用 php 扩展(例如 parallel、amphp)通过应用这些策略,可以显著提升计算密集型任务的性能,例如在并行扩展中通过任务池调度任务并等待完成。 PHP 函数并行执行优化策略 在 PHP 中,并行执行函数可以大幅提高性能,尤其是对于计算密集型任务。本文将介绍常见的并行执行策略,并 开发运维 2024-04-12 泡泡