哈喽，我是子牙，一个很卷的硬核男人
最近这段时间一直在备课Linux内核的内存模块，每每研究完一小块知识点，我就发自内心的感叹：太复杂了！但是就是这个只要研究过Linux内核内存都会感叹复杂的玩意，已存在了30多年（从Linux2.3引入，时间大概是1999年），可想而知这套内存模块设计的有多优秀！
我也问了下ChatGPT，这30多年来，这座当今科技世界的地基Linux内核的核心：内存模块，经历了哪些变化。
图片
看完了我久久不能平静！不是激动，是愁哇：这么复杂的玩意，我怎么教别人才能听得懂消化得了呢？早上突发奇想：不如换个思维，如果我们来设计Linux内核内存模块，我们会怎么去做呢？将自己代入，去了解大师的杰作，应该会有意想不到的效果吧！
OK，起笔，成文。愿你enjoy
一、内存管理算法
我问了下ChatGPT：历史上存在的管理大块内存的算法有哪些，它给的答案：
图片
先说内存池，这个是离大家最近的。如果你研究过底层项目如Java虚拟机、Python虚拟机、Redis、MySQL……里面一定会用到内存池，可以减少对OS内存的申请与释放，提升性能。通过垃圾回收线程回收内存或者完成内存规整，减少内存碎片。不过这个算法是依托OS内存实现的，我们如果要实现OS，这个用不了。
456提到的段页，是硬件层面提供的，即CPU层面的段机制与页机制，很早以前是通过段页来管理大块内存，因为那时候内存不大，自32位CPU以后，就不再使用这几种方式管理内存了。想研究明白的小伙伴可自行研究或者学习我的手写OS课程，里面有教。
位图跟链表，在不考虑非常复杂的场景的情况下，其实是最好的选择。我着重讲讲位图，我自己写的OS就是使用的位图，对链表感兴趣的自行研究。
图片
位图的核心思想是：一个比特映射一个4K物理页，一个比特两个值：0跟1，如果这个4K页是空闲的，对应的比特位置0，如果这个4K页分配出去了，这个比特位置为1。
图片
如果位图十全十美，就没有伙伴系统算法存在的必要了，那位图的缺陷是什么呢？这就要说到，优秀的内存管理算法的职责是什么：大块内存环境下，可以高效的分配内存；内存不够的时候，支持异步回收；内存极度紧张的时候，支持同步回收；支持内存规整，合并内存碎片；还有留有扩展余地，支持硬件的不断更新，比如当前内存条的热插拔……
来看看位图的优缺点：
图片
那Linux内核中有没有用位图呢？用了！在伙伴算法未完成初始化之前，一直用的是位图。即在未执行完paging_init函数前，使用的是bootmem分配器，它的底层就是位图。
接下来咱们就讲今天的重头戏：伙伴系统+Slab分配器。
二、页帧（page frame）
Linux内核中对内存的控制，除了实现了硬件层面的，还有软件层面的。硬件层面的，控制位在实现页表的时候就已经实现了。
图片
那软件层面的控制位保存在哪里呢？Linux内核引入了所谓的页帧，即每个4K物理页，在Linux内核中都有一个page对象与之一一对应。这个page对象，描述了一个4K页的信息如：匿名页还是文件页、page cache对应文件信息、私有还是共享、已被分配还是空闲、是否是脏页、被映射的次数及映射到哪些进程的页表中……
图片
三、伙伴系统结构
伙伴系统结构，简而言之就是：Linux内核用一个pglist_data对象描述一个NUMA节点，用N个zone对象分区管理NUMA节点中的内存，用前面提到的page对象管理每一个4K物理页，如图：
图片
每个NUMA节点中的内存称为本地内存，与之相邻的节点称为相邻节点，cpu1所在的NUMA节点比cpu2所在的NUMA节点离cpu0所在的NUMA节点更近，所以在某些分配策略下，cpu0所在的NUMA节点内存耗尽，就会优先从cpu1所在节点分配，以此内推……这些都是理解伙伴系统很重要的知识点。
总结一下：Linux内核是基于NUMA架构实现的，每一个NUMA节点，内核中都有一个pglist_data对象与之对象。每个NUMA节点中的内存，都会用N个zone进行管理，64位Linux，最多会有三个zone：ZONE_DMA、ZONE_DMA32、ZONE_NORMAL。每个4K物理页，内核中都有一个page对象与之对应，描述其相关使用信息及控制信息。
伙伴系统最终的结构长什么样呢？如图：
图片
四、分配内存
现在结构有了，我们要写分配内存的函数了，要怎么写呢？比如我要5个4K物理页。
首先，肯定是定位我要在哪个NUMA节点上分配内存，这在Linux内核中对应的就是mempolicy。可选的方案有：
现在我们选定了NUMA node0，接下来就要去选择zone了：
现在zone也选中了：NORMAL，接下来就是真正的去拿物理页了。如何拿物理页呢？这里门道也蛮多的。想出这套算法的人，真乃奇才！把这套算法完美的实现出来的人，也不简单。
要想理解如何拿物理页，得知道伙伴系统底层是如何管理物理页的。每个ZONE中有一个数组free_area用来管理物理页，这个数组有12个元素，每个元素是个链表，数组下标就是阶，比如index=0对应的链表中的每个元素就是一个4K物理页，index=1对应的链表中的每个元素就是两个4K物理页，以此类推。
图片
回答最初的问题：如何拿到5个4K物理页呢，就是去index=3对应的链表中去分配。如果这个链表中是空的呢？那就往上找index=4的，index=4对应的链表中每个元素是16个4K物理页，会将这个元素拆成两个元素放到index=3的链表中，然后去分配。至此，就完成了内存分配。
对了，为了提升内存分配速度，Linux内核中还引入了PCP，即Per-CPU Pages，每个CPU都有自己的一组本地缓存页（pages），这些页可以被该CPU上运行的进程快速分配和回收，而不需要加锁操作，从而减少了对全局内存池的争用，提高了性能。但是只有当分配一个4K页的时候，才从PCP中分配。
总结来说，在NUMA节点环境下要想拿到物理内存，得先确定从哪个NUMA节点拿，再确定在选定的NUMA节点中的哪个ZONE中去拿，最后确定要怎么拿，这条线是主线，理解了这条主线，再结合Linux内核提供的机制，你就能理解完整的Linux内核内存模块。
这就是内存的全部吗？当然不是！还有很多很多：slab、匿名页、文件页、页回收、页迁移、vma、反向映射…但是你先得非常了解本文分享的这些，你才能理解后面的那些，本文分享的这些，是Linux内核内存模块基础中的基础。
