简介
你是否曾经在Kubernetes中遇到过可怕的OOM（内存不足）杀手？这个关键组件在有效管理集群内的内存资源方面起着至关重要的作用。然而，当一个Pod超过其内存限制并消耗过多内存时，OOM杀手会介入并终止该Pod，以释放内存给其他关键进程使用。
在本篇文章中，我们将揭开OOM杀手的神秘面纱，深入了解其内部运作，并学习如何追踪导致OOM终止的内存问题。
OOM killer（Out of Memory killer）是Kubernetes中的一个重要机制，它有助于维护系统的稳定性并防止内存耗尽。当内存资源严重不足时，它充当最后的防线。在这种情况下，OOM killer会识别出导致内存超载的进程或Pod，并终止它以释放内存给系统的其他部分使用。通过牺牲一个进程，OOM killer防止了整个系统崩溃，确保了集群的整体稳定性。
OOM（Out of Memory）杀死进程是如何触发的
当Kubernetes中的一个Pod超过其指定的内存限制时，会触发一个OOM事件。容器运行时（如Docker）会将内存使用情况报告给Kubernetes的kubelet。kubelet会监控所有Pod的内存使用情况，并将其与各自的限制进行比较。如果一个Pod超过了其限制，kubelet会启动OOM killer来终止有问题的Pod，为其他关键工作负载释放内存资源。
理解内存指标和OOM决策
为了对OOM kills做出明智的决策，OOM killer依赖于从cAdvisor（容器顾问）获取的内存指标，并将其暴露给Kubernetes。OOM killer使用的主要指标是container_memory_working_set_bytes。它代表了容器活跃使用的内存页面，即无法被清除的内存估计值。这个指标作为OOM killer决定是否终止一个pod的基准。
在计算机系统中，内存是一项重要的资源，对于系统的性能和稳定性起着至关重要的作用。为了更好地了解和管理内存，我们需要了解不同的内存指标。 首先，我们有物理内存和虚拟内存。物理内存是计算机实际拥有的内存容量，而虚拟内存是通过硬盘上的页面文件来扩展物理内存的容量。虚拟内存的使用可以帮助系统处理大量的数据和程序，但也可能导致性能下降。 其次，我们有内存使用率和内存利用率。内存使用率是指当前正在使用的内存量与总内存容量的比例。内存利用率是指当前正在使用的内存量与可用内存容量的比例。这两个指标可以帮助我们了解系统内存的使用情况和效率。 另外，我们还有内存泄漏和内存碎片化。内存泄漏是指程序在使用完内存后没有正确释放，导致内存无法再次使用。内存碎片化是指内存被分割成多个小块，导致内存利用率降低。这两个问题都可能导致系统性能下降和不稳定。 最后，我们还有内存带宽和内存延迟。内存带宽是指内存传输数据的速度，而内存延迟是指从请求内存数据到接收数据的延迟时间。这两个指标可以帮助我们评估内存的性能和响应速度。 通过了解和区分这些内存指标，我们可以更好地管理和优化系统的内存资源，提高系统的性能和稳定性
虽然container_memory_usage_bytes似乎是监控内存利用的明显选择，但它包括缓存项，例如文件系统缓存，在内存压力下可能会被驱逐。因此，它不能准确反映OOM killer观察和处理的内存情况。另一方面，container_memory_working_set_bytes提供了更可靠的内存使用指标，与OOM killer监控的情况相一致。它关注的是不容易回收的内存。
如何调试内存消耗？
要跟踪应用程序中的内存增长，您可以监视提供内存使用信息的特定文件。通过将以下代码片段部署为应用程序的一部分，您可以在DEBUG模式下调用它以打印内存使用情况：
const fs = require('fs');
// Function to read memory usage
function readMemoryUsage() {
try {
const memoryUsage = fs.readFileSync('/sys/fs/cgroup/memory/memory.usage_in_bytes', 'utf8');
console.log(`Memory Usage: ${memoryUsage}`);
} catch (error) {
console.error('Error reading memory usage:', error);
}
}
// Call the function to read memory usage
readMemoryUsage();
在这段代码中，我们使用 fs.readFileSync 方法来同步读取 /sys/fs/cgroup/memory/memory.usage_in_bytes 文件的内容。文件使用 'utf8' 编码来将数据解释为字符串。
该函数读取文件并将内存使用情况记录到控制台。如果在读取过程中发生错误，也会被捕获并记录。
请注意，访问系统文件通常需要提升的权限。请确保以必要的权限或特权用户身份运行Node.js脚本。
获取节点堆使用情况的代码
const fs = require('fs');
// Function to track memory growth
function trackMemoryGrowth() {
const memoryUsage = process.memoryUsage();
console.log(`Memory Usage (RSS): ${memoryUsage.rss}`);
console.log(`Memory Usage (Heap Total): ${memoryUsage.heapTotal}`);
console.log(`Memory Usage (Heap Used): ${memoryUsage.heapUsed}`);
}
trackMemoryGrowth();
});
如何使用kubectl top在K8s中监控内存和CPU使用情况？
kubectl top 命令是 Kubernetes 中的一个强大工具，它可以帮助您监控集群中 Pod 和节点的资源使用情况。它提供了关于内存和 CPU 利用率的实时信息，让您能够识别潜在的瓶颈，解决性能问题，并做出关于资源分配的明智决策。让我们来探索如何使用 kubectl top 命令来监控 Pod 和节点的资源使用情况。
监控 Pod 资源使用情况：
要监控Pod的内存和CPU使用情况，您可以使用以下命令：kubectl top pod
该命令提供了当前命名空间中所有Pod资源使用情况的概览。它显示了Pod名称、CPU使用情况、内存使用情况以及相应的资源利用率百分比。
如果你想专注于特定的 Pod，你可以将 Pod 名称作为参数传入： kubectl top pod
该命令为指定的 Pod 提供详细的资源使用信息。
监控节点资源使用情况要监控集群中节点的内存和CPU使用情况，您可以使用以下命令： kubectl top node
这个命令可以让你了解集群中所有节点的资源使用情况。它提供了节点名称、CPU使用率、内存使用率以及相应的资源利用百分比的信息。
类似于监控Pod的方式，您可以指定特定的节点来获取详细的资源使用信息： kubectl top node
总之，kubectl top 命令是一个有价值的工具，它允许您监控 Kubernetes 集群中的 Pod 和节点的内存和 CPU 使用情况。通过使用这个命令，您可以了解资源利用情况，检测性能瓶颈，并优化资源分配，确保应用程序的高效运行。
等等，如果我想要在我的Docker环境中实现相同的效果呢？
内存显示从路径 /sys/fs/cgroup/memory 收集数据
# similar to top
docker stats --no-stream
在Linux上，Docker CLI通过从总内存使用中减去缓存使用量来报告内存使用情况。API不执行这样的计算，而是提供总内存使用量和来自缓存的数量，以便客户端根据需要使用数据。缓存使用量定义为cgroup v1主机上 memory.stat 文件中 total_inactive_file 字段的值。
在 Docker 19.03 和旧版本中，缓存使用量被定义为 cache 字段的值。在 cgroup v2 主机上，缓存使用量被定义为 inactive_file 字段的值。
memory_stats.usage 来自 /sys/fs/cgroup/memory/memory.usage_in_bytes 。memory_stats.stats.inactive_file 来自 /sys/fs/cgroup/memory/memory.stat 。
给我一个节点代码，用于打印Docker容器的内存使用情况
要使用docker stats命令并在Node.js中打印容器使用情况，您可以按照以下步骤操作：使用docker-stats-api库。
通过运行以下命令，在您的Node.js项目中将docker-stats-api库安装为依赖项：
npm install docker-stats-api
定义一个函数来打印容器使用情况：
function printContainerUsage(containerId) {
dockerStats.getStats(containerId)
.then(stats => {
console.log(`Container Usage (CPU): ${stats.cpu_percent}`);
console.log(`Container Usage (Memory): ${stats.mem_usage}`);
})
.catch(error => {
console.error('Error retrieving container stats:', error);
});
}
以下是完整的示例：
const DockerStats = require('docker-stats-api');
const dockerStats = new DockerStats();
function printContainerUsage(containerId) {
dockerStats.getStats(containerId)
.then(stats => {
console.log(`Container Usage (CPU): ${stats.cpu_percent}`);
console.log(`Container Usage (Memory): ${stats.mem_usage}`);
})
.catch(error => {
console.error('Error retrieving container stats:', error);
});
}
const containerId = 'YOUR_CONTAINER_ID';
printContainerUsage(containerId);
通过执行这段代码，你将能够使用Node.js中的docker-stats-api库检索并打印特定容器的CPU和内存使用情况。记得将'YOUR_CONTAINER_ID'替换为你想要监控的容器的实际ID。
结论
通过了解Kubernetes中OOM killer的角色和功能，我们可以深入了解集群内存管理的宝贵见解。在本博客中，我们探讨了OOM killer如何触发OOM kills，并讨论了内存指标，特别是container_memory_working_set_bytes在做出OOM决策时的重要性。掌握了这些知识，您将能够有效地监控和解决导致OOM kills的内存问题。
