在系统管理和 DevOps 领域，性能至关重要。每一毫秒都至关重要，而 Linux 系统速度的一个最基本但最容易被误解的组件之一就是其缓存机制。许多管理员看到高内存使用率归因于“缓存”而本能地担忧，但这通常是系统健康且性能良好的迹象。理解 Linux 缓存不仅仅是一个学术练习；它是一项实用技能，使您能够准确诊断性能问题并优化您的基础设施。本全面指南将揭开 Linux 缓存系统的神秘面纱，从其核心组件到实用的监控和管理技术。

Linux 缓存是什么

从根本上说，Linux 缓存是一个机制，它使用系统未使用的部分随机存取存储器（RAM）来存储最近从磁盘（如 SSD 或 HDD）读取或写入的数据。由于从 RAM 访问数据比从磁盘读取快几个数量级，因此这种缓存可以显著加快系统操作。你可以把它想象成一个图书管理员，他把最常被借阅的书籍放在附近的推车里，而不是每次使用后都放回庞大的书架上。下次有人询问这些热门书籍时，管理员可以立即递给他。在这个类比中，RAM 是推车，磁盘是主图书馆，而 Linux 内核是聪明的管理员。这个过程最小化了磁盘 I/O（输入/输出），这个计算机系统中最慢的操作之一。

主要优势包括：

  • 加快应用程序加载时间：应用程序及其所需数据可以从缓存中提供，而不是从磁盘，从而更快启动。
  • 提升系统响应速度：频繁操作，如列出目录中的文件，几乎可以瞬间完成，因为所需元数据保存在内存中。
  • 减少磁盘磨损：通过最小化不必要的读写操作，缓存可以延长物理存储设备的寿命，尤其是 SSD。

缓存使用内存并非“浪费”。内存很重要，内核是智能的，如果应用程序需要更多内存，内核将无缝且自动地缩小缓存以释放 RAM 给应用程序。这种动态管理确保缓存提升性能，同时不会使关键进程缺乏所需的内存。

深入探究Linux 缓存

“Linux 缓存”一词是指几个相关但不同的机制共同工作的总称。最重要的组成部分是页面缓存、Dentry 缓存和 Inode 缓存。

页面缓存：文件缓存的核心

页面缓存是 Linux 内核使用的主要磁盘缓存。当你从磁盘读取文件时，内核将其读取为称为“页面”的块（通常大小为 4KB）并存储这些页面在未使用的 RAM 区域。下次任何进程请求该文件的部分内容时，内核可以直接从速度更快的页面缓存中提供，避免了缓慢的磁盘读取操作。这也适用于写操作。当你向文件写入数据时，数据可以首先写入 Page Cache（这个过程称为写回缓存）。然后系统可以通知应用程序写入完成，使应用程序感觉快速响应。内核随后在最佳时间将这些“脏”页面在后台刷新到磁盘。可以使用 sync 命令手动强制所有脏页面写入磁盘。

缓冲区缓存：缓冲块设备 I/O

历史上，缓冲区缓存（或Buffers）是一个独立的实体，它存储与块设备相关的元数据，例如文件系统日志或分区表。在现代 Linux 内核（2.4 之后）中，缓冲区缓存不是一个独立的内存池。它的功能已与页面缓存统一。今天，当你在 free 或 top 等工具中看“Buffers”时，它通常指的是页面缓存中专门存储块设备元数据的页面。这是一个临时存储原始磁盘块的存储区，与以文件为中心的页面缓存相比，它是一个较小的组件。

Slab 分配器：Dentry 和 Inode 缓存

超越缓存文件内容，内核还需要缓存文件系统元数据以避免重复磁盘查找文件结构信息。这由 Slab 分配器处理，Slab 分配器是内核中用于频繁使用的数据结构的特殊内存管理机制。

dentry 缓存（dcache）

一个“dentry”（目录项）是一种数据结构，用于将文件路径（例如 /home/user/document.txt ）转换为 inode。每次访问文件时，内核都必须遍历这个路径。dentry 缓存将这些转换保存在 RAM 中。这极大地加快了诸如 ls -l 或任何文件访问的操作，因为内核无需反复从磁盘读取目录信息。您可以从官方 Linux 内核文档中了解更多关于内核内存分配的信息。

inode 缓存（icache）

一个“inode”存储了文件的所有元数据——除了文件名和实际数据内容。这包括权限、所有权、文件大小、时间戳以及指向磁盘块的指针，这些磁盘块存储了文件的数据。inode 缓存将这些信息保存在内存中，用于最近访问的文件，再次避免了因检索元数据而导致的慢速磁盘 I/O。

监控和分析 Linux 缓存

使用标准 Linux 命令行工具可以轻松监控系统的缓存。理解其输出是了解内存情况的关键。

使用 free 命令

free 命令是检查内存使用情况的最快方法。使用 -h （人类可读）标志使输出易于理解。

1
2
3
4
$ free -h
               total        used        free      shared  buff/cache   available
Mem:            15Gi       4.5Gi       338Mi       1.1Gi        10Gi        9.2Gi
Swap:          2.0Gi       1.2Gi       821Mi

以下是解读关键列的方法：

  • 总计：已安装的总 RAM。
  • 已使用：应用程序实际使用的内存（总计 - 可用 - 缓存）。
  • 可用：真正未被使用的内存。在繁忙的系统上，这个数值通常较小，这是正常的。
  • buff/cache：这是由页面缓存、缓冲区缓存和 Slab 分配器（dentries 和 inode）使用的内存总和。这是内核在需要时可以回收的内存。
  • 可用：这是最重要的指标。它是估计有多少内存可用于启动新应用程序而不进行交换的估计值。它包括“空闲”内存以及可以轻松回收的“buff/cache”部分。

理解 /proc/meminfo

为了更详细的分解，您可以检查虚拟文件 /proc/meminfo 。该文件提供了大量信息，工具如 free 使用这些信息。

1
2
3
4
5
$ cat /proc/meminfo | grep -E '^(MemAvailable|Buffers|Cached|SReclaimable)'
MemAvailable:    9614444 kB
Buffers:          345520 kB
Cached:          9985224 kB
SReclaimable:     678220 kB
  • 可用内存：与 free 中的“可用”列相同。
  • 缓冲区：缓冲区缓存使用的内存。
  • 缓存：页面缓存使用的内存，不包括交换缓存。
  • 可回收：Slab 内存（如 dentry 和 inode 缓存）中可回收的部分。

高级工具： vmstat 和 slabtop

对于动态监控， vmstat （虚拟内存统计）非常出色。运行 vmstat 2 将每 2 秒提供一次更新。软件工具

1
2
3
4
5
$ vmstat 2
procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st
 1  0 1252348 347492 345632 10580980    2    5   119   212  136  163  9  2 88  1  0
...

注意 bi （块入）和 bo （块出）列。这里的数值高且持续，表明磁盘 I/O 繁忙。如果这些值在系统繁忙时较低，则表明缓存正在有效地服务请求。

要直接检查 Slab 分配器，你可以使用 slabtop 。

1
2
# requires root privileges
sudo slabtop

这个命令提供实时查看顶级内核缓存的视图，让你看到像 dentry 这样的对象以及各种 inode 缓存使用了多少内存。

管理 Linux 缓存：何时以及如何清除它

警告：手动清除 Linux 缓存是一项需要极其谨慎执行的操作，在生产系统上很少有必要。内核的内存管理算法高度优化。强制清除缓存可能会导致性能暂时下降，因为系统需要从速度较慢的磁盘重新读取所需数据。

为什么你可能认为需要清除缓存

管理员想要清除缓存最常见的原因是对 free -h 的输出存在误解。他们看到“free”内存值较低而“buff/cache”值较高，便认为系统内存不足。正如我们所讨论的，这是健康系统的预期行为。清除缓存的唯一合法理由通常是用于基准测试——例如，在不考虑缓存效应的情况下测量应用程序磁盘 I/O 的“冷启动”性能。

drop_caches 机制：清除缓存的正确方法

如果你有正当理由清除缓存，Linux 提供了一种通过 /proc/sys/vm/drop_caches 接口进行非破坏性操作的方式。关于详细解释，像 Red Hat 关于内存管理的文章等资源非常有价值。

首先，使用 sync 命令将所有缓存数据写入磁盘是一个好习惯，以防止任何数据丢失。这会将内存中的任何“脏”页面刷新到存储设备。硬盘

1
2
# First, ensure all pending writes are completed
sync

接下来，您可以向 drop_caches 写入一个值来指定要清除的内容。执行此操作需要 root 权限。

  • 仅释放页缓存：

    1
    echo 1 | sudo tee /proc/sys/vm/drop_caches

  • 释放可回收的 slab 对象（dentries 和 inodes）：

    1
    echo 2 | sudo tee /proc/sys/vm/drop_caches

  • 释放页缓存、目录项和 inode（最常见的情况）：

    1
    echo 3 | sudo tee /proc/sys/vm/drop_caches

示例：前后对比

让我们看看效果。之前：

1
2
3
4
5
6
7
8
9
10
11
12
13
# 操作之前
$ free -h
               total        used        free      shared  buff/cache   available
Mem:            15Gi       4.5Gi       338Mi       1.1Gi        10Gi        9.2Gi

# 执行操作
$ sync; echo 3 | sudo tee /proc/sys/vm/drop_caches
3

# 操作完成
$ free -h
               total        used        free      shared  buff/cache   available
Mem:            15Gi       4.4Gi        10Gi       1.1Gi       612Mi        9.6Gi

如您所见， buff/cache 值从 10Gi 骤降至 612Mi，而 free 内存相应增加。然而，对于需要刚刚从缓存中清除的数据的任何操作，系统的性能现在会更慢。

常见问题解答

  • Linux 中缓冲区和缓存有什么区别？

    从历史上看，缓冲区用于原始块设备 I/O，而缓存用于文件内容。在现代内核中，它们是统一的。“缓存”（页面缓存）存储文件数据，“缓冲区”表示块 I/O 的元数据，但它们都驻留在同一个内存池中。

  • Linux 中高缓存使用率是坏事吗？

    不，恰恰相反。高缓存使用率表明您的系统正在有效地使用可用 RAM 来加速磁盘操作。这不是“浪费”的内存，当应用程序需要时将自动释放。

  • 如何查看哪些文件在页面缓存中？

    目前没有简单的标准命令可以实现这一点，但像 vmtouch 或 pcstat 这样的第三方工具可以分析文件或目录，并报告它们当前有多少内容驻留在页面缓存中。

  • 清除缓存会删除我的数据吗？

    不会。使用 drop_caches 方法不会导致数据丢失。缓存仅存储永久存储在磁盘上的数据的副本。在清除缓存之前，先运行 sync 可以确保所有待处理的写入操作都安全地提交到磁盘。

结论

Linux 缓存是一项强大且智能的性能提升功能。通过利用未使用的 RAM，内核显著减少了磁盘 I/O，使整个系统运行更快、响应更及时。虽然存在手动清除缓存的能力，但其使用场景几乎仅限于特定的基准测试场景。对于系统管理员和 DevOps 工程师来说，关键在于学会如何使用 free 、 vmstat 和 /proc/meminfo 等工具正确监控和解读缓存使用情况。

拥抱并理解 Linux 缓存的行为是掌握 Linux 性能调优和构建健壮、高效系统的基本步骤。

原文链接： Mastering Linux Cache: Boost Performance & Speed