我其实是买了这本书好多年了，都是拿起来翻了两页就看不动了，最近下决心还是把它看完吧，毕竟这书真的有点老了。该书是基于LInux 2.6内核和RHEL6的版本为例进行的Linux性能解析，即便在15年成书的时候，都已经算老了。这本书的内容的确有很大问题，个人感觉更像红帽EX442考试的参考教程，很多语句就像英文硬翻的，只能说有一定的科普的作用。

说起来，该书作者赵永刚还是我素未谋面的同事，他是我在纷享工作岗位的前前任，我曾经蹲的工位也曾是他的工位。

性能调优是一项艰巨的任务，需要深入了解硬件、操作系统和应用程序的工作原理。

2024.07 摄于北京朝阳区·众秀大厦

深入理解Linux操作系统

Linux进程管理

进程

进程管理在任何操作系统中都是最重要的任务之一。进程是在处理器上执行的一个实例，进程可以使用任意资源以便内核可以处理完成任务。在Linux操作系统上运行的进程多是通过task_struct结构来管理的，也被称为进程描述符。一个进程描述符包含了单个进程在运行期间所有必要的信息，比如进程表示、属性、构建进程的资源等。

每个进程都有自己的生命周期，比如创建、执行、终止、删除等。只要系统启动和运行，这些阶段就会不断重复。

  1. 当一个进程创建一个新进程时，父进程就会发出一个fork()系统调用，然后父进程得到一个子进程的进程描述符，并设置一个新的ID。
  2. exec()系统调用将新的程序复制到子进程的地址空间，内核给子进程分配新的物理页，子进程执行自己的程序，而不是父进程相同的操作
  3. 当程序执行完成，通过exit()系统调用终止子进程，exit()释放进程数据结构并发送一个终止信号通知父进程
  4. 子进程不会完全移除，知道父进程通过wait()调用得知子进程已终止，父进程就会释放进程描述符

线程

线程时进程中产生的一个执行单元，在同一个进程中与其他线程并行运行，共享相同的资源，访问同一组应用程序数据。线程也被称为轻量级进程。因为资源共享，所以互斥、锁、序列化是用户应用程序要实现的机制。

具体的实现有：

  1. LinuxThreads
  2. Native POSIX Thread Library
  3. Next Generation POSIX Thread

优先级和nice等级

进程优先级是一个数字，用来确定CPU处理进程的顺序，并可以确定实时优先级和非实时优先级。最高实时优先级（99）对应于系统优先级0，最低非实时优先级（0）对应于系统优先级99。

一个进程可以间接通过使用nice级别来修改实时优先级，高实时优先级的进程可以更多的占用CPU时间。Linux的nice级别可以从最低的19到-20的最高优先级，默认为0。

上下文处理

在处理器执行期间，运行进程的信息被存储在处理器的寄存器和高速缓存中，执行的进程被加载到寄存器的数据集被称为上下文，切换过程被称为上下文切换。

中断处理

中断处理时优先级最高的任务之一，通常由I/O设备产生，是由内核通知事件。当中断信号到达内核时，内核必须要从当前执行的进程切换到一个新的进程。

[root@share ~]# cat /proc/interrupts 
            CPU0       
   0:         27   IO-APIC    2-edge      timer
   1:          9   IO-APIC    1-edge      i8042
   8:          0   IO-APIC    8-edge      rtc0
   9:          0   IO-APIC    9-fasteoi   acpi
  12:         15   IO-APIC   12-edge      i8042
  14:          0   IO-APIC   14-edge      ata_piix
  15:          0   IO-APIC   15-edge      ata_piix
  16:          0   IO-APIC   16-fasteoi   vmwgfx
  17:       4854   IO-APIC   17-fasteoi   ioc0
  18:        397   IO-APIC   18-fasteoi   ens32
  24:          0  PCI-MSI-0000:00:15.0    0-edge      PCIe PME, pciehp
  ……

进程状态

  1. TASK_RUNNING
  2. TASK_STOPPED
  3. TASK_INTERRUPTIBLE
  4. TASK_UNINTERRUPTIBLE
  5. TASK_ZOMBIE

当一个进程接收到一个终止信号，在它结束之前需要一些时间结束所有任务，在此期间它就是僵尸进程。使用kill命令无法杀死僵尸进程，除非杀死父进程。

进程的内存段

  1. 文本段：存储可执行代码
  2. 数据段
    1. 数据，初始化数据，比如静态变量
    2. BSS，零初始化数据，数据被初始化为零
    3. 堆，根据需求动态分配内存，向高地址增长
  3. 堆栈段，局部变量、函数参数、返回的存储函数存放区域

CPU调度程序

内核使用进程调度程序来确定那个程序在那个给定时间点运行。

  1. 0(1)调度程序
  2. CFS完全公平调度程序

内存体系结构

物理内存和虚拟内存

  1. 页帧分配
    1. 一个分页是物理内存或者虚拟内存中一组连续线性地址，内核以内存页为单位处理内存，通常为4KB大小
    2. 进程不能直接对物理内存寻址，每个进程有一个虚拟地址空间，页帧的物理地址被映射到进程的虚拟地址
  2. 虚拟内存寻址布局
    1. 32位架构的最大地址访问空间是4GB，其中1GB为内核空间，3GB为用户空间
    2. 64位架构没有限制。

虚拟内存管理

管理虚拟内存的默认规则：分配所有有效空闲内存空间作为磁盘缓存。

  1. 伙伴算法：把所有空闲的内存，以2的幂次方的形式，分成11个块链表，分别对应为1、2、4、8、16、32、64、128、256、512、1024个页块。

    [root@share ~]# cat /proc/buddyinfo 
    Node 0, zone      DMA      0      0      0      0      0      1      1      1      0      1      3 
    Node 0, zone    DMA32    235     43     27      3      4      7      4      3      3      5     55

  2. 分页回收

    当进程所需要分页不足时，内核将尝试释放一定数量的分页，然后进行重新分配。内核线程kswapd和内核函数try_to_free_page()负责分页回收。其原则基于Least Recently Used最近最少原则，最近最少使用哦个的分页被释放，活跃列表和非活跃列表用于维护候选分页。

    kswapd同时遵循宁可缩小分页缓存也不改变分页移出(page out 或者 swap out)进程拥有的分页的原则。分页缓存时分页被映射到磁盘上的一个文件，被称为匿名内存。可以通过/proc/sys/vm/swapiness来控制，1表示尽量使用分页缓存，10表示尽量不使用。

    [root@share ~]# cat /proc/sys/vm/swappiness 
    10

  3. SWAP

    当发生分页回收时，在非活跃列表中属于进程空间的候选分页可以被移出。如果虚拟内存管理器发现内存分页已经被分配，但大量时间还没有使用完，就会把这个内存分页移动到swap空间。

文件系统

虚拟文件系统

VFS时驻留在用户进程与各类型的Linux文件系统之间的抽象接口层。VFS提供了访问文件系统对象的通用对象模型和方法，对用户进程隐藏了文件系统实现的方法和差异。

文件系统日志

为了保证数据的完整性，文件系统在执行写入数据到实际文件系统之前，先将改变数据写入日志区域。被写入日志区域的数据称为日志记录。它包含了改变的文件系统元数据和实际的文件数据。

EXT2

EXT3的前身，没有日志功能，是个快速、简单的文件系统。以引导扇区开始，然后是块组将整个文件系统分成若干区域，将用户数据的索引节点表和数据块更紧密的保存在盘片上，以此减少寻道时间。

一个块组包括

  1. 超级块，存储文件系统信息，放置在每个块组的顶部
  2. 块组描述符：存储块组信息
  3. 数据块位图：用于空闲数据块管理
  4. 索引节点位图：用于空闲索引节点管理
  5. 索引节点表：保存文件的元数据
  6. 数据块：实际用户数据存储

EXT3

增加了日志功能的ext2，提高了可用性和数据完整性。其日志模式有以下三种

  1. 全日志，元数据和实际数据先被写入日志区，然后再写入主文件系统
  2. 顺序，实际数据直接写入主文件系统，元数据在实际数据写完后再被写入日志区，是默认的模式
  3. 回写，元数据先写入日志区，然后再将实际数据直接写入文件系统

EXT4

EXT3的升级，提供了文件系统的伸缩性，突破了文件系统的限制，支持最大单体16TB文件，存储容量最大1EB。此外还采用了一系列提高性能和安全性的措施：

  1. 文件级预分配
  2. 延迟块分配
  3. 多个块分配
  4. 执行文件系统日志校验和
  5. 在线磁盘碎片整理

XFS

Btrfs

磁盘I/O系统

体系结构

当磁盘执行写入操作时发生的基本操作

  1. 一个进程通过write()系统调用请求写一个文件
  2. 内核更新已映射文件的分页缓存
  3. 内核线程将分页缓存刷新到磁盘
  4. 文件系统层同时放置块缓存，并向块设备提交写请求
  5. 块设备从上层得到请求，并执行IO操作
  6. 设备驱动器将执行写操作
  7. 磁盘设备固件执行硬件操作

Cache

  1. 存储层次结构
  2. 访问局部性
  3. 刷新脏页

块层

IO电梯调度
  1. CFQ 完全公平队列，使用并发读写系统，例如多媒体应用和桌面系统
  2. Deadline算法，近似实时算法，适用于数据库服务器等大I/O操作
  3. NOOP算法，无操作，执行先入先出队列，使用SSD和SAN
设备驱动程序
  1. SCSI
RAID

网络子系统

网络化的实现

网络传输基本操作
  1. 当应用程序发送数据到对等主机时，应用程序创建数据
  2. 应用程序打开socket，并通过socket接口写入数据
  3. socket缓冲区引用数据，向下穿过各层
  4. TCP/IP各层添加报头、校验和、路由操作、分片等等
  5. 网络接口卡向线缆发送数据，并增加一个中断
  6. 以太帧到达对等主机网络接口卡
  7. 如果mac地址匹配接口卡的mac地址，将帧移动到网络接口卡的缓冲区
  8. CPU之后处理数据包，并使其向上穿过各层，直到应用程序的TCP端口
socket buffer内核缓冲区
NAPI（Network API）
Netfilter
  1. 数据包过滤filter
  2. 地址转换nat
  3. 改变数据包mangle
连续跟踪

TCP/IP

  1. 建立连接
  2. 流量控制
  3. 传输窗口
  4. 重传

Offload

Bonding

性能度量标准

CPU

  1. CPU使用率
  2. 用户进程消耗时间
  3. 内核操作消耗时间
  4. 等待
  5. CPU空闲时间
  6. Nice消耗CPU时间
  7. 平均负载
    1. 不是一个百分比
    2. 队列等待进程数和等待不可中断任务被完成进程数之和
  8. 可运行进程
  9. 阻塞的进程
  10. 上下文切换
  11. 中断

内存

  1. 空闲内存
  2. 使用的swap
  3. 缓存和缓冲
  4. slab
  5. 活跃和非活跃内存

块设备

  1. IO等待
  2. 平均队列长度
  3. 平均等待时间
  4. 每秒传输
  5. 每秒读取/写入块的数量
  6. 每秒读取/写入的字节

网络接口

  1. 接收和发送的数据包
  2. 接收和发送的字节
  3. 每秒钟的冲突数量
  4. 丢弃的数据包
  5. 溢出
  6. 错误

分析性能瓶颈

识别系统瓶颈

处理步骤

  1. 了解你的系统
  2. 备份系统
  3. 监控和分析系统的性能
  4. 缩小瓶颈
  5. 通过尝试以此一个更改，找到发生瓶颈的原因

收集信息

  1. 你能给我一个问题服务器的完整描述吗？
    1. 型号
    2. 生产日期
    3. 配置
    4. 外围设备
    5. 操作系统版本和更新级别
  2. 你能告诉我到底时什么问题吗？
    1. 有什么症状？
    2. 描述任意错误信息
  3. 谁遇到的这个问题？
  4. 问题可以复现么？
    1. 复现的步骤是什么？
    2. 这是一个间歇性的问题么？
    3. 它发生在一天的某个时段，或是几天，或是周几？
    4. 这是不寻常的么？
  5. 问题是什么时候开始的？他是平缓的，还是很快的发生？
  6. 对服务器做出任何改变或者对客户端使用服务器的方法做出任何改变？
  7. 是否涉及任何其他服务器或硬件组件？
  8. 是否有任何可用的日志？
  9. 问题的优先级是什么？什么时候能解决？

分析服务器性能

  1. 了解影响服务器性能的因素
  2. 测量当前性能，创建一个性能基线，与未来的测量相比较
  3. 使用监控工具来识别性能瓶颈
  4. 组件工作导致瓶颈，那么升级组件就是一个号的方法
  5. 测量新的性能

CPU瓶颈

高CPU使用率并不总是意味着CPU忙于工作，它可能在等待另一个子系统。当执行适当的分析时，要整体来查看系统和所有子系统。

  1. 使用top或者htop，查看CPU的使用者
  2. 使用sar和gnuplot进行长期监控，并输出为图表
  3. vmstat

如果确认是CPU的问题，那么可以采取以下措施来提高性能：

  1. 使用ps -ef命令来确认后台是否有不必要的程序
  2. 使用top识别非关键性CPU密集程序，并使用renice修改它们的优先级
  3. 尝试使用taskset来绑定进程到指定CPU，确保进程不会在处理器之间跳跃，导致cache刷新
  4. 根据应用程序特性来选择CPU，例如单线程程序需要更快的CPU，而不是更多的CPU
  5. 确保使用最新的驱动程序和固件

内存瓶颈

如果认为存在内存瓶颈，可以执行如下操作：

  1. 调整swap空间，使用大页、hugetlb共享内存
  2. 增加或者减少分页的大小
  3. 改进活跃和非活跃内存的处理
  4. 调整分页移出率
  5. 限制服务器上每个用户的资源使用
  6. 停止不必要的服务
  7. 增加内存

磁盘瓶颈

磁盘子系统是最常见的瓶颈。常见的瓶颈有磁盘空间太小和同一个阵列上有太多的逻辑磁盘。

检查磁盘瓶颈的分析方法有两种：

  1. 实时监控
  2. 收集性能数据
  3. 使用iostat或者vmstat来获取相关指标

磁盘性能瓶颈的调优的方法：

  1. 增加更快的磁盘控制器
  2. 在raid中增加更多的磁盘驱动器
  3. 考虑使用条带化的Linux逻辑卷
  4. 将进程卸载到网络中的另一个系统
  5. 添加更多的内存，提高系统内的磁盘cache

网络瓶颈

  1. 确保网卡配置与路由器和交换机配置相匹配
  2. 调整网络配置和拓扑
  3. 使用更快的网卡
  4. 调整适当的TCP/IP内核参数
  5. 更新网卡驱动并重新检查性能
  6. 添加网卡，并组件bond或者team，形成一个适配器群组

调整操作系统

调整原则

  1. 分析和评估当前系统配置
  2. 确保系统按照硬件制造商所述运行，所有设备在最佳模式下运行
  3. 系统被设计为最佳性能，最小化运行不必要任务和子系统
  4. 调整通常是让系统适应一个特定的工作负载

变更管理

  1. 在调整任何Linux系统之前，实施适当的变更管理过程
  2. 绝不在生产服务器上开始调整设置
  3. 绝不在调整过程期间改变一个以上的变量
  4. 重新启动可能提高性能的参数，
  5. 记录成功的参数并分析它们，无论你人为它们是多么微不足道。

安装事项

  1. 需要什么特点和版本的Linux
  2. 选择正确的内核
  3. 选择什么样的分区布局
  4. 使用什么样的文件系统
  5. 软件的选择
  6. Netfilter配置
  7. SElinux
  8. 运行级别的选择

当前配置

硬件信息

  1. CPU

    1. 模式、架构、主板芯片
    2. 多少个插槽、每CPU多少个核心、多少个线程、socket如何连接
    3. CPU每层cache有多大、cache是私有还是共享、cache如何组织和访问
    4. 处理的特性和功能

  2. 内存

    1. 多少内存，硬件允许最大内存数量是多少？
    2. 系统使用内存技术是什么？带宽和延迟
    3. 内存如何被连接到CPU
    4. NUMA节点使用什么技术？

  3. 存储

    1. 存储设备是什么类型，是机械硬盘还是固态硬盘
    2. SSD驱动器使用的是MLC还是SLC，RAID级别和条带的大小
    3. 直连式存储使用什么连接，带宽是多少
    4. SAN设备是使用fc还是iscsi，带宽和延迟是多少？

  4. 网络

    1. 网络接口卡是什么，线缆规格是什么
    2. 有什么特殊用途的网络，带宽是多少？
    3. 需要特别能力么？比如网卡直通、IO虚拟化等

系统内容

  1. 查看内核信息

    [root@testnode ~]# dmesg
    [    0.000000] Linux version 5.14.0-427.33.1.el9_4.x86_64 (mockbuild@iad1-prod-build001.bld.equ.rockylinux.org) (gcc (GCC) 11.4.1 20231218 (Red Hat 11.4.1-3), GNU ld version 2.35.2-43.el9) #1 SMP PREEMPT_DYNAMIC Wed Aug 28 17:34:59 UTC 2024
    [    0.000000] The list of certified hardware and cloud instances for Enterprise Linux 9 can be viewed at the Red Hat Ecosystem Catalog, https://catalog.redhat.com.
    [    0.000000] Command line: BOOT_IMAGE=(hd0,msdos1)/vmlinuz-5.14.0-427.33.1.el9_4.x86_64 root=/dev/mapper/rl-root ro resume=/dev/mapper/rl-swap rd.lvm.lv=rl/root rd.lvm.lv=rl/swap rhgb quiet crashkernel=1G-4G:192M,4G-64G:256M,64G-:512M
    [    0.000000] Disabled fast string operations
    [    0.000000] x86/fpu: Supporting XSAVE feature 0x001: 'x87 floating point registers'
    [    0.000000] x86/fpu: Supporting XSAVE feature 0x002: 'SSE registers'
    [    0.000000] x86/fpu: Supporting XSAVE feature 0x004: 'AVX registers'
    [    0.000000] x86/fpu: xstate_offset[2]:  576, xstate_sizes[2]:  256
    [    0.000000] x86/fpu: Enabled xstate features 0x7, context size is 832 bytes, using 'compacted' format.
    [    0.000000] signal: max sigframe size: 1776
    [    0.000000] BIOS-provided physical RAM map:
    [    0.000000] NX (Execute Disable) protection: active
    [    0.000000] SMBIOS 2.7 present.
    [    0.000000] DMI: VMware, Inc. VMware Virtual Platform/440BX Desktop Reference Platform, BIOS 6.00 11/12/2020
    [    0.000000] vmware: hypercall mode: 0x02
    [    0.000000] Hypervisor detected: VMware
    [    0.000000] vmware: TSC freq read from hypervisor : 2112.004 MHz
    [    0.000000] vmware: Host bus clock speed read from hypervisor : 66000000 Hz
    [    0.000000] vmware: using clock offset of 16204854701 ns
    [    0.000017] tsc: Detected 2112.004 MHz processor
    [    0.001892] e820: update [mem 0x00000000-0x00000fff] usable ==> reserved
    [    0.001897] e820: remove [mem 0x000a0000-0x000fffff] usable
    [    0.001903] last_pfn = 0x80000 max_arch_pfn = 0x400000000
    [    0.001992] total RAM covered: 3072M
    [    0.002467] Found optimal setting for mtrr clean up
    [    0.002468]  gran_size: 64K  chunk_size: 64K         num_reg: 2      lose cover RAM: 0G
    [    0.002472] MTRR map: 7 entries (6 fixed + 1 variable; max 22), built from 8 variable MTRRs
    [    0.002478] x86/PAT: Configuration [0-7]: WB  WC  UC- UC  WB  WP  UC- WT  
    [    0.012113] found SMP MP-table at [mem 0x000f6a70-0x000f6a7f]
    [    0.012161] Using GB pages for direct mapping
    [    0.012312] RAMDISK: [mem 0x33c10000-0x35dfffff]

  2. 查看CPU信息

    # 查看CPU信息
    [root@testnode ~]# lscpu
    Architecture:            x86_64
      CPU op-mode(s):        32-bit, 64-bit
      Address sizes:         45 bits physical, 48 bits virtual
      Byte Order:            Little Endian
    CPU(s):                  1
      On-line CPU(s) list:   0
    Vendor ID:               GenuineIntel
      BIOS Vendor ID:        GenuineIntel
      Model name:            Intel(R) Core(TM) i5-10210U CPU @ 1.60GHz
        BIOS Model name:     Intel(R) Core(TM) i5-10210U CPU @ 1.60GHz
        CPU family:          6
        Model:               142
        Thread(s) per core:  1
        Core(s) per socket:  1
        Socket(s):           1
        Stepping:            12
        BogoMIPS:            4224.00

    # 查看CPU各级缓存信息
    [root@testnode ~]# lscpu -p
    # The following is the parsable format, which can be fed to other
    # programs. Each different item in every column has an unique ID
    # starting usually from zero.
    # CPU,Core,Socket,Node,,L1d,L1i,L2,L3
    0,0,0,0,,0,0,0,0

  3. 查看BIOS信息

    [root@testnode ~]# dmidecode
    # dmidecode 3.5
    Getting SMBIOS data from sysfs.
    SMBIOS 2.7 present.
    620 structures occupying 29188 bytes.
    Table at 0x000E0010.

    Handle 0x0000, DMI type 0, 24 bytes
    BIOS Information
            Vendor: Phoenix Technologies LTD
            Version: 6.00
            Release Date: 11/12/2020
            Address: 0xEA480
            Runtime Size: 88960 bytes
            ROM Size: 64 kB
            Characteristics:
                    ISA is supported
                    PCI is supported
                    PC Card (PCMCIA) is supported
                    PNP is supported
                    APM is supported
                    BIOS is upgradeable
                    BIOS shadowing is allowed
                    ESCD support is available
                    Boot from CD is supported
                    Selectable boot is supported
                    EDD is supported
                    Print screen service is supported (int 5h)
                    8042 keyboard services are supported (int 9h)
                    Serial services are supported (int 14h)
                    Printer services are supported (int 17h)
                    CGA/mono video services are supported (int 10h)
                    ACPI is supported
                    Smart battery is supported
                    BIOS boot specification is supported
                    Function key-initiated network boot is supported
                    Targeted content distribution is supported
            BIOS Revision: 4.6
            Firmware Revision: 0.0

最小化资源使用

以最高性能水平设计的系统必须最小化任何资源的浪费。

  1. 清理守护进程，只运行必要服务
  2. 更改运行级别
  3. SElinux的设置
  4. 重新编译内核

内核参数

proc文件系统

proc文件系统提供了一个用于访问正在运行的内核的接口，可以用它来进行监控和在联机状态下更改内核设置。proc文件系统不是一个真正的文件系统，它不存储数据知识提供了一个访问正在运行的内核的接口。

[root@testnode ~]# ls /proc
1     14    1634  25   32  40   428  436  444  454  463  473  482  492  500  511  522  55   61   624  689  738  760  792  804  879  90          consoles       fb           keys         meminfo       schedstat      sysvipc
10    15    17    26   33  41   429  437  445  455  464  474  483  493  502  513  524  56   617  625  69   74   761  795  81   88   92          cpuinfo        filesystems  key-users    misc          scsi           thread-self
100   16    18    267  34  419  43   438  446  456  465  475  484  494  503  514  525  57   618  626  7    75   762  796  82   883  959         crypto         fs           kmsg         modules       self           timer_list
1026  1600  19    27   35  42   430  439  447  457  466  476  486  495  504  515  526  58   619  63   70   755  768  797  83   889  acpi        devices        interrupts   kpagecgroup  mounts        slabinfo       tty
105   1603  2     28   36  420  431  44   448  458  467  477  487  496  505  516  527  59   62   64   704  756  77   798  84   89   bootconfig  diskstats      iomem        kpagecount   mpt           softirqs       uptime
106   1604  20    29   37  422  432  440  449  459  468  478  488  498  506  517  528  592  620  65   71   757  770  799  85   891  buddyinfo   dma            ioports      kpageflags   mtrr          stat           version
11    1611  21    3    38  423  433  441  450  460  469  479  489  499  507  519  539  599  621  66   72   758  78   8    852  898  bus         driver         irq          loadavg      net           swaps          vmallocinfo
12    1612  23    30   39  425  434  442  451  461  470  480  49   5    508  520  54   6    622  67   73   759  79   80   86   899  cgroups     dynamic_debug  kallsyms     locks        pagetypeinfo  sys            vmstat
13    1616  24    31   4   427  435  443  453  462  471  481  491  50   510  521  541  60   623  68   737  76   791  800  87   9    cmdline     execdomains    kcore        mdstat       partitions    sysrq-trigger  zoneinfo
  1. 数字目录：表示运行的进程和它们各自的进程ID
  2. ACPI：桌面和笔记本系统支持的高级配置和电源接口
  3. bus：总线子系统，比如PCI总线和USB接口
  4. irq: 系统中断信息
  5. net：网络接口的原始统计
  6. scsi：关于各自系统的scsi子系统信息
  7. sys：可以调整的内核参数
  8. tty：系统的虚拟终端和它连接的物理设备的信息

调整处理器子系统

调整进程优先级

# 查看进程的调度策略
[root@testnode ~]# chrt -m
SCHED_OTHER min/max priority	: 0/0
SCHED_FIFO min/max priority	: 1/99
SCHED_RR min/max priority	: 1/99
SCHED_BATCH min/max priority	: 0/0
SCHED_IDLE min/max priority	: 0/0
SCHED_DEADLINE min/max priority	: 0/0
# 查找rsyslogd的PID
[root@testnode ~]# ps -aux |grep rsyslogd
root        1026  0.0  0.4 165572  7936 ?        Ssl  11:27   0:00 /usr/sbin/rsyslogd -n
root        1660  0.0  0.1   6408  2176 pts/0    S+   11:37   0:00 grep --color=auto rsyslogd
# 查看rsyslogd的进程调度信息
[root@testnode ~]# chrt -p 1026
pid 1026's current scheduling policy: SCHED_OTHER
pid 1026's current scheduling priority: 0
# 将rsyslogd的实时调度优先级调整为50
[root@testnode ~]# chrt -p 50 1026
# 再次查看rsyslogd的调度优先级
[root@testnode ~]# chrt -p 1026
pid 1026's current scheduling policy: SCHED_RR
pid 1026's current scheduling priority: 50

调整CPU亲和力

CPU亲和力就是为了把一个或者多个进程绑定到一个或者多个核心上。CPU亲和力表示为十六进制的位掩码，最低位代表第一个逻辑CPU，最高位对应最后一个逻辑CPU

# 查看rsyslogd进程的PID
[root@testnode ~]# ps -aux |grep rsyslogd
root        1220  0.3  0.1 173028  6016 ?        Ssl  11:43   0:00 /usr/sbin/rsyslogd -n
root        1703  0.0  0.0   6408  2048 pts/0    S+   11:44   0:00 grep --color=auto rsyslogd
# 查看1220号进程所在CPU
[root@testnode ~]# taskset -p 1220
pid 1220's current affinity mask: f
# 将1220号调整到第二个逻辑CPU
[root@testnode ~]# taskset -p 2 1220
pid 1220's current affinity mask: f
pid 1220's new affinity mask: 2
# 将1220号调整到第4个CPU
[root@testnode ~]# taskset -p 8 1220
pid 1220's current affinity mask: 2
pid 1220's new affinity mask: 8

虚拟机的亲和力

可以将虚机里面的vcpu绑定到指定CPU

平衡中断

NUMA

# 查看当前主机的NUMA硬件情况，可见只有一个NUMA节点，上面有4个CPU逻辑核
[root@testnode ~]# numactl --hardware
available: 1 nodes (0)
node 0 cpus: 0 1 2 3
node 0 size: 3627 MB
node 0 free: 2962 MB
node distances:
node   0 
  0:  10

调整内存子系统

内存回收

# 查看内存信息
[root@testnode ~]# cat /proc/meminfo 
MemTotal:        3714640 kB
MemFree:         3032472 kB
MemAvailable:    3181968 kB
Buffers:            2708 kB
Cached:           343196 kB
SwapCached:            0 kB
Active:           206616 kB
Inactive:         222348 kB
Active(anon):     100392 kB
Inactive(anon):        0 kB
Active(file):     106224 kB
Inactive(file):   222348 kB
Unevictable:           0 kB
Mlocked:               0 kB
SwapTotal:       2113532 kB
SwapFree:        2113532 kB
Zswap:                 0 kB
Zswapped:              0 kB
Dirty:                 0 kB
Writeback:             0 kB
AnonPages:         83120 kB
Mapped:            60456 kB
Shmem:             17332 kB
KReclaimable:      49416 kB
Slab:             102096 kB
SReclaimable:      49416 kB
SUnreclaim:        52680 kB
KernelStack:        6128 kB
PageTables:         2136 kB
SecPageTables:         0 kB
NFS_Unstable:          0 kB
Bounce:                0 kB
WritebackTmp:          0 kB
CommitLimit:     3970852 kB
Committed_AS:     329092 kB
VmallocTotal:   34359738367 kB
VmallocUsed:       57540 kB
VmallocChunk:          0 kB
Percpu:            50688 kB
HardwareCorrupted:     0 kB
AnonHugePages:     20480 kB
ShmemHugePages:        0 kB
ShmemPmdMapped:        0 kB
FileHugePages:         0 kB
FilePmdMapped:         0 kB
CmaTotal:              0 kB
CmaFree:               0 kB
Unaccepted:            0 kB
HugePages_Total:       0
HugePages_Free:        0
HugePages_Rsvd:        0
HugePages_Surp:        0
Hugepagesize:       2048 kB
Hugetlb:               0 kB
DirectMap4k:      145216 kB
DirectMap2M:     4048896 kB
DirectMap1G:     2097152 kB

  1. 处理内存不足（OOM）

  2. OOM killer，内核为进程保持一个运行的不良分数，分数越高越有可能被杀掉

    [root@testnode ~]# cat /proc/1220/oom_score
    667

调整SWAP

  1. swappiness的调整
  2. 优化swap空间
    1. 使用高速硬盘作为swap空间
    2. 创建空闲分区作为swap空间，避免使用swap文件
    3. 使用多个swap分区，分散swap读写压力
  3. 合理估算swap空间

HugeTLBfs

HugeTLBfs特性可以是应用程序使用比普通分页更大的分页。可以通过proc/sys/vm/nr_hugepages修改大页大小，但大页大小和数量超过可用物理内存会引起内核panic。

内存同页合并

使用Kernel Samepage Merging功能将KVM虚机中完全相同的分页到同一个内存分页中。ksm进程实际地扫描内存和合并分页，ksmtuned控制ksm是否扫描内存和如何积极扫描内存。

调整磁盘子系统

磁盘子系统的性能最终取决于一个给定设备能够处理的输入输出请求的数量。一般情况下，增加驱动器数量或者更换更快速的硬盘是提高服务器性能最有效的手段。

  1. 通过创建合适的硬盘分区来提高文件系统属性安全和数据完整性
  2. 选择正确的I/O算法
  3. 选择合适的Cache模式

调整网络子系统

  1. 使用网卡绑定
  2. 巨帧
  3. 速度与双工模式
  4. 增加网络缓冲区
  5. 增加数据包队列
  6. 配置offload
  7. TCP/IP调整

限制资源使用

  1. ulimit

    # 系统默认状态
    [root@testnode ~]# ulimit -a
    real-time non-blocking time  (microseconds, -R) unlimited
    core file size              (blocks, -c) 0
    data seg size               (kbytes, -d) unlimited
    scheduling priority                 (-e) 0
    file size                   (blocks, -f) unlimited
    pending signals                     (-i) 14349
    max locked memory           (kbytes, -l) 8192
    max memory size             (kbytes, -m) unlimited
    open files                          (-n) 64000
    pipe size                (512 bytes, -p) 8
    POSIX message queues         (bytes, -q) 819200
    real-time priority                  (-r) 0
    stack size                  (kbytes, -s) 8192
    cpu time                   (seconds, -t) unlimited
    max user processes                  (-u) 14349
    virtual memory              (kbytes, -v) unlimited
    file locks                          (-x) unlimited

  2. cgroup