1. 为什么需要专业的磁盘性能测试工具当你新买了一块硬盘或者搭建了一个存储系统最想知道的是什么当然是它的性能到底如何。就像买车要试驾一样磁盘也需要试驾工具。我在实际工作中见过太多人用简单的文件拷贝来测试磁盘速度结果被缓存机制坑得怀疑人生。真正的性能测试需要模拟真实业务场景这就是为什么我们需要vdbench和fio这样的专业工具。这两个工具最大的特点是能够精确控制测试条件。比如你可以设置顺序读写还是随机读写调整队列深度模拟多线程并发访问甚至混合读写比例。这些参数对应着不同的业务场景数据库喜欢小块的随机读写视频处理需要大块的顺序读写而云存储往往需要混合负载。我曾经帮一个客户调试NAS性能问题他们用常规方法测试显示速度很快但实际业务中却频繁卡顿。后来用fio设置了32线程随机读写才发现磁盘的IOPS根本达不到标称值。这就是专业工具的价值——它能暴露真实场景中的性能瓶颈。2. vdbench从入门到精通2.1 环境搭建与快速上手vdbench是Oracle开发的存储性能测试工具用Java编写所以跨平台性很好。安装其实特别简单我习惯用下面这个一键脚本# 安装JDK yum install java-1.8.0-openjdk -y # 下载vdbench wget https://download.oracle.com/otn/utilities_drivers/vdbench/vdbench50407.zip unzip vdbench50407.zip cd vdbench50407 chmod x vdbench第一次使用时建议创建一个测试目录作为基准点比如我在/root/vdbench_test下放了三个配置文件basic_read.conf基础读测试basic_write.conf基础写测试mixed.conf混合读写测试最简单的读测试配置长这样fsdfsd1,anchor/mnt/test,depth1,width1,files10,size1G fwdfwd1,fsdfsd1,xfersize4k,operationread,threads1 rdrd1,fwdfwd1,fwdratemax,elapsed60这个配置会在/mnt/test下创建10个1G文件然后用单线程进行4k随机读测试持续60秒。2.2 高级配置技巧真正体现vdbench威力的是它的丰富参数。去年我们测试全闪存阵列时就用到了这些进阶配置多级目录结构fsdfsd1,anchor/mnt/deep,depth3,width10,files5,size100M这会创建10^3×55000个文件模拟海量小文件场景。混合负载模拟fwdfwd1,fsdfsd1,xfersize8k,operationread,threads8 fwdfwd2,fsdfsd1,xfersize64k,operationwrite,threads4 rdrd1,fwdfwd1,fwdrate100,elapsed300 rdrd2,fwdfwd2,fwdrate50,elapsed300这个配置同时运行8个读线程和4个写线程读操作每秒100次写操作每秒50次。实际案例某次测试中我们发现当队列深度增加到32时机械硬盘的延迟从15ms飙升到200ms。这就是典型的队列堆积现象说明磁盘已经达到性能极限。3. fio的灵活应用3.1 基础测试场景fio的灵活性在于它支持多种使用方式。最简单的命令行模式适合快速测试fio -nametest -filename/dev/sdb -rwrandread -bs4k -numjobs16 -runtime60但更推荐使用配置文件方式特别是需要复杂测试时。这是我常用的模板[global] ioenginelibaio direct1 runtime300 time_based [4k-randread] rwrandread bs4k iodepth32 numjobs8 filename/dev/nvme0n1这个配置会测试NVMe SSD的4k随机读性能使用8个线程每个线程队列深度32。3.2 企业级测试方案在生产环境中我通常会设计多阶段测试预条件阶段用write模式填充整个磁盘避免空闲空间影响稳态测试持续运行足够长时间至少30分钟峰值测试短时间高压力测试恢复测试观察压力解除后的性能恢复情况一个典型的全盘测试配置[fill] rwwrite bs1M size100% filename/dev/sdb [steady] rwrandrw rwmixread70 bs8k iodepth64 numjobs16 runtime1800 filename/dev/sdb4. 测试结果分析指南4.1 关键指标解读拿到测试结果后要重点关注这些指标带宽BW单位MB/s适合大块顺序读写IOPS每秒IO次数对小块随机访问更重要延迟lat特别是第99百分位延迟lat_99th我曾经遇到过一个案例平均延迟很好2ms但第99百分位延迟高达200ms导致应用时不时卡顿。这就是为什么不能只看平均值。4.2 常见性能问题通过测试数据可以诊断很多问题带宽不达标检查是否达到接口速率上限比如SATA3的600MB/sIOPS偏低可能是队列深度不够或并发不足延迟波动大可能是后端存储遇到瓶颈一个实用的技巧是配合监控工具观察测试时的系统状态# 监控磁盘队列 iostat -x 1 # 查看CPU利用率 mpstat 1 # 观察内存使用 vmstat 15. 实战经验分享5.1 测试环境搭建要点很多人忽略了一个重要事实测试环境本身会影响结果。我建议尽量在裸设备上测试避免文件系统开销如果必须用文件系统测试前先执行sync; echo 3 /proc/sys/vm/drop_caches关闭不必要的后台进程和服务记录完整的系统配置CPU、内存、驱动版本等5.2 避坑指南这些年我踩过的坑包括忘记设置direct1结果测的是内存缓存速度测试时间太短没有达到稳态没有预热SSD新SSD需要先写入一定数据才能达到最佳性能忽略温度对性能的影响高温会导致SSD降速有一次测试NVMe SSD时连续跑了几轮测试后性能突然下降。后来发现是温度超过80度触发了保护机制。现在我都会在测试时用sensors命令监控温度。6. 进阶技巧自动化测试方案对于需要频繁测试的场景我开发了一套自动化脚本自动生成测试配置并行执行多组测试收集结果并生成可视化报告与历史数据对比分析一个简单的自动化示例for bs in 4k 8k 64k 1M; do for rw in read write randread randwrite; do fio --output-formatjson --output${rw}_${bs}.json \ --rw$rw --bs$bs --runtime60 ... done done这套系统帮助我们发现了多个性能退化问题比如某次内核更新导致的小文件写入性能下降30%。