服务器数据恢复—raid5阵列热备盘未全部启用导致阵列崩溃的数据恢复案例

服务器存储数据恢复环境：
一台EMC某型号存储中有一组RAID5磁盘阵列。该raid5阵列中有12块硬盘，其中2块硬盘为热备盘。

服务器存储故障：
该存储raid5阵列中有两块硬盘离线，只有1块热备盘启用替换掉其中一块离线盘，另外1块热备盘未成功启用，raid5阵列崩溃，存储不可用。
磁盘阵列中硬盘离线的原因通常是磁盘存在物理故障或者硬盘出现坏道。由于EMC存储中的raid控制器的磁盘检查策略十分严格，经常将硬盘的性能不稳定判定为硬件故障并将该硬盘踢出raid。很多情况下EMC存储中raid崩溃的原因就是磁盘读写不稳定。

服务器存储数据恢复过程：
1、将存储中所有磁盘标记后取出，由硬件工程师对所有磁盘进行物理故障检测，经过检测没有发现有硬盘（包括离线硬盘）存在物理故障。使用坏道检测工具进行排查也一切正常。以只读方式将所有磁盘进行扇区级全盘镜像。镜像完成后将所有磁盘按照标记还原到原存储中，后续的数据分析和数据恢复操作都基于镜像文件进行，避免对原始磁盘数据造成二次破坏。

2、基于镜像文件分析RAID组结构。分析发现作为热备盘的2块盘全部没有数据，其中一块热备盘虽然成功激活并替换一块掉线的硬盘，但是数据并未同步。继续分析该raid的条带大小、数据的分布规律、磁盘顺序等重组raid的必要信息，并找到较早掉线的那块硬盘。根据分析获取到的raid相关信息重组raid。
3、分析磁盘阵列中的LUN。由于底层只分配了一个LUN，所以只需分析这一个lun的信息。分析完成后使用北亚企安自主开发程序解释map数据并导出，然后使用另外一个自主开发的程序对导出数据进行zfs文件系统解释，但是在解析过程中出现报错。工程师对该程序做debug调试后发现报错原因是文件系统中的某些元文件损坏。需要将这些损坏的文件系统元文件进行修复后才能正常解析ZFS文件系统。
4、对损坏的元文件进行分析后发现，ZFS文件系统正在进行IO操作的时候raid瘫痪，从而导致元文件损坏。北亚企安数据恢复工程师对这些损坏的元文件进行手工修复。
5、修复完成后再次做ZFS文件系统解析，解析所有文件节点及目录结构。解释完成后验证所有数据，经过验证确认所有数据完整。用户认可数据恢复结果。