公司内ODS数据库,DB2 10.5, 部署在AIX小机7.1,数据量达到15T左右,备份要求在10小时内完成。
看看各位社区专家有什么好的方案,或者采用什么软件可以在规定窗口期内完成。
用带库吧,备份软件啥都行,比如TSM、NBU
10小时备份15T,算下来450M/S左右。
目前LTO7开压缩理论值750M/s,不开300M/s,备份的时候多来几个驱动器开多通道并行,咋也够了。
LTO7大概16年发布的吧,磁带容量6T,开压缩15T,一次备份的数据量,大概一盘磁带吧。。。
之前遇到过类似情况,提几个想法:
一是要数据库做优化,再增加投入,具体来说就是数据库数据要分散在多个大小接近的表空间,物理磁带库使用多个磁带机去并发备份,存储光纤通道带宽也要够,理论上最大备份速度可以接近数据库磁盘读带宽。
存储快照的方案比较高效,但要注意快照时要数据库配合做静默,否则数据不一致。
另外备份介质如果选择能开启重删功能的ssd存储池,每天增量数据并不多,就不需要那么高的备份带宽要求,但确实会消耗数据库cpu。
我觉得,除了tsm的方案,如果同时有在用ibm的svc或其他存储产品的话,一般有flashcopy功能,就不一定要限定在10小时时间窗口,flashcopy拉起到aix备份机去挂载hdisk和vg,启动db2再备份就好了,时间相对自由,具体和备份机、存储性能有关,对生产影响相对也安全可控。
再配合tsm方案也可以的。
收起按照这个要求,理论平均备份速度得450MB/s左右,考虑到实际备份不可能全程满载,按0.7的经典值估算,大概备份速度得650MB/s左右,备份存储性能压力很大,物理磁带库的话LTO5/6驱动器的话,至少4个驱动器,最好能分到6个以上,并不是越多越好,和DB2那边数据文件大小、数量配置有关。虚拟磁带库的话,考虑到其他备份任务的负载,至少实际IO负载(不是理论)要1GBps以上。
如果预算不受限的话,旗舰备份存储满上吧,这个要求基本也是中高端备份存储的实际性能的标准了。推荐的话,单推 DataDomain系列(不买也行,利益无关),这个速率开个源端重删,网络压力少很多。如果考虑其他虚拟磁带库,要考虑虚带容量上来后的吞吐性能衰减,虽然厂家都不标,但实测衰减还是很明显的。即使是DataDomain也存在这个问题。
IBM TSM+虚拟带库,硬盘选择闪盘,备份可以满足要求
收起主要取决于磁盘的速度,cpu数量和单个表空间的大小。
现在备份要用多少时间,最大表空间是多大,存储是用的啥,写入速度有多少。如果表空间分布均匀,磁盘写入达到500M/s以上,10个小时可以完成。
如果备份的速率能够持续保持在 500M/s ,整体备份难度不大。大部分的备份软件和存储介质(需要结合存储介质的速度和数量综合评估,保持50%或以上的 IO 冗余)能够满足。
需要重点考虑的是备份操作进行的时候数据库本身的 IO 对备份速率的影响(例如运行的进程、数据库大文件的复制操作、主机内存的影响、主机本身的性能影响等)
收起有几个问题需要考虑的
(1) 如果要求备份1.5TB每个小时,就意味着每秒 450MB ,要考虑到ODS数据库 存储的性能,是否可以达到这样的的读取速度?
存储是什么? EMC ,华为 ,全闪存储么?
备份软件首先要读取 数据库的数据,然后写入到后端备份一体机或磁带库;
(2)要考虑 每秒备份读取达到 450MB时,是否会对生产系统造成压力?
(3)AIX小型机 ,CPU平时的负载是什么样的,
如果上前端消重,对CPU和内存会有一定的消耗,
比较理想的解决方案
(1)必须前端消重,要求消重率 90%以上,要求对CPU和内存消耗较小;
(2)备份一体机,要求用NVME SSD盘,这样盘写入速度可以达到2GB每秒
(3)后端消重,存储的空间会小很多;
(4)备份网络要求 万兆网络起步
国外备份软件产品
(1) VERITAS NETBACKUP
(2) COMMVAULT
(3) COHESITY
(4) IBM TSM
国内备份产品
(1) 明和MHFLEX超融合第二存储,带前端消重功能,DB2可以到90%左右,具体需要实际测试,以实际测试数据为准;每天日志量400G , 这个部分消重率比较低。
(2) 爱数 ,有消重功能
(3) 鼎甲,听说有前端消重,
(4) 英方,听说无消重功能,A股上市
还有一个 不需要前端去重的解决方案,就是后端备份一体机是后端消重(比如EMC DD,明和DPD消重,华为OCEANPROTECT )
这个时候对网络带宽的压力比较大,后端消重能力看DD消重率。
最好做POC测试,厂家给的数据 未必准确,有一定“遥遥领先”的成分,还是要看实际测试效果。
针对这个问题,我可以提供以下建议:
综上所述,以上建议可以帮助您优化数据库备份方案,提高数据库性能,缩短备份时间,保证备份数据的安全性和可靠性。同时,也可以考虑升级硬件或者对数据库进行分区,以满足备份时间的要求。