会员登录
  • 请输入用户名

    请输入用户名

  • 请输入密码

    请输入密码

  • 请输入验证码

    请输入验证码

  • 记住用户名
所在位置:首页>最新资讯>针对海量小文件 非结构化数据的NAS灾备新方案

针对海量小文件 非结构化数据的NAS灾备新方案

来源:作者:gaoxuan发表于:2018-01-09

 

关键词:NAS存储,NAS数据备份,海量小文件灾备,金融/电商NAS灾备

 

在公检法及互联网电商等组织机构的机房里,存在着大量的NAS存储架构。虽然NAS本身具有一定的文件共享和数据备份的功能,但是随着非结构化数据与各类小文件的日积月累,这些功能已经难以满足用户对关键数据实时性与便捷性等方面的灾备需求。

 

为了更加全面展示NAS灾备新方案的特征,英方工程师首先介绍NAS的相关知识。

 

1

NAS存储及应用场景

 

NAS(NetworkAttached Storage) 是一种采用直接与网络介质相连的特殊设备实现数据存储的机制。它基于标准网络协议实现数据传输,为网络中的Windows / Linux / Mac OS等各种不同操作系统的计算机提供文件共享和数据备份。

 

NAS的优点很多,包括部署简单,可以使NAS主机、客户机和其他设备广泛分布在整个企业的网络环境中;NAS适用于那些需要通过网络将文件数据传送到多台客户机上的用户;在高效的文件共享任务中,例如UNIX中的NFS和Windows NT中的CIFS,其中基于网络的文件级锁定提供了高级并发访问保护的功能;以及能够充分利用现有的网络资源,提供强劲的存储容量的扩展和多台服务器对海量文件级的数据读写;另外,NAS存储还能降低存储资源开销及整体拥有的成本等等。

 

简单地说,NAS存储很好地解决了文件级(file)数据集中存储与共享的用户需求。因此NAS能够满足那些希望降低存储成本但又无法承受SAN昂贵价格的中小企业的需求,具有相当好的性价比,特别适合对数据安全性高,具有海量数据存储需求以及组织网络中存在异构平台的机构,在企业办公自动化OA系统、医疗数据、影楼影像数据、互联网电商平台、公检法卷宗类海量小文件等场景具有强烈的需求。

 

2

NAS灾备在新环境下的挑战

 

如上所述,NAS具有一定的数据备份的功能,包括本地备份(将电脑上的数据通过局域网备份到NAS中)、异地备份(将异地电脑上的数据通过广域网备份到NAS中)和NAS间备份(NAS与NAS之间复制数据)等等。

基于NAS存储的集群架构

 

但是这些备份都是基于传统的备份方案进行,具有操作繁琐、需要备份时间窗口,主备端配置一致等软肋,无法满足组织机构业务数据量快速增长的实时备份以及经济高效的需求。英方工程师根据实际的场景分析,总结了NAS灾备在大数据等新环境下的挑战:

 

1)数据量越来越大,而现有的NAS系统是在文件管理系统层次进行复制,这决定了要么就全部复制,要么就都不复制,但在实际场景中,用户更希望只对相关的文件进行实时备份,但是因为前端业务集群服务器主机可能会同时读写同一个NAS文件夹中的数据,造成无法实现数据的实时保护。

 

2)在备份海量小文件时,例如两千万的数据量,传统的灾备方式在进行实时复制时,无法确保复制数据时在主备两端的数据一致性,以及在第一次全镜像的同时,无法确保镜像过程中增量部分的同步。

 

3)异地备份难,数据量的增加使得带宽成本加大,同时用户无法接受定期和长时间的备份操作等过程,数据安全性面临的风险大。

 

3

基于i2NAS的灾备新方案

 

在NAS存储方案中,用户大多使用的方案是多个前端业务的集群共享同一个NAS存储的目录,它们拥有共同读写机制,确保不会写冲突。这样的读写机制确保了文件的唯一性,这种方案可以快捷扩展前端集群节点的数量,以增加用户对实际的访问量的需求。

 

下面介绍的i2NAS灾备新方案,正是在这样的环境进行的。

 

i2NAS是英方针对NAS数据灾备的新方案,它是针对NAS无法安装客户端、数据非实时同步、RTO高、需要消耗大量主机资源等特点进行了灾备技术上的创新,为用户提供百TB级别数据灾备保护的新方案。

 

i2NAS具有定时与准实时两种方案,由于篇幅有限,我们在此只介绍更适合于针对海量小文件/非结构化数据的准实时方案。之所以称为准实时方案,是因为i2NAS是基于英方字节级复制同步软件i2COOPY的技术原理,由于i2COOPY实时复制在一般服务器下能够做到毫秒级数据同步,而在NAS服务器集群环境下,i2COOPY通过在生产端指定一个服务器作为其他服务器IO变化的合并节点,能够在备端的服务器达到秒级同步读写的目的。

 

下面是i2NAS详细的逻辑拓扑图,整个数据复制流程是:

 

1)在各业务服务器上安装客户端;

2)英方客户端会将各业务服务器上修改的文件名和该文件的存储路径发生给“英方NAS汇聚服务器”;

3)由英方NAS汇聚服务器实时读取NAS数据;

4)发送给灾备端。

 

由于该解决方案是旁路监听,因此对主业务的节点变化是安装客户端,但是客户端本身不产生性能开销,只是监控对应服务器会对目录当中的某个文件进行修改。如上图所示,假如集群中有三台服务器,当第一台修改完了,会传输到英方NAS监控服务器上,然后会优先进行传输;当第二台修改完后,就会进入文件队列传输的等待过程,依次类推……英方监控服务器得到更改确定的指令后,会第一时间去读对应目录下的名称,然后经过TCP/IP网络发送到灾备端的服务器。该方案既解决了实时同步的问题,又解决了海量数据情况下数据复制时间窗口的问题,确保当生产环境NAS存储出现故障时的数据安全,业务连续。

 

4

i2NAS灾备新方案6大优势

 

1)、无备份窗口,可实现准实时的数据传输,可支持百TB级别的数据量保护;

 

2)、对用户现有的业务架构无调整,只增加同步主机、灾备主机,同时在客户的业务环境上安装客户端,如果使用存储级的复制,需要对存储本身进行调整;

 

3)、对用户的资源系统没有多余的开销,因为去同步主机才会产生数据的读取,对源端的业务没有压力,对I/O的消耗比较小;

 

4)、支持异地数据复制,同时备端数据可见,因为主备端的数据与文件目录相同,可随时查看数据的一致性;

 

5)、备端数据随时可用,当用户需要容灾演练,查看备端海量的数据的启动时间非常短;

 

6)、弥补现有解决方案中无法针对使用NAS作为存储冗余架构的不足,英方提供全场景解决方案,能够满足用户同时做实时数据复制备份、非结构数据同步、高可用等容灾备份的综合需求。

 

目前,英方i2NAS数据灾备新方案已经成功用于海通证券影像数据同步、长安信托OA、多金系统、车贷、信贷等系统项目。而在针对拥有海量小文件/非结构化数据类型的金融、公检法、互联网等行业客户,i2NAS数据灾备方案在结合高可用等灾备方案后,可以为用户实现全场景的灾备服务。

 

 

推荐阅读:


从一块硬盘坏了正儿八经地学习全套存储知识

技术的芳华在这里绽放 I 关于初衷、坚持和未来

云也不好使,AIX+Oracle双机灾备预算不够要这样整

相关文章

品牌案例