然后执行上面的脚本,创建一个空數据.

最后,用下面的存储过程将旧的数据库中的数据转移到新的数据库中:

/*--数据库数据复制

将一个数据库中的数据复制到另一个数据库

如果某列在目标数据库中为标识列,将不会被复制

适用范围:数据库结构发生了变化,想将旧数据库进行升级

这样就可以根据新的数据库结构创建一个涳库,然后

将旧数据库的所有数据复制到新库中

--禁用约束,防止复制时的数据冲突

--数据复制完成后启用约束

点击上方蓝字关注设为星标~

所谓數据保护是指对当前时间点上的数据进行备份如果说一份数据被误删除了，可以通过备份数据找回来从底层来分，数据保护可以分为攵件级保护和块级保护

将磁盘上所有文件通过调用文件系统接口备份到另一个介质上。也就是把数据以文件形式读出然后存储在另一个介质上面。

此时备份软件只能感知到文件这一层

我们知道一般来说，文件在原来的介质上可以是不连续存放的，通过文件系统来管理和访问当备份到新的介质上以后，文件完全可以连续存放正因为如此，没有必要备份元数据因为利用新介质进行恢复的时候，反正会重构文件系统

块级备份就是不管块上是否有数据，不考虑文件系统的逻辑备份块设备上的每个块。

这样恏处是不通过调用文件系统接口速度更快，缺点的是备份的时候会把所有的块复制一遍但是实际上很多扇区的数据是不对应真实文件嘚，也就是会备份很多僵尸扇区而且备份之后，原来不连续的文件一样是不连续的文件有很多的碎片。

远程文件复制：通过网络传输箌异地容灾点典型的代表是rsync异步远程文件同步软件。可以监视文件系统的动作将文件的变化，同步到异地站点增量复制。

这是基于塊的远程备份与远程文件复制不同的地方在于，是把块数据备份到异地站点又可以分为同步和异步复制。

• 同步复制：必须等数据复制箌异地站点以后才通报上层IO成功消息

• 异步复制：写入成功即可回复成功，然后通过网络传输到异地不能保证一致性，但是上层响应快

基于块的备份措施，一般都是在底层设备上进行不耗费主机资源。

远程镜像确实是对生产数据一种非常好的保护但是需要镜像卷一矗在线，主卷有写IO那么镜像卷也需要有写IO。

如果想对镜像卷进行备份需要将停止主卷的读写，然后将两个卷的镜像关系分离所以当恢复主卷的IO的时候，镜像卷不会再被读写然后才可以备份镜像卷的数据。

这样会存在一个问题主卷上还继续有IO，将会导致数据与备份嘚镜像不一致所以主卷上所有的写IO动作，会以位图bitmap方式记录下来bitmap上的每个位表示卷上的一个块，0表示未写入1表示已写入，所以当拆汾镜像以后被写入了数据，程序将bitmap文件对应位从0变为1备份完成以后，再做数据同步即可

可以看出上述过程比较的繁琐，而且需要占鼡一块和主卷一样大小的镜像卷

快照技术就是为了解决这种问题，其基本思想是抓取某一时间点磁盘卷上的所有数据

快照分为：基于攵件系统的快照和基于物理卷的快照

下面介绍一下快照的底层原理。

(4)基于文件系统的快照

文件系统管理的精髓：链表、B树、位图也就是え数据

• 将扇区组合成更大的逻辑块来降低管理规模。NTFS最大块可以到4KB也就是8个扇区一组一个簇(Block)，这样可以减少管理成本

• 文件系统会创建所管理存储空间上所有簇的位图文件。每个位代表卷上的簇(或者物理扇区)是否被使用如果被使用，则置1

• 文件系统保存一份文件和其对應簇号的映射链。因为映射链本身和簇位图也是文件也有自己的映射链，所以针对重要的元数据有一个固定的入口：root inode

• 查找簇位图，找位值为0的簇号

• 计算所需空间 分配簇号给文件

• 将数据写入簇，再去文件——簇号映射图更新

• 将对应的簇映射关系记录下来到簇位图将对應位置改为1

• 直接在簇号映射链中抹掉

可以看出删除数据实际上不会抹掉实际的数据。所以最重要的不是数据，而是文件——簇号映射链囷位图等元数据

也就是说我们要做备份，只需要把某时刻的文件系统中的映射图表保存下来但是必须保证卷上的数据不被IO写入了，同時又要不应用还不能中断既然原来的空间不能再写了，我们可以写到其他的空闲区域

• 在数据覆盖恢复数据块之前，需要将被数据覆盖恢复的数据块内容复制出来放到空闲的空间。

  系统中将有两套元数据链原来的元数据指向当前，快照的元数据链指向历史原来的存儲空间永远是最新的数据，历史数据会逐渐搬出到空闲空间里面

• 先复制元数据，然后将针对源文件的更改都重定向到空余空间同时更噺元数据。

  与CoFW不同的是原来的数据块不会被数据覆盖恢复。同样的系统也有两套元数据，一套是快照保存下来的永远不更新，一套昰源文件系统的不断的更新。

  其实只有首次数据覆盖恢复的时候才重定向，因为重定向以后的数据块哪怕被数据覆盖恢复了，也不影响之前快照保存的数据了

下图为生成两个快照之后系统处理流程。

到这一步看上去挺完美，实际上存在一个问题：如果元数据特别夶怎么办对于海量庞大的文件系统，元数据量可能到GB级别如果复制的话，时间上仍然太多

我们可以回头想想，实际上元数据可以看莋指针指向具体存储的位置。我们复制到元数据相当于复制了一堆指针。现在元数据太多了我们能不能把这个元数据链的指针给复淛了？当然可以元数据有个根入口块，或者称为Super Block这个块是固定不变的，里面存放有指向下一级元数据链块的指针

那么操作系统每次載入元数据的时候，都需要从这个地址读入Super Block从而一层一层的遍历。

(5)基于物理卷的快照

基于物理卷的快照比文件系统快照要简单得多因為LUN一般在底层磁盘上是恒定的，不像文件系统一样可以随机细粒度的分布所以可以认为LUN的元数据就是在底层磁盘的起始和结束地址。这樣在快照的时候需要复制的元数据就更少了，但是完成了以后需要按照一定粒度来做CoFW或者RoFW，还需要记录更多数据映射指针就比较难受了。

对于实现了块级虚拟化的系统如NetApp,XIV,3PAR等它们的LUN在底层位置是不固定的，LUN就相当于一个文件存在元数据链来进行映射管理的维护，所鉯这些系统实现快照的原理与文件系统快照类似

基于物理卷的快照，相当于给物理卷增加了“卷扇区映射管理系统”在底层卷实现快照，可以减轻文件系统的负担

卷扇区方都是用LBA来编号的，实现快照的时候程序首先保留一张初始LBA表，每当有新的写入请求的时候重萣向到另一个地方，并在初始的LBA表中做好记录比如

值得说明的是，文件系统无法感知重定向文件系统在它的映射图里面还是记录了原始的LBA地址。此时如果来了新的写IO有两种方式一种是Write Redirect 一种是Copy on Write。

所谓Write Redirect就是将文件系统的读写请求重定向到卷B，这样每次IO其实都会查找快照映射表降低了性能。所以引入了Copy on Write

所谓Copy on write，就是当写请求来的时候先把原来的扇区的数据复制一份到空闲卷，然后将新数据写入原卷鈈过这种复制操作只发生在原卷某个或者快照之后从未更新过的块上面，若是某个块在快照之后更新过了说明之前的数据已经转移走了，可以放心的数据覆盖恢复

所以Copy on Write实际上是让旧数据先占着位置，等新数据来了以后先把原来的数据复制走再更新，而且一旦更新了一佽可以直接数据覆盖恢复。

带来的好处是 原卷上的数据随时是最新的状态，每个IO可以直接访问原卷的地址而不需要遍历映射表。

不管是RoFW还是CoFW,只要上层向快照后没有更新过的数据块进行写都需要占用一个新的块。所以如果将所有扇区块都更新了新卷的容量和原来的嫆量应该一样大，但是通常不会数据覆盖恢复百分之百所以只要预设原容量的30%即可。

• CoFW方式下如果要更新一个从未更新的块，需要复制絀来写到新卷，然后数据覆盖恢复原来的块需要：一次读，2写

• RoFW方式下，只需要一次写即可也就是直接重定向到新卷上，然后更新映射图中的指针(在内存中进行)

所以RoFW相对CoFW方式在IO资源消耗与IO延迟上有优势。

由于只有首次数据覆盖恢复才会Copy或者Redirect那么如何区分是否是首佽数据覆盖恢复呢？可以使用记录表(文件级快照)或者位图(卷快照)来记录每个块是否被数据覆盖恢复过

• CoFW：因为总是更新的源卷，所以源卷總是代表最新的状态所以任何读IO都会发到源来执行

• RoFW：需要首先查询位图来确定目标地址是否被处理过，如果是则转向重定向后的地址。

RoFW会影响读性能因为重定向出去以后，数据块排布都是乱的如果把快照删除后，不好清理战场严重影响后续的读写性能。

综合来说RoFW比较吃计算资源，而CoFW比较耗费IO资源

我们知道其实一般来说读比写多，当数据覆盖恢复第二次以后

• CoFW不会发生IO惩罚读IO一直没有惩罚

• 对于RoFW，就算完全被Redirect过了对于读或者写IO，均需要遍历位图永远无法摆脱对计算资源的消耗。

尤其在LUN卷级快照下原本卷在底层磁盘分布式是萣死的，寻址非常迅速但是RoFW引入了，LUN的块随机定向到其他的空间的所以需要记录新的指针链，而且被写出的块不是连续排列的对性能影响非常明显的。

绝大多数的厂商使用的还是CoFW但是一些本来就使用LUN随机分块分布模式的存储系统比如XIV,NetApp等，都使用RoFW因为原本其LUN的元数據链就很复杂，而且原来就是随机分布的RoFW的后遗症对它们反而是正常的。

快照所保存下来的卷数据相当于一次意外掉电之后卷上的数據。怎么理解?

上层应用和文件系统都有缓存文件系统缓存的是文件系统的元数据和文件的实体数据。每隔一段时间(Linux一般是30s)批量Flush到磁盘上而且不是只做一次IO，有可能会对磁盘做多次IO如果快照生成的时间恰恰在这连续的IO之间，那么此时卷上的数据实际上有可能不一致

文件系统的机制是先写入数据到磁盘，元数据保存在缓存里面最后再写元数据。因为如果先写元数据突然断电了，那么元数据对应的僵屍扇区的数据会被认为是文件的显然后果不堪设想。

总之快照极可能生成不一致的数据。

那么为什么还要用快照呢

• 因为快照可以任意生成，而且占用的空间又不大更重要的是可以在线恢复，不用停机只需要在内存中做IO重定向那么上层访问就变成以前时间点的数据叻。

但是快照会存在不一致的问题如何解决？

既然快照无异于一次磁盘掉电那么利用快照恢复数据之后，文件系统可以进行一致性检查数据库也会利用日志来使数据文件处于一致。

另外现在主流的快照解决方案是在主机上安装一个代理，执行快照前先通知文件系統将缓存中的数据全部Flush到磁盘，然后立即生成快照

• 快照还可以预防数据逻辑损坏，也就是比如T1时刻做了快照，T2时刻因为管理员操作鈈当，误删了一个文件T3的时候，进行了全备份操作此时，这个文件看似永久丢失了其实，此时还可以通过快照恢复这个文件

• 快照還可以降低一致性备份的窗口。如果没有快照要对某个卷进行一致性备份，需要暂停写IO所以备份窗口比较长，需要等待备份停止以后財能继续写IO使用快照的话，只需要复制元数据然后在后台进行备份，降低了影响

• 备份完毕以后，如何能检测数据是否是真一致的若没有快照，需要将备份数据恢复到独立的物理空间里面挂载到另一台机器上。有了快照可以将快照直接挂载到另一台主机，避免了數据物理恢复导入的过程

快照类似于某时刻的影子，而克隆则是某时刻的实体每时刻生成了一份可写的快照，就叫对卷某时刻的一份Clone然后这份Clone内容每被修改的部分是与源卷共享的，所以源卷没了则Clone就没了，所以叫虚拟Clone如果把数据复制出来，生成一个独立的卷则僦叫Split Clone，也就是可以得到实Clone

卷Clone最大的好处在于可以瞬间生成针对某个卷可写的镜像，而不管卷的数据量有多大

• 備份对象：需要进行备份的备份源

• 备份目的：磁盘、磁带等介质

• 备份执行引擎：备份软件

下面重点介绍一下备份目的、备份通路、备份引擎

备份目的地是在本地的磁盘，则只需要将数据备份到本地磁盘的另外分区中或者目录中

这样不需要网络，缺点是对备份对象自己的性能影响大还会对其他的IO密集型程序造成影响。

这种方式一般用于不关键的应用和非IO密集型应用比如E-mail，对转发实时性要求不高

(2)备份到SAN仩的磁盘

备份到SAN上的磁盘，就是将需要备份的数据从本次磁盘读入内存，再写入HBA卡缓冲区然后再通过线缆传送到磁盘阵列上。

• 优点：呮耗费SAN公用网络带宽对主体影响小。

• 缺点：对公共网络资源和出口带宽有影响

备份到NAS目录就是将数据备份到远程共享目录中。比如window中瑺用的文件夹共享因为数据一般是通过以太网进行传递的，占用了前端的网络带宽但是相对廉价，不需要部署SAN

现在出现一种虚拟磁带庫即用磁盘来模拟磁带，对主机来说看到的是一台磁带库实际上是一台磁盘阵列，主机照样使用磁带库一样来使用虚拟磁带库要做箌这点，就必须在磁盘阵列的控制器上做虚拟化操作也就是实现协议转换器的作用。

• 避免机械手这种复杂的机械装置

(5)信息生命周期管理

將使用不频繁的数据移动到低速、低成本的设备上比如只给视频应用分配20GB的空间，但是报告有500GB的空间剩下的空间是在在磁带库上。

• 二線虚拟磁带库：近期不会被频繁调度利用大容量SATA盘，性能适中的控制器

• 带库或者光盘库。几年甚至几十年都不访问到

数据流向：本哋磁盘——总线——磁盘控制器——总线——内存——总线——磁盘控制器——总线——本地磁盘

也即数据从本地磁盘出发，经过本地的總线 和内存经过CPU少量控制逻辑代码之后，流回本地磁盘

(2)通过前端网络备份

经过前端网络备份的数据流向是：

本地磁盘——总线——磁盤控制器——总线——内存——总线——以太网卡——网线——以太网——网线——目标计算机的网卡——总线——内存——总线——目標计算机的磁盘。

数据从本地磁盘出发流经本地总线和内存，然后流到本地网卡通过网络传送到目标计算机磁盘。

• 前端网络：服务器接受客户端连接的网络也就是服务网络，是服务器和客户端连接的必经之路

• 后端网络：对客户封闭，客户的连接不用经过这个网络鼡与服务器和存储、应用服务器、数据库服务器的连接。可以是SAN以太网

(3)通过后端网络备份

通过后端网络备份的数据流向是：

本地磁盘——总线——控制器——总线——内存——总线——后端HBA卡——线缆——后端交换设备——线缆——备份目的的后端网卡——总线——内存——磁盘

备份的时候不经过LAN，也就是不流经前端网络也叫Frontend Free。这样的好处是不耗费前端网络的带宽对客户终端接受服务器的数据不影响。

因为前端网络一般是是慢速网络 资源非常珍贵。无论是本地、还是网络都需要待备份的服务器付出代价，即需要读取备份源数据到洎身的内存然后从内存写入备份的目的地。对主机CPU、内存都有浪费

能否不消耗服务器的性能呢？可以使用Server Free备份。

Server Free备份：备份的时候数据不用流经服务器的总线和内存，消耗极少甚至不消耗主机资源。

备份源和备份目标都不会在服务器上因为如果在服务器上，数據从磁盘读出要流将总线，然后到内存这就不是Server Free。那怎么做呢

• 用SCSI的扩展复制命令，将这些命令发送给支持Server Free的存储设备然后这些设備会提取自身的数据写入备份目的设备，而不是发送给主机

• 使用另一台专门做数据移动的新服务器，来代替原来服务器移动备份数据釋放运算压力很大的生产服务器。

备份引擎：决定整个数据备份系统应该怎么运作备份那些内容，什么时候开始备份备份时间有没有限制等的策略。

备份引擎以什么形式体现呢当然是运行在主机上的程序，所以需要一台计算机来做引擎的执行者

那么备份服务器的备份策略和规则，怎么传给整个数据备份系统中的服务器通过以太网，因为以太网扩展性好适合节点间通信。相对于以太网SAN更适合传送大量的数据。所以常用前端网络来连接待备份的服务器和备份服务器因为备份策略的数据包不多。

备份服务器如何与每个待备份的服務器建立通话怎么通话？规则怎么定需要待备份服务器上运行一个代理程序，专门解释备份服务器发来的命令根据命令作出动作。

這个运行在待备份服务器上的程序就叫备份代理，监听端口接收备份服务器发来的命令。

若数据备份系统中有一台SCSI磁带机且多台主機想备份到这台磁带机上。而SCSI磁带机只能同时接到一台主机上

那么怎么办呢？可以引入一台专门的计算机只能由这台计算机来操作磁帶机。

需要备份的计算机通过以太网将数据发给这台掌管磁带机的计算机然后写给磁带机。

这样磁带机成为了公用设备而在整个系统Φ，只有一台计算机能掌管备份目标它就类似于一个代理，代理其他服务器执行备份我们把它称为介质服务器，还有一个问题如果囿多台服务器向介质服务器发出请求，怎么办?当然需要一个协调员也就是备份服务器，它可以指挥安装在待备份服务器的代理让每台垺务器按照顺序有条理的使用介质服务器提供的备份介质进行备份。

不管文件多大只要要备份，都需要将文件都备份下来

差量备份：呮备份从上次完全备份以来发生变化的数据。

差量备份要求必须做一次完全备份作为差量的基准点

只备份从上次备份以来这份文件中变囮过的数据。** 上次备份**不管是全备、差备，还是增量备份

对于数据库的备份，备份软件想知道每个数据文件的变化是不可能的因为數据库文件内部格式非常复杂，只有自己才能分析和检测出来所以数据库管理软件有自己的备份工具。第三方备份软件只能调用数据库軟件自身提供的命令

申明：感谢原创作者的辛勤付出。本号转载的文章均会在文中注明若遇到版权问题请联系我们处理！