超详细的pg12.2数据库五种备份恢复机制总结,值得收藏
备份重于一切,今天主要介绍PG的五种备份方式,仅供参考。
ps:前四种重点掌握
1、语法
可以在本地及远程进行备份,只需要表的读权限即可备份。pg_dump创建的备份是一致的,在pg_dump运行时数据库产生快照,不阻塞数据库的DML操作,但是会阻塞需要排他锁的操作,如alter table等。特别注意的是,pg_dump一次只能备份一个单独的数据库,且不能备份角色和表空间信息(因为这些信息是cluster-wide,而不是在某个数据库中(per-database))。
使用pg_dump的自定义转储格式。. 如果PostgreSQL所在的系统上安装了zlib压缩库,自定义转储格式将在写出数据到输出文件时对其压缩。这将产生和使用gzip时差不多大小的转储文件,但是这种方式的一个优势是其中的表可以被有选择地恢复。
下面的命令使用自定义转储格式来转储一个数据库:pg_dump -Fc dbname > filename自定义格式的转储不是psql的脚本,只能通过pg_restore恢复,例如:pg_restore -d dbname filename
2、常见用法
pg_dump只备份数据库集群中的某个数据库的数据,它不会导出角色和表空间相关的信息。pg_dumpall则可以导出整个数据库集群中所有的数据库中的数据,同时也会导出角色、用户和表空间的定义信息。
执行pg_dumpall需要超级用户权限。
1、语法
2、常用用法
COPY在PostgreSQL表和文件之间交换数据。 COPY TO把一个表的所有内容都拷贝到一个文件,而COPY FROM从一个文件里拷贝数据到一个表里(把数据附加到表中已经存在的内容里)。 COPY TO还能拷贝SELECT查询的结果。
如果声明了一个字段列表,COPY将只在文件和表之间拷贝已声明字段的数据。 如果表中有任何不在字段列表里的字段,那么COPY FROM将为那些字段插入缺省值。
带文件名的COPY指示PostgreSQL服务器直接从文件中读写数据。 如果声明了文件名,那么服务器必须可以访问该文件,而且文件名必须从服务器的角度声明。 如果使用了PROGRAM选项,则服务器会从指定的这个程序进行输入或是写入该程序作为输出。 如果使用了STDIN 或STDOUT选项,那么数据将通过客户端和服务器之间的连接来传输。
注意:copy命令必须在plsql命令行执行,执行用户必须为superuser,普通用户进行执行,需要在copy前面加入 “\\”,即 \\copy。
COPY只能用于表,不能用于视图,不过可以用于COPY (SELECT * FROM viewname) TO …
1、语法
copy to的导出速度非常之快,经测试10W的数据量只需要3秒左右的时间。
COPY FROM能够识别下列特殊反斜杠字符:
2、常见用法
1、基础备份
2、恢复
PostgreSQL有一个导出和导入事务快照的功能,这个功能在9.2版本开始支持,允许事务共享它当时的snapshot给其他的事务使用。SET TRANSACTION SNAPSHOT命令允许新的事务使用与一个现有事务相同的快照运行。已经存 在的事务必须已经把它的快照用pg_export_snapshot函数导出。该函数会返回一个快照标识符,SET TRANSACTION SNAPSHOT需要被给定一个快照标识符来指定要导入的快照。需要注意的是:只有事务是SERIALIZABLE以及 repeatable read时,DEFERRABLE 事务属性才会有效。
PostGreSQL采用“快照”方式来实现MVCC。具体地说,这意味着每一个事务中的查询仅能看到:
1)该事务启动之前已经提交的事务所作出的数据更改。
2)当前事务中该查询之前的查询所作出的更改。
下面基于事务隔离级别repeatable read进行测试
1、建表
2、session1:
3、session2(插入一条新数据并提交):
4、session3(能查看到会话2插入的数据):
5、session4 (导入s1的第一个snapshot, 因此看不到s2提交的数据) :
6、session5 (导入s1的第二个snapshot, 因此看不到s2提交的数据, 同时验证了看不到s1修改过的数据):
7、session1(提交):
8、session4 (s1提交后, 这个snapshot还存在, 只要还有导入了这个snapshot的事务存在着) :
9、session5 (s1提交后, 这个snapshot还存在, 只要还有导入了这个snapshot的事务存在着)
篇幅有限,基于时间点恢复的内容后面单独介绍吧,感兴趣的朋友可以关注下!
数据库备份方案及策略
由于Oracle/Mysql存在多种数据库备份方式,而且各有利弊,对于我们初学者来说,选择合适的备份方式确实有些困难。个人觉得,首先要基于公司的需求,考虑能够容忍丢失多少数据、花多少人力时间成本等,这是我们制定备份方案的依据,同时制定出来的方案要可执行,要执行,不能把方案当作纸上谈兵。下面我把我们实际的备份方案整理出来供大家参考交流。
作为数据安全的一个重要内容——数据备份的重要性却往往被人们所忽视。只要发生数据传输、数据存储和数据交换,就有可能产生数据故障。这时,如果没有采取数据备份和数据恢复手段与措施,就会导致数据的丢失,有时造成的损失是无法弥补与估量的。结合我们公司线上业务的实际情况,来说说我们的备份方案,当前主要采取全备+binlog备份方式。其中全备分为逻辑备份+物理备份,同时主从复制也作为一种备份的方式存在,从而最大程度降低数据故障带来的风险。
一 数据备份部分
1 逻辑备份
应用场景
逻辑备份,我们主要用在当数据量较小时,数据库出现数据故障,对于恢复时间要求不高;搭建主从环境,搭建测试环境及备用库等方面。
备份时间及地点
每日凌晨3:10在从库上备份,备份文件存放在从库上的/data/backup/fullbackup,当然如果有充足的机器,更安全的方式是备份到远程服务器。
备份方式
采用Oracle/Mysqldump进行全库备份,通过定时任务,定时执行shell备份脚本。这里就不提供了。
2 物理备份
应用场景
主要应对要求恢复时间较高;数据量比较大;
备份时间及地点
每周一凌晨3:10在主库上备份。备份文件存放远程服务器目录下
备份方式
采用percona的社区工具innobackupex,该工具可以在线热备,不影响线上的业务。
以上两种方式的备份只能恢复某段时间的数据,对于按照时间点的恢复是无能为力的,那怎么办呢?binlog日志,是的,我们采取的是实时同步binlog日志到远程服务器上,这样理论上是可以恢复到任意时间点的。
3 binlog备份
应用场景
对于一些由于错误操作等造成数据丢失错误的,需要按照时间点进行还原的情况下。
备份时间及地点
备份服务器实时将主库上binlog同步到远程服务器上。
备份方式
Oracle/Mysqlbinlog工具进行日志拉取,shell脚本如下:
Oracle/Mysqlbinlog –read-from-remote-server –host=1.1.1.1 –port=3306 –user=\”backup\” –password=\”backup\” –raw –stop-never Oracle/Mysql-bin.000840 –result-file=/data/backup/binlog/
经过以上三种结合的备份方式,基本上可以满足在数据异常丢失情况下,恢复到正常状态。
4 主从复制
应用场景
主要应用于读写分离,故障转移的情况下
备份时间及地点
几乎可以认为是同步进行数据的复制
备份方式
采用UcacheOracle/Mysql提供的复制技术
对于主从复制,如果用于备库的话,最好是让sql_thread执行慢一段时间,可以是1天。这个结合实际情况,自己选择。
在全球大数据暴增的趋势下,市场上以Oracle/Mysql为主的数据库的数据量也越来越大。当数据呈指数增长时,数据备份时间也将随着数据量的增长而加长,这样就很难实现高效的数据保护。对于超大型Mysql/Oracle数据库的保护一直是业界的难题,尤其是如何在较短的时间内,完成数据的备份和有效性验证。UcacheBankup产品凭借多年的数据保护经验,推出了UCache灾备云这一套高效的Oracle/Mysql数据库保护
135E3J��qaq
SQL Server数据库(自动、手动)备份
一、为备份文件建一个独立文件夹,方便区分。
Win+R,输入services.msc进入服务管理界面查找sqlserver服务,复制此账户后所有用户名。
1.首先单独建立一个备份文件夹。
2.给文件夹分配权限。
然后粘贴到对象名称空白处。
点击确定后点击高级设置,进入高级权限配置,权限配置到此成功。
二、MS SQL Server数据库备份分为自动备份和手动备份
数据库自动备份
1.首先需要启动SQL Server Agent服务,这个服务如果不启动是无法运行新建作业的,点击“开始”–“所有程序”–“Microsoft SQL Server 2008”–“启动SQL Server Management Studio”登录数据库,点击管理–维护计划–右击维护计划向导如图所示:
2. 填写好名称及相关说明作个记号,点击“更改” 来设定维护计划,如图所示:
3.可以为选择执的时间段,每天、每周、每月可以根据你相应的需求来制定备份的时间,这里作演示就选择在每天的0:00进行,点击“确定”再点“下一步”如图所示:
4.选择你需要备份的任务,我这里就先择“备份数据库(完整、差异、清除维护任务)”,很明了 点击“下一步”如图所示:
5.出现刚刚所选择的三项可以通过下移箭头选择他们所执行的先后顺序,选好后点击“下一步”如图所示:
6.这里特别要注意,对“常规”、“目标”、“选项”每一项都要设置。
备份数据库(完整)任务
备份数据库(差异)任务
定义清除维护任务:
7.上面配置好之后点击下一步,选择报告写入文件夹,然后下一步。
8.点击完成,如果备份操作正确,则会显示成功字样。
最后就可以去备份的文件夹去查找备份成功的数据库文件。
数据库手动备份
1.打开数据库,找打需要备份的数据库,鼠标右键选择任务—备份
2.选择备份文件位置
3.在介质选项中尽量选择追加,备份完成后先择验证
4.点击确定,备份完成,到备份指定文件查看备份文件。
本文作者及来源:Renderbus瑞云渲染农场https://www.renderbus.com
文章为作者独立观点不代本网立场,未经允许不得转载。