PostgreSQL冷备份，需要在数据库关闭状态下，对数据文件进行备份操作。尽管在一情况下并不适用，但并不妨碍我们去了解它的特性。
PostgreSQL热备份，standby数据库在应用WAL日志的同时，也可以提供只读服务，在oracle中叫activedataguard，在PostgreSQL中称为hotstandby。在postgresql9.0以后的版本中，用户可以在备用数据库上进行查询、报表等操作，也可用做读写分离。在生产环境中，热备一直备受追捧
今天，我们就来聊一聊PostgreSQL的冷备与热备。
备份对象为数据库集群主目录$PGDATA,表空间目录，事务日志(pg_log)目录。当然如果参数文件指定了其他目录或文件，根据需要，也需要备份下来。
数据库主目录及所在位置
[telepg@test-telepg-01 ~]$ cd $PGDATA [telepg@test-telepg-01 data]$ pwd /app/pg/data_50_18802/data |
主目录中的文件和文件夹
[telepg@test-telepg-01 data]$ ls -lrt -rwx------. 1 telepg telepg 3 Sep 27 08:39 PG_VERSION -rwx------. 1 telepg telepg 1636 Sep 27 08:39 pg_ident.conf drwx------. 10 telepg telepg 150 Nov 30 09:02 base drwx------. 3 telepg telepg 37 Nov 30 09:06 tbs_lh -rwx------. 1 telepg telepg 26809 Dec 1 11:08 postgresql.conf -rw-------. 1 telepg telepg 310 Dec 3 10:28 postgresql.auto.conf -rw-------. 1 telepg telepg 78 Dec 3 16:10 postmaster.opts -rw-------. 1 telepg telepg 13947 Dec 3 16:10 console.log -rw-------. 1 telepg telepg 86 Dec 3 16:10 postmaster.pid drwx------. 2 telepg telepg 10 Dec 3 16:10 pg_stat -rwx------. 1 telepg telepg 696 Dec 3 16:17 pg_hba.conf drwx------. 2 telepg telepg 4096 Dec 28 10:35 global drwx------. 2 telepg telepg 4096 Dec 28 10:36 pg_xact drwx------. 2 telepg telepg 8192 Dec 28 11:30 pg_subtrans drwx------. 2 telepg telepg 135168 Jan 1 17:36 pg_commit_ts drwx------. 3 telepg telepg 249856 Jan 27 11:53 pg_wal drwx------. 2 telepg telepg 8192 Feb 1 00:00 log -rw-------. 1 telepg telepg 44 Feb 1 00:00 current_logfiles drwx------. 4 telepg telepg 84 Feb 1 07:37 pg_logical drwx------. 2 telepg telepg 262 Feb 1 08:25 pg_stat_tmp |
近期事务日志目录
[telepg@test-telepg-01 data]$ cd log [telepg@test-telepg-01 log]$ ls -lrt -rw-------. 1 telepg telepg 14978379 Jan 29 00:00 postgresql-2021-01-28_000000.log -rw-------. 1 telepg telepg 14979822 Jan 30 00:00 postgresql-2021-01-29_000000.log -rw-------. 1 telepg telepg 14975700 Jan 31 00:00 postgresql-2021-01-30_000000.log -rw-------. 1 telepg telepg 14984205 Feb 1 00:00 postgresql-2021-01-31_000000.log -rw-------. 1 telepg telepg 5268099 Feb 1 08:26 postgresql-2021-02-01_000000.log |
表空间目录
[telepg@test-telepg-01 data]$ cd tbs_lh [telepg@test-telepg-01 tbs_lh]$ ls -lrt drwx------. 2 telepg telepg 10 Nov 30 09:06 PG_12_201909212 |
备份需要提前准备好所需要的空间，可以是本地的，也可以是异地的存储。
查看数据库的大小：
lh=# select round(sum(pg_database_size(oid))/1024/1024/1024.0,2)||GB from pg_database; column ---------- 329.86GB |
准备好可以放下整个备份的目录
[telepg@test-telepg-01 data]$ df -h /dev/sdb 55T 1.1T 54T 2% /app |
停库
[telepg@test-telepg-01 ~]$ pg_ctl stop -m fast waiting for server to shut down.... done server stopped |
备份$PGDATA,排除pg_xlog,pg_log以及不需要备份的目录pgbak.
rsync -acvz -L --exclude "pg_xlog" --exclude "pgbak" --exclude "pg_log" $PGDATA /app/pg/data_50_18802/data/pgbackup/ |
备份pg_xlog
[telepg@test-telepg-01 ~]$ pg_controldata |grep checkpoint Latest checkpoint location: 125/32D4DF90 Latest checkpoints REDO location: 125/32D4DF58 Latest checkpoints REDO WAL file: 000000010000012500000032 Latest checkpoints TimeLineID: 1 Latest checkpoints PrevTimeLineID: 1 Latest checkpoints full_page_writes: on Latest checkpoints NextXID: 0:830624231 Latest checkpoints NextOID: 2120456 Latest checkpoints NextMultiXactId: 1 Latest checkpoints NextMultiOffset: 0 Latest checkpoints oldestXID: 632099619 Latest checkpoints oldestXIDs DB: 1449363 Latest checkpoints oldestActiveXID: 830624231 Latest checkpoints oldestMultiXid: 1 Latest checkpoints oldestMultis DB: 17823 Latest checkpoints oldestCommitTsXid:632099619 Latest checkpoints newestCommitTsXid:830624230 Time of latest checkpoint: Mon 01 Feb 2021 08:37:49 AM CST |
在备份目录中创建pg_xlog目录并修改权限
[telepg@test-telepg-01 ~]$rsync -acvz -L --exclude "pg_xlog" --exclude "pgbak" --exclude "pg_log" $PGDATA /app/pg/data_50_18802/data/pgbackup/ [telepg@test-telepg-01 ~]$chmod 777 /app/pg/data_50_18802/data/pgbackup/pg_xlog |
查找需要的pg_xlog文件
[telepg@test-telepg-01 ~]$ cd $PGDATA [telepg@test-telepg-01~]$ls -lrt $PGDATA/pgbackup/pg_xlog/000000030000000E000000E* -rw------- 1 pg93 pg93 16M Feb 1 12:24 /pgdata1999/pg_xlog/000000030000000E000000EA -rw------- 1 pg93 pg93 16M Feb 1 12:24 /pgdata1999/pg_xlog/000000030000000E000000EB |
拷贝需要的pg_xlog文件
[telepg@test-telepg-01~]$cp`$PGDATA/pg_xlog/000000030000000E000000EB/pgdata/digoal/1921/data04/pg93backup/pgdata1999/pg_xlog/ |
检查备份目录,是否备份正常
[telepg@test-telepg-01 data]$ ll -rwx------. 1 telepg telepg 3 Sep 27 08:39 PG_VERSION -rwx------. 1 telepg telepg 1636 Sep 27 08:39 pg_ident.conf drwx------. 10 telepg telepg 150 Nov 30 09:02 base drwx------. 3 telepg telepg 37 Nov 30 09:06 tbs_lh -rwx------. 1 telepg telepg 26809 Dec 1 11:08 postgresql.conf -rw-------. 1 telepg telepg 310 Dec 3 10:28 postgresql.auto.conf -rw-------. 1 telepg telepg 78 Dec 3 16:10 postmaster.opts -rw-------. 1 telepg telepg 13947 Dec 3 16:10 console.log -rw-------. 1 telepg telepg 86 Dec 3 16:10 postmaster.pid drwx------. 2 telepg telepg 10 Dec 3 16:10 pg_stat -rwx------. 1 telepg telepg 696 Dec 3 16:17 pg_hba.conf drwx------. 2 telepg telepg 4096 Dec 28 10:35 global drwx------. 2 telepg telepg 4096 Dec 28 10:36 pg_xact drwx------. 2 telepg telepg 8192 Dec 28 11:30 pg_subtrans drwx------. 2 telepg telepg 135168 Jan 1 17:36 pg_commit_ts drwx------. 3 telepg telepg 249856 Jan 27 11:53 pg_wal drwx------. 2 telepg telepg 8192 Feb 1 00:00 log -rw-------. 1 telepg telepg 44 Feb 1 00:00 current_logfiles drwx------. 4 telepg telepg 84 Feb 1 07:37 pg_logical drwx------. 2 telepg telepg 262 Feb 1 08:25 pg_stat_tmp |
PostgreSQL9.0之后的版本中，日志传送的方法有以下两种：
基于文件(base_file)的传送方式：服务器写完一个WAL日志文件后，再把WAL日志文件拷贝到standby数据库上去应用。
流复制(streamingreplication)的方式：这是PostgreSQL9.0才提供的新方法，在事务提交后，就会把生成的日志异步的传送到standby数据库上应用，这比基本文件的日志传送方法有更低的数据延迟。
今天主要聊一聊流复制热备方式。
PostgreSQL9.0之后的版本中引入了主从的流复制机制，，从服务器通过tcp流从主服务器中同步相应的数据。流复制允许备库更新，同时也能提供只读服务，流复制默认是异步的。
流复制架构图
实例准备
role | ip | port | version |
Main | 192.168.122.1 | 18802 | 12.3 |
Slave | 192.168.122.2 | 18802 | 12.3 |
首先我们需要对主库进行配置，创建复制用户repuser，并赋予复制和登录的权限。
lh=# create user repuser replication login connection limit 2 encrypted password repuser; CREATE ROLE |
更新认证方式，编辑配置文件编辑配置文件pg_hba.conf，新增以下IP
host all all 0.0.0.0/0 scram-sha-256 host all all ::/0 scram-sha-256 |
编辑配置文件postgresql.conf
listen_addresses = * wal_log_hints = on archive_mode = on archive_command = cp %p /var/lib/pgsql/12/pg_archive/%f wal_keep_segments = 64 |
新增归档目录pg_archive
[telepg@test-telepg-01 data]$mkdir /var/lib/pgsql/12/pg_archive |
重启主库
[telepg@test-telepg-01 data]$systemctl restart postgresql-12.3 |
配置从库
在postgres用户根目录下创建.pgpass文件，并追加认证信息
[telepg@test-telepg-01 data]touch .pgpass [telepg@test-telepg-01 data]chmod 777 .pgpass [telepg@test-telepg-01 data]cat .pgpass 192.168.122.1:18802:lh:repuser:repuser |
从主节点拷贝数据到从节点
$ su - telepg Last login: Mon Feb 1 14:27:20 CST 2021 on pts/0 $ pg_basebackup -h 192.168.122.1 -U repuser -D /var/lib/pgsql/12/data/ -X stream -P Password: 24308/24308 kB (100%), 1/1 tablespace |
拷贝配置文件recovery.conf.sample为recovery.conf
[telepg@test-telepg-01data]$cp`/usr/pgsql-12/share/recovery.conf.sample/var/lib/pgsql/12/data/recovery.conf |
更新配置文件recovery.conf
standby_mode = on primary_conninfo = host=192.168.122.1 port=18802 user=repuser password=repuser recovery_target_timeline = latest |
重启从库
[telepg@test-telepg-01data]$systemctl restart postgresql-12.3 |
在主节点上命令验证
lh=# select application_name, client_addr, sync_state from pg_stat_replication; application_name | client_addr | sync_state ------------------+---------------+------------ walreceiver | 192.168.122.2 | async (1 row) |
说明192.168.122.2是从服务器，在接收流，而且是异步流复制。可以分辨在主、从节点上查看进程来进行验证
主服务器上有一个walsender 进程
[telepg@test-telepg-01data]$$ ps -ef | grep postgres postgres 20645 19653 0 2021 ? 00:00:00 postgres: wal sender process repuser 192.168.122.2(59176) streaming 0/70029E0 |
从服务器上有一个walsender 进程
[telepg@test-telepg-01data]$$ $ ps -ef | grep postgres postgres 18019 18012 0 2021 ? 00:00:00 postgres: wal receiver process streaming 0/7002A18 |
END
文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。
转载请注明本文地址：https://www.ucloud.cn/yun/130006.html
摘要：作者谭峰张文升出版日期年月页数页定价元本书特色中国开源软件推进联盟分会特聘专家撰写，国内多位开源数据库专家鼎力推荐。张文升中国开源软件推进联盟分会核心成员之一。 很高兴《PostgreSQL实战》一书终于出版，本书大体上系统总结了笔者 PostgreSQL DBA 职业生涯的经验总结，本书的另一位作者张文升拥有丰富的PostgreSQL运维经验，目前就职于探探科技任首席PostgreS...
摘要：硬盘硬盘硬盘云数据库的硬盘大小。用户可以根据对云数据库的硬件需求进行选择。云数据库提供自动备份和手动备份两种方式，防止数据丢失，避免误操作带来的风险。日志日志日志日志是用于记录云数据库操作事件的记录文件。 主要概念本篇目录实例类型版本数据库机型内存硬盘付费方式数量节点配置文件管理员实例名称资源IDIP和端口备份日志实例类型PostgreSQL实例目前支持普通版和高可用版实例。版本Postgr...
摘要：指定要用于查找的口令文件的名称。前四个字段可以是确定的字面值，也可以使用通配符匹配所有。利用环境变量引用的文件权限也要满足这个要求，否则同样会被忽略。在上，该文件被假定存储在一个安全的目录中，因此不会进行特别的权限检查。 pg_dump pg_dump 把一个数据库转储为纯文本文件或者是其它格式. 用法: pg_dump [选项]... [数据库名字] 一般选项: -f, --fi...
阅读 1346·2023-01-11 13:20
阅读 1684·2023-01-11 13:20
阅读 1132·2023-01-11 13:20
阅读 1860·2023-01-11 13:20
阅读 4100·2023-01-11 13:20
阅读 2704·2023-01-11 13:20
阅读 1385·2023-01-11 13:20
阅读 3597·2023-01-11 13:20
