PostgreSQL pg_archivecleanup与清理archivelog的操作

数据库 2024/12/22 佚名

2 0 1

极乐门资源网 Design By www.ioogu.com

pg_archivecleanup 和 pg_rewind 是PG 中两个重要的功能，一个是为了清理过期的 archive log 使用的命令，另一个是你可以理解为物理级别的 wal log的搬运工。

我们先说第一个 pg_archivecleanup 命令，这个命令主要是用于使用了archive log 功能的 postgresql 但在 archive log 堆积如山的情况下，你怎么来根据某些规则，清理这些日志呢？

这里面就要使用 pg_archivecleanup 这个命令了，可以定时的来运行它，将已经移动到archivecleanup 的目录的archivelog 根据要求开始清理。

当然我们先的说说如果不定期清理会出什么问题

1 如果不定期清理archive 如果存放archivelog 的位置无法在接受新的日志，则大量WAL日志会滞留在 wal_log 目录中，则整体数据库系统都会受到影响。

2 占用大量的存储空间，存储无效的数据

那一般来说如果没有第三方的备份工具的情况下，怎么来通过pg_archivecleanup 来进行archivelog 的清理。

需要关注几个点

1 清理的时，清理的WAL_LOG 是否已经是包含在最后一次的备份中，保证清理的WAL_LOG 也可以从备份文件中恢复数据库

2 清理的时候，对于保存在非主库的wal_log 怎么办

一般来说，设置自动清理archive_log 可以在配置文件中添加

archive_cleanup_command = 'pg_archivecleanup archivelocation %r'

来操作。

但一般来说这样做好处少，弊病多，我比较喜欢写相关的脚本，定时去运行的方式，并且可以记录相关的LOG 日志等等。

可以写一个脚本，来辅助定时清理相关的archive_log

当然这样的方法也是有弊端的，如果由于备份的原因的故障，而直接使用天数来清理会有因为没有备份而直接将 wal_log 给清理掉，所以更加靠谱的方法是通过某些命令来获得需要截止的清理的Wal_log 名称。

例如备份后的

会在wal_log 里面有backup 的标记，这说明这个WAL log 以前的数据已经备份了，如果清理这个WAL LOG 之前的log 是安全的。

000000010000000300000030.00000060.backup

使用下面的脚本可以来更安全的清理

#!/bin/bash 
ARCHIVEDIR='/pgdata/archive'
CHK_SAFE=$(find $ARCHIVEDIR -type f -mtime +3 -name '*backup' -printf '%f\n' | sort -r | head -1)
cd $ARCHIVEDIR
/usr/local/postgres/bin/pg_archivecleanup $ARCHIVEDIR $CHK_SAFE 
find $ARCHIVEDIR -type f -mtime +3 -a -name '*backup' -a ! -newer $CHKPOINT -delete

补充：postgresql流日志误删处理（xlog）

今天同事误删postgresql库数据文件下的pg_xlog文件夹，导致所有流日志丢失，数据库无法启动,观察警告日志：

2018-03-12 18:45:54 CST LOG: database system shutdown was interrupted; last known up at 2018-03-12 17:48:27 CST
2018-03-12 18:45:54 CST LOG: could not open file "pg_xlog/000000010000001400000060" (log file 20, segment 96): No such file or directory
2018-03-12 18:45:54 CST LOG: invalid primary checkpoint record
2018-03-12 18:45:54 CST LOG: could not open file "pg_xlog/000000010000001400000060" (log file 20, segment 96): No such file or directory
2018-03-12 18:45:54 CST LOG: invalid secondary checkpoint record
2018-03-12 18:45:54 CST PANIC: could not locate a valid checkpoint record
2018-03-12 18:45:54 CST LOG: startup process (PID 32680) was terminated by signal 6: Aborted
2018-03-12 18:45:54 CST LOG: aborting startup due to startup process failure

用postgresql自带的pg_resetxlog工具可以跳过对WAL log的恢复。不过会丢失一些事务。恢复命令也很简单如下：

pg_resetxlog -f /var/lib/pgsql/9.6/data

然后启动postgrsql ,数据库就可正常进入

参考：pg_resetxlog官方文档

以上为个人经验，希望能给大家一个参考，也希望大家多多支持。如有错误或未考虑完全的地方，望不吝赐教。

PostgreSQL,pg_archivecleanup,清理archivelog

标签：

PostgreSQL,pg_archivecleanup,清理archivelog

极乐门资源网 Design By www.ioogu.com

极乐门资源网 免责声明：本站文章均来自网站采集或用户投稿，网站不提供任何软件下载或自行开发的软件！如有用户或公司发现本站内容信息存在侵权行为，请邮件告知！ 858582#qq.com

极乐门资源网 Design By www.ioogu.com

评论“PostgreSQL pg_archivecleanup与清理archivelog的操作”

暂无PostgreSQL pg_archivecleanup与清理archivelog的操作的评论...

《魔兽世界》大逃杀！60人新游玩模式《强袭风暴》3月21日上线

暴雪近日发布了《魔兽世界》10.2.6 更新内容，新游玩模式《强袭风暴》即将于3月21 日在亚服上线，届时玩家将前往阿拉希高地展开一场 60 人大逃杀对战。

艾泽拉斯的冒险者已经征服了艾泽拉斯的大地及遥远的彼岸。他们在对抗世界上最致命的敌人时展现出过人的手腕，并且成功阻止终结宇宙等级的威胁。当他们在为即将于《魔兽世界》资料片《地心之战》中来袭的萨拉塔斯势力做战斗准备时，他们还需要在熟悉的阿拉希高地面对一个全新的敌人──那就是彼此。在《巨龙崛起》10.2.6 更新的《强袭风暴》中，玩家将会进入一个全新的海盗主题大逃杀式限时活动，其中包含极高的风险和史诗级的奖励。
《强袭风暴》不是普通的战场，作为一个独立于主游戏之外的活动，玩家可以用大逃杀的风格来体验《魔兽世界》，不分职业、不分装备（除了你在赛局中捡到的），光是技巧和战略的强弱之分就能决定出谁才是能坚持到最后的赢家。本次活动将会开放单人和双人模式，玩家在加入海盗主题的预赛大厅区域前，可以从强袭风暴角色画面新增好友。游玩游戏将可以累计名望轨迹，《巨龙崛起》和《魔兽世界：巫妖王之怒经典版》的玩家都可以获得奖励。

更新日志

2024年12月22日

PostgreSQL pg_archivecleanup与清理archivelog的操作

当然我们先的说说如果不定期清理会出什么问题

需要关注几个点

PostgreSQL,pg_archivecleanup,清理archivelog

postgresql 13.1 insert into select并行查询的实现

解决PostgreSQL日志信息占用磁盘过大的问题

评论“PostgreSQL pg_archivecleanup与清理archivelog的操作”

《魔兽世界》大逃杀！60人新游玩模式《强袭风暴》3月21日上线

更新日志

友情链接