In-place merge is disabled because of program versions mismatch

[alexandermalykhin]

Непонятно поведение:
Обновил версию с 2.4.2 до 2.4.4
При выполнении команды:
pg_probackup-11 backup -B /srv/storage/postgres_backup -b PAGE --instance=pgsrv --stream --temp-slot --log-level-console=off --delete-expired --merge-expired --delete-wal -j 4
Выполнялась 8 часов, вместо обычных 1 - 1,5 часа
В логах ругается на несовместимость версий:

2020-10-18 00:11:56 MSK [7740]: INFO: Backup QHQYKD, mode: PAGE, status: OK. Redundancy: 1/0, Time Window: 11d/12d. Active
2020-10-18 00:11:56 MSK [7740]: INFO: Backup QHQ40E, mode: PAGE, status: OK. Redundancy: 1/0, Time Window: 12d/12d. Expired
2020-10-18 00:11:56 MSK [7740]: INFO: Backup QHP3WD, mode: FULL, status: OK. Redundancy: 1/0, Time Window: 12d/12d. Expired
2020-10-18 00:11:56 MSK [7740]: INFO: Consider backup QHQYKD for merge
2020-10-18 00:11:56 MSK [7740]: INFO: Merge incremental chain between full backup QHP3WD and backup QHQYKD
2020-10-18 00:11:56 MSK [7740]: INFO: Merging backup QHQYKD with parent chain
2020-10-18 00:11:56 MSK [7740]: WARNING: In-place merge is disabled because of program versions mismatch. Full backup version: 2.4.2, destination backup version: 2.4.2, current program version: 2.4.4
2020-10-18 00:11:56 MSK [7740]: INFO: Validate parent chain for backup QHQYKD
2020-10-18 00:11:56 MSK [7740]: INFO: Validating backup QHP3WD
2020-10-18 00:33:07 MSK [7740]: INFO: Backup QHP3WD data files are valid
2020-10-18 00:33:07 MSK [7740]: INFO: Validating backup QHQ40E
2020-10-18 00:33:39 MSK [7740]: INFO: Backup QHQ40E data files are valid
2020-10-18 00:33:39 MSK [7740]: INFO: Validating backup QHQYKD
2020-10-18 00:33:55 MSK [7740]: INFO: Backup QHQYKD data files are valid
2020-10-18 00:34:03 MSK [7740]: INFO: Start merging backup files
2020-10-18 09:10:08 MSK [7740]: INFO: Backup files are successfully merged, time elapsed: 8h:36m
2020-10-18 09:10:12 MSK [7740]: INFO: Delete: QHQ40E 2020-10-05 13:34:41+03
2020-10-18 09:10:13 MSK [7740]: INFO: Delete: QHQYKD 2020-10-06 00:15:22+03
2020-10-18 09:10:13 MSK [7740]: INFO: Rename merged full backup QHP3WD to QHQYKD
2020-10-18 09:10:14 MSK [7740]: INFO: Validating backup QHQYKD
2020-10-18 09:29:00 MSK [7740]: INFO: Backup QHQYKD data files are valid
2020-10-18 09:29:00 MSK [7740]: INFO: Retention merging finished
2020-10-18 09:29:04 MSK [7740]: INFO: On timeline 1 WAL segments between 00000001000007EE000000D8 and 00000001000007F3000000AE will be removed
2020-10-18 09:29:04 MSK [7740]: INFO: Logical WAL size to remove on timeline 1 : 19GB
2020-10-18 09:29:04 MSK [7740]: INFO: Resident WAL size to free on timeline 1 : 4134MB
2020-10-18 09:29:15 MSK [7740]: INFO: There are no backups to delete by retention policy

[gsmolk]

Добрый день!
In-place merge - это оптимизация, существенно ускоряющая merge. Суть состоит в том, если какой-то файл со времен полного бэкапа не менялся, то при условии совпадения алгоритма компрессии и версии бинаря этот файл можно не перепаковывать, а оставить как есть.
Если же, как в вашем случае, имеется расхождение версий, то файл перепаковывается.
Это делается для того, чтобы у нас была гарантия, что формат файла соответствует версии pbk, т.к. были случаи, когда мы были вынуждены менять формат в рамках багфиксов.

[alexandermalykhin]

А как тогда лучше все "оформить"?
У меня retention-window=12, retention-redundancy=0 и бэкап делается вышеприведенной командой.
Каждый день предпоследняя page-копия объединяется с последним full, что весьма удобно.
Если я сделаю full backup - то как дальше себя будет вести --merge-expired?
Я пока откатил версию программы обратно на 2.4.2, т.к. 8 часов выполнения не смогу позволить в будние дни.

[alexandermalykhin]

Ага, и теперь у меня последний full показывает, что он сделан версией 2.4.4
Как я понимаю - опять будет долгий процесс из-за отката на 2.4.2 ?

[gsmolk]

Я пока откатил версию программы обратно на 2.4.2

pg_probackup не forward-compatible, старой версией не получится восстановить бэкап сделанный более свежей версией, т.е. 2.4.2 бинарь не может восстановить бэкап 2.4.4.
Я бы рекомендовал остаться на 2.4.4.

Если я сделаю full backup - то как дальше себя будет вести --merge-expired?

Если есть что смержить, то будет мержить.
Если в каких-то цепочках снова обнаружится несовпадение версий, то опять получится долгий merge.
Можете показать выхлоп команд show и show-config ?

[gsmolk]

Отключение in-place merge при несовпадении патч версий теперь кажется довольно жестким решением.
Мне кажется, мы должны его отключать только если точно знаем, что имеется изменение формата данных.

[alexandermalykhin]

root@backup:/srv/scripts# pg_probackup-11 show --instance pgsrv
==============================================================================================================================================
 Instance  Version  ID      Recovery Time           Mode  WAL Mode  TLI     Time    Data     WAL  Zratio  Start LSN     Stop LSN      Status  
==============================================================================================================================================
 pgsrv     ----     QIE6OF  ----                    PAGE  STREAM    0/0   4m:22s       0       0    1.00  0/0           0/0           RUNNING 
 pgsrv     11       QID6KD  2020-10-18 00:11:37+03  PAGE  STREAM    1/1   6m:50s   204MB   128MB    4.60  826/B3B3A9D8  826/BA74C970  OK      
 pgsrv     11       QICC0E  2020-10-17 13:18:09+03  PAGE  STREAM    1/1  13m:16s   305MB   224MB    3.83  825/8ECA6360  825/9BAB8210  OK      
 pgsrv     11       QIBBWD  2020-10-17 00:14:35+03  PAGE  STREAM    1/1   9m:42s   305MB   128MB    4.72  824/4D7CC4A0  824/54B253F0  OK      
 pgsrv     11       QIAHCF  2020-10-16 13:39:41+03  PAGE  STREAM    1/1  39m:59s  1026MB   864MB    3.45  822/80989B40  822/B5F51F68  OK      
 pgsrv     11       QI9H8E  2020-10-16 00:26:23+03  PAGE  STREAM    1/1  24m:44s  3563MB   288MB    2.16  81F/E28DECE8  81F/F35A8CC0  OK      
 pgsrv     11       QI8MOI  2020-10-15 14:15:27+03  PAGE  STREAM    1/1   1h:19m   936MB  6368MB    2.54  81B/93B9B7E8  81D/207C1FF0  OK      
 pgsrv     11       QI7MKD  2020-10-15 00:22:30+03  PAGE  STREAM    1/1  18m:42s  2501MB   368MB    2.24  819/4CCB02C0  819/62E62918  OK      
 pgsrv     11       QI6S0D  2020-10-14 14:16:19+03  PAGE  STREAM    1/1   1h:16m  2472MB  2528MB    2.17  815/FC861CE0  816/995F9FC8  OK      
 pgsrv     11       QI5RWD  2020-10-14 00:20:52+03  PAGE  STREAM    1/1   16m:7s   385MB   320MB    4.94  812/77C4D378  812/8AD75588  OK      
 pgsrv     11       QI4XCE  2020-10-13 13:48:04+03  PAGE  STREAM    1/1  43m:32s   410MB  1280MB    4.94  80F/D1658840  810/20613700  OK      
 pgsrv     11       QI3X8D  2020-10-13 00:17:35+03  PAGE  STREAM    1/1  12m:56s   756MB   464MB    3.17  80D/26702D50  80D/42879F38  OK      
 pgsrv     11       QI32OD  2020-10-12 13:33:04+03  PAGE  STREAM    1/1   29m:5s   447MB   784MB    5.29  80A/7A6E2878  80A/AABA5DB8  OK      
 pgsrv     11       QI22KD  2020-10-12 00:12:42+03  PAGE  STREAM    1/1   7m:50s   181MB   176MB    4.67  807/F32D9190  807/FDA4FA80  OK      
 pgsrv     11       QI180E  2020-10-11 13:18:19+03  PAGE  STREAM    1/1  13m:26s   210MB   256MB    4.58  806/E3584C70  806/F2115DE8  OK      
 pgsrv     11       QI07WD  2020-10-11 00:12:26+03  PAGE  STREAM    1/1   7m:33s   184MB   160MB    4.61  805/BFB637C8  805/C8C9FB08  OK      
 pgsrv     11       QHZDCE  2020-10-10 13:19:32+03  PAGE  STREAM    1/1  14m:40s   286MB   400MB    3.54  804/AA4C3AE8  804/C2073510  OK      
 pgsrv     11       QHYD8E  2020-10-10 00:15:28+03  PAGE  STREAM    1/1  10m:43s   318MB   192MB    4.44  803/89C9DA18  803/94DE91D0  OK      
 pgsrv     11       QHXIOD  2020-10-09 13:38:07+03  PAGE  STREAM    1/1  33m:47s  2471MB   960MB    2.11  801/E2EF6680  802/1DC3D070  OK      
 pgsrv     11       QHWIKE  2020-10-09 00:15:22+03  PAGE  STREAM    1/1  10m:33s   300MB   208MB    4.98  7FF/46037730  7FF/524EEA68  OK      
 pgsrv     11       QHVO0E  2020-10-08 13:33:31+03  PAGE  STREAM    1/1  29m:53s  2783MB   736MB    1.90  7FD/6366B790  7FD/90DA2638  OK      
 pgsrv     11       QHUNWE  2020-10-08 00:14:12+03  PAGE  STREAM    1/1   9m:21s   277MB   160MB    4.60  7FA/E625BCA8  7FA/EF2D1280  OK      
 pgsrv     11       QHTTCE  2020-10-07 13:27:19+03  PAGE  STREAM    1/1  22m:53s   336MB   672MB    5.31  7F9/366ADB30  7F9/5F67A018  OK      
 pgsrv     11       QHST8D  2020-10-07 00:15:31+03  PAGE  STREAM    1/1  10m:38s   299MB   224MB    4.93  7F7/33E45D48  7F7/40B73FF8  OK      
 pgsrv     11       QHRYOD  2020-10-06 13:27:55+03  PAGE  STREAM    1/1  23m:16s   305MB   592MB    4.52  7F5/5EA1D088  7F5/82062520  OK      
 pgsrv     11       QHQYKD  2020-10-06 00:15:22+03  FULL  STREAM    1/0   8h:36m    46GB   224MB    2.71  7F3/AEAD5BA0  7F3/BBD81FB8  OK      

root@agmon-backup:/srv/scripts# pg_probackup-11 show-config --instance pgsrv
# Backup instance information
pgdata = /srv/pg/replica
system-identifier = 6759590948621340274
xlog-seg-size = 16777216
# Connection parameters
pgdatabase = pgbackup
pghost = 127.0.0.1
pgport = 5432
pguser = pgbackup
# Replica parameters
replica-timeout = 5min
# Archive parameters
archive-timeout = 5min
# Logging parameters
log-level-console = INFO
log-level-file = INFO
log-filename = pg_probackup_%Y-%m-%d.log
error-log-filename = pg_probackup_error_%Y-%m-%d.log
log-directory = /srv/storage/postgres_backup/log
log-rotation-size = 100KB
log-rotation-age = 1d
# Retention parameters
retention-redundancy = 0
retention-window = 12
wal-depth = 0
# Compression parameters
compress-algorithm = zlib
compress-level = 6
# Remote access parameters
remote-proto = none
remote-host = srv
remote-user = pgbackup

Full сейчас версии 2.4.4, а все вышележащие page - 2.4.2

А если я сейчас сделаю версией 2.4.2 команду merge для предпоследнего page - получится "вернуться" на версию 2.4.2 ?

[gsmolk]

А если я сейчас сделаю версией 2.4.2 команду merge для предпоследнего page - получится "вернуться" на версию 2.4.2 ?

Нет, и возвращение на 2.4.2 - это плохая идея.
Бэкапы сейчас занимают ~90 гигов, какой максимальный объем дозволено занять под бэкапы? Можно ли занять ~180?

[gsmolk]

А почему снимаете бэкапы в режиме stream ? Снимаете с реплики?

[alexandermalykhin]

А если я сейчас сделаю версией 2.4.2 команду merge для предпоследнего page - получится "вернуться" на версию 2.4.2 ?

Нет, и возвращение на 2.4.2 - это плохая идея.
Бэкапы сейчас занимают ~90 гигов, какой максимальный объем дозволено занять под бэкапы? Можно ли занять ~180?

Ну по идее могу.
Я так понимаю мне нужно сейчас снять full и на 12 дней отключить --delete-expired --merge-expired --delete-wal
Через 12 дней просто удалить "старые" бэкапы руками
Вернуть --delete-expired --merge-expired --delete-wal обратно.
Правильный алгоритм?

[alexandermalykhin]

А почему снимаете бэкапы в режиме stream ? Снимаете с реплики?

Чтобы не "интегрировать" в конфиг PG команды archive_command
Да, архив wal снимаю с этой же реплики с помощью pg_receivewal

[gsmolk]

Я так понимаю мне нужно сейчас снять full и на 12 дней отключить --delete-expired --merge-expired --delete-wal
Через 12 дней просто удалить "старые" бэкапы руками
Вернуть --delete-expired --merge-expired --delete-wal обратно.
Правильный алгоритм?

Можно сделать проще, достаточно просто запиннить QHQYKD на 12 дней и merge не сможет трогать его цепочку:
pg_probackup set-backup --ttl=12d -i QHQYKD

[gsmolk]

Чтобы не "интегрировать" в конфиг PG команды archive_command

Так stream режим не для этого, а для создания автономных бэкапов (а у Вас архив есть).
Давайте попробуем убрать --stream флаг

[gsmolk]

Можете прислать выхлоп команды show --archive ?