Python Postgres Backup in MEGA

bck_python_postgres_mega.py

#!/usr/bin/python
# -*- encoding: utf-8 -*-
 
######################################################################################################
##                                                                                                  ##
##         SCRIPT EN PYTHON PARA EL RESPALDO DE BASES DE DATOS POSTGRES Y SUBIDA A MEGA             ##
##                                                                                                  ##
##     Almacenará tres tipos de copia:                                                              ##
##     - Diarias: el sistema realizará una copia diaria por base de datos y eliminará aquellas      ##
##                que tengan más de N_DAYS_AGO_DIARY_BACKUP días de antiguedad                      ##
##     - Semanales: el sistema realizará una copia semanal cada viernes de cada base de datos y     ##
##                  eliminará aquellas que tengan más de N_WEEKS_AGO_BACKUP semanas de antiguedad   ##
##     - Mensuales: el sistema realizará una copia mensual los días 1 de cada mes y eliminará       ##
##                  aquellas que tengan más de N_MONTHS_AGO_BACKUP meses de antiguedad              ##
##                                                                                                  ##
##                                                                                                  ##
##     * para poder subir los ficheros a mega es necesario instalar el siguiente requerimiento      ##
##       https://github.com/richardasaurus/mega.py                                                  ##
##                                                                                                  ##
##       sudo pip install mega.py                                                                   ##
##                                                                                                  ##
##                                                                                                  ##
##      @bienvenidosaez                                                                             ##
##                                                                                                  ##
######################################################################################################
 
 
from time import gmtime, strftime
import subprocess
import os
import glob
import time
from mega import Mega                    # sudo pip install mega.py

HOST             = 'localhost'           # hostname del servidor de postgres
DATABASE_LIST    = (
                        {
                            'name'      : 'mydb',
                            'username'  : 'myuser',
                            'password'  : 'mypass'
                        },
                    )
BACKUP_DIR       = '/var/dbbackup/'      # directorio para guardar las copias
MONTH_DAY        = '01'                  # día del mes para la copia mensual
WEEK_DAY         = '1'                   # día de la semana para las copias semanal [1(Monday), 7]
N_DAYS_AGO       = 2                     # nº de copias diarias a almacenar
N_WEEKS_AGO      = 4                     # nº de copias semanas que se almecenarán
N_MONTHS_AGO     = 12                    # nº de copias mensuales que se almacenarán
DUMPER           = """ pg_dump --no-privileges --no-owner --no-reconnect -h localhost -U %s -f %s -F c %s  """                  

# MEGA
MEGA             = True                     # True = sube los archivos generados a la cuenta MEGA indicada
MEGA_EMAIL       = 'mega@email.com'         # Email de MEGA
MEGA_PASSWORD    = 'megapass'               # Password de MEGA
MEGA_FOLDER      = 'megafolder'             # Directorio donde subir los backup en MEGA

def log(string):
    print time.strftime('%Y-%m-%d-%H-%M-%S', time.gmtime()) + ': ' + str(string)

def diary_backup(database):
    global BACKUP_DIR
    global MEGA
    global MEGA_FOLDER
    global DUMPER

    # Seteamos el password como variable de entorno para que pg_dump la coja de ahí
    os.putenv('PGPASSWORD', database['password'])

    print("===== START diary backup for %s =====" % database['name'])
 
    # Iteramos sobre las copias diarias, este apartado se ejecutará en cada ejecución del fichero
    glob_list = glob.glob(BACKUP_DIR + database['name'] + '_diary_backup*' + '.pgdump')
    for file in glob_list:
        file_info = os.stat(file)
        if file_info.st_ctime < x_days_ago:
            log("Delete diary backup: %s" % file)
            os.unlink(file)
        else:
            log("Keep diary backup: %s" % file)
      
    thetime = str(strftime("%Y-%m-%d")) 
    file_name = database['name'] + '_diary_backup_' + thetime + ".sql.pgdump"
    command = DUMPER % (database['username'],  BACKUP_DIR + file_name, database['name'])
    log(command)
    subprocess.call(command, shell=True)
    if MEGA:
        mega_upload_file(BACKUP_DIR + file_name, MEGA_FOLDER)
    print("===== END diary backup for %s =====\n" % database['name'])

def week_backup(database):
    global BACKUP_DIR
    global MEGA
    global MEGA_FOLDER
    global DUMPER

    print("\n===== START week backup for %s =====" % database['name'])
    glob_list = glob.glob(BACKUP_DIR + database['name'] + '_week_backup*' + '.pgdump')
    for file in glob_list:
        file_info = os.stat(file)
        if file_info.st_ctime < x_montsh_ago:
            log("Delete week backup: %s" % file)
            os.unlink(file)
        else:
            log("Keep week backup: %s" % file)
      
    thetime = str(strftime("%Y-%m-week-%U")) 
    file_name = database['name'] + '_week_backup_' + thetime + ".sql.pgdump"
    command = DUMPER % (database['username'],  BACKUP_DIR + file_name, database['name'])
    log(command)
    subprocess.call(command, shell=True)
    if MEGA:
        mega_upload_file(BACKUP_DIR + file_name, MEGA_FOLDER)
    print("===== END week backup for %s =====\n" % database['name'])

def month_backup(database):
    global BACKUP_DIR
    global MEGA
    global MEGA_FOLDER
    global DUMPER

    print("===== START month backup for %s =====" % database['name'])
    # Iteramos sobre las copias mensuales
    glob_list = glob.glob(BACKUP_DIR + database['name'] + '_month_backup*' + '.pgdump')
    for file in glob_list:
        file_info = os.stat(file)
        if file_info.st_ctime < x_montsh_ago:
            log("Delete month backup: %s" % file)
            os.unlink(file)
        else:
            log("Keep month backup: %s" % file)
      
    thetime = str(strftime("%Y-%m")) 
    file_name = database['name'] + '_month_backup_' + thetime + ".sql.pgdump"
    command = DUMPER % (database['username'],  BACKUP_DIR + file_name, database['name'])
    log(command)
    subprocess.call(command, shell=True)
    if MEGA:
        mega_upload_file(BACKUP_DIR + file_name, MEGA_FOLDER)
    print("===== END month backup for %s =====\n" % database['name'])

def mega_connect():
    global MEGA_EMAIL
    global MEGA_PASSWORD

    mega = Mega()
    m = mega.login(MEGA_EMAIL, MEGA_PASSWORD)
    return m

def mega_upload_file(file_to_upload, destination_path):
    m = mega_connect()
    file_info = os.stat(file_to_upload)
    total_space = m.get_storage_space()['total']
    total_used  = m.get_storage_space()['used']
    total_free = total_space - total_used
    if total_free > file_info.st_size:
        folder = m.find(destination_path)
        return m.upload(file_to_upload, folder[0])
    else:
        return False

# Si el directorio no existe lo creamos
if not os.path.isdir(BACKUP_DIR):
  os.makedirs(BACKUP_DIR, 0770)
 
x_days_ago   = time.time() - ( 60 * 60 * 24 * N_DAYS_AGO )
x_weeks_ago  = time.time() - ( 60 * 60 * 24 * N_WEEKS_AGO  * 7)
x_montsh_ago = time.time() - ( 60 * 60 * 24 * N_MONTHS_AGO * 30)
 
# Iteramos sobre las bases de datos de las listas
for database in DATABASE_LIST:
 
    #La copia diaria la ejecutamos siempre
    diary_backup(database)
 
    # Si estamos en el día del mes indicado en la variable MOTH_DAY hay que ejecutar la parte mensual del backup
    if MONTH_DAY == time.strftime('%d', time.gmtime()):
        month_backup(database)
 
    # Si estamos en el día de la semanaindicado en la variable WEEK_DAY hay que ejecutar la parte semanal del backup
    if WEEK_DAY == time.strftime('%u', time.gmtime()):
        week_backup(database)