Скрипт Python для резервного копирования базы данных MySQL

В современном цифровом пространстве информация обладает значительной ценностью. Поэтому важность защиты и доступности данных невозможно переоценить. В этом контексте резервные копии становятся незаменимым инструментом. Данная статья покажет, как разработать скрипт на Python для резервного копирования баз данных MySQL.

В этом уроке мы воспользуемся утилитой mysqldump, которая является мощным инструментом для создания SQL-скрипта на основе содержимого вашей базы данных. Мы вызовем эту утилиту через модуль subprocess в Python.

Прежде чем начать, убедитесь, что у вас установлены необходимые компоненты:

• Python: версия 3.6 или выше.
• MySQL: сервер и клиентская утилита mysqldump.

Для создания резервной копии базы данных с помощью mysqldump вам потребуется следующая информация:

• Имя базы данных: название базы данных, которую вы хотите скопировать.
• Пользователь: имя пользователя, имеющего доступ к базе данных.
• Пароль: пароль пользователя для подключения к базе данных.
• Хост: адрес сервера MySQL (обычно это localhost).

Простой пример кода для резервного копирования базы данных может выглядеть так:

import subprocess
import datetime
def backup_database(db_name, user, password, host='localhost'):
backup_file = f"{db_name}_backup_{datetime.datetime.now().strftime('%Y%m%d_%H%M%S')}.sql"
command = f"mysqldump -u {user} -p{password} -h {host} {db_name} > {backup_file}"
try:
subprocess.run(command, shell=True, check=True)
print(f"Резервная копия базы данных сохранена в {backup_file}")
except subprocess.CalledProcessError as e:
print(f"Ошибка при создании резервной копии: {e}")
# Пример вызова функции
# backup_database('my_database', 'my_user', 'my_password')


Не забывайте, что использование пароля в командной строке может быть небезопасным. Рекомендуется использовать другие методы аутентификации или защищать доступ к вашему скрипту. Кроме того, стоит регулярно проверять созданные резервные копии и тестировать их на возможность восстановления.

Следуя этим шагам, вы сможете создать надежный механизм резервного копирования ваших баз данных MySQL с использованием Python.

Предварительные требования

Перед тем как перейти к написанию кода, убедитесь, что у вас установлено следующее:

1. Python 3 – необходимо установить последнюю версию с официального сайта. Рекомендуется использовать пакетный менеджер, например, pip, для установки дополнительных библиотек.
2. MySQL Server – у вас должен быть установлен и запущен сервер MySQL, который можно скачать с официального сайта. Также убедитесь, что вы настроили необходимые пользователи и права доступа к базе данных.
3. mysqldump – данный инструмент уже входит в состав MySQL. Он позволяет создавать резервные копии баз данных и восстанавливать их. Ознакомьтесь с его документацией для получения более подробной информации о параметрах командной строки.
4. Библиотека mysql-connector-python – для взаимодействия с MySQL из Python. Установите её с помощью pip install mysql-connector-python.
5. IDE или текстовый редактор – для удобного написания и редактирования кода. Попробуйте использовать PyCharm, VS Code или любой другой удобный вам редактор.

Скрипт на Python

Вы можете скачать скрипт с Github по приведенной ссылке или просто скопировать его ниже.

#!/usr/bin/python

# Этот Python-скрипт предназначен для резервного копирования баз данных MySQL.

Использует mysqldump и утилиту tar.

Автор: Rahul Kumar

Сайт: http://tecadmin.net

Дата создания: 3 декабря 2013 года

Последнее обновление: 17 августа 2018 года

Проверено с: Python 2.7.15 и Python 3.5

Версия скрипта: 1.4

Импорт необходимых библиотек Python:

import os

import time

import datetime

import subprocess

Укажите данные базы данных MySQL, в которую будет выполняться резервное копирование. Убедитесь, что у пользователя достаточно прав для создания резервных копий.

Если вы хотите создать резервные копии нескольких баз данных, создайте файл, например, /backup/dbnames.txt, и перечислите имена баз данных по одному в каждой строке, присвоив их переменной DB_NAME.

DB_HOST = ‘localhost’

DB_USER = ‘root’

DB_USER_PASSWORD = ‘mysql_user_password‘

#DB_NAME = ‘/backup/dbnameslist.txt’

DB_NAME = ‘имя_базы_данных_для_резервного_копирования’

BACKUP_PATH = ‘/backup/dbbackup’

Получение текущей даты и времени для создания уникальной папки резервной копии, например «20180817-123433».

DATETIME = time.strftime(‘%Y%m%d-%H%M%S’)

TODAY_BACKUP_PATH = BACKUP_PATH + ‘/’ + DATETIME

Проверка наличия папки резервной копии. Если она отсутствует, создадим её.

os.stat(TODAY_BACKUP_PATH)

except:

os.mkdir(TODAY_BACKUP_PATH)

Код для определения, хотите ли вы создать резервную копию одной базы данных или нескольких, указанных в DB_NAME.

Проверка наличия файла с именами баз данных.

if os.path.exists(DB_NAME):

file1 = open(DB_NAME)

multi = 1

Файл баз данных найден.

Начинаем резервное копирование всех баз данных, указанных в файле » + DB_NAME.

else:

Файл баз данных не найден.

Начинаем резервное копирование базы данных » + DB_NAME

multi = 0

Запуск процесса резервного копирования.

if multi:

in_file = open(DB_NAME, «r»)

flength = len(in_file.readlines())

in_file.close()

p = 1

dbfile = open(DB_NAME, «r»)

while p <= flength:

db = dbfile.readline() # чтение имени базы данных из файла

db = db[:-1] # удаление лишних символов новой строки

dum

Как работать со скриптом

Этот скрипт легко использовать. Скачайте или скопируйте его на свой компьютер и запустите с помощью Python. Он способен делать резервные копии нескольких баз данных.

Резервное копирование одной базы данных: Если вы хотите использовать скрипт для резервного копирования конкретной базы данных, измените его следующим образом. Например, если ваша база данных называется mydb.

DB_NAME = 'мойбд'

Резервное копирование нескольких баз данных: Для резервного копирования нескольких баз создайте текстовый файл, например /backup/dbnames.txt, и запишите в него имена баз данных по одному на строку, как показано ниже.

# Кошка /резервное_копирование/имена_баз_данных.txt database1 mydb

Затем добавьте этот файл в скрипт, как указано ниже.

DB_NAME = '/backup/dbnames.txt'

Изменение пути резервной копии: Чтобы изменить путь, вы можете редактировать следующую переменную.

BACKUP_PATH = '/backup/dbbackup/'

Запуск Python скрипта

После загрузки скрипта сделайте его исполняемым, выполнив следующую команду.

chmod +x dbbackup.py

И запустите его, как показано ниже

python2 dbbackup.py

Вы также можете настроить автоматический запуск этого скрипта каждый день с помощью crontab. Добавьте следующую команду в crontab.

0 2 * * * /usr/bin/python dbbackup.py

Для редактирования crontab используйте команду:

crontab -e

Убедитесь, что путь к Python указан правильно. Если вы используете виртуальную среду, укажите путь к интерпретатору внутри неё.

Также полезно настроить уведомления о статусе выполнения скрипта. Вы можете перенаправить вывод скрипта в файл логов:

0 2 * * * /usr/bin/python dbbackup.py >> /path/to/logfile.log 2>&1

Таким образом, вы сможете отслеживать выполнение скрипта и выявлять возможные ошибки. Не забудьте проверить права доступа к директории, где будет храниться лог.

Если ваш скрипт требует определённых библиотек, убедитесь, что они установлены в вашей среде. Вы можете использовать pip для установки необходимых пакетов.

Для обеспечения безопасности хранения резервных копий, рекомендуется шифровать данные перед их сохранением или использовать защищённые протоколы передачи, такие как SFTP.

Обратите внимание

Данная программа записывает пароль в командной строке, что может привести к утечке конфиденциальной информации в системных журналах или для тех, кто имеет доступ к истории команд. Более безопасным вариантом является использование файла конфигурации MySQL ~/.my.cnf для хранения учетных данных. Это может выглядеть так:

[mysqldump]

Пользователь = имя_пользователя

Пароль = ваш_пароль

После этого вы можете убрать опцию -p из команды mysqldump в вашем Python-скрипте.

Создание резервных копий баз данных — важная мера для предотвращения потери данных. Использование Python с утилитой mysqldump предоставляет удобный и программируемый способ автоматизации этого процесса. Данный гид предлагает надежный скрипт для резервного копирования баз данных MySQL с использованием Python. Тем не менее, в производственной среде рекомендуется внедрить более комплексные стратегии резервного копирования, включая проверку ошибок, ведение журналов, системы уведомлений и регулярную проверку резервных копий.

скрипт резервного копирования mysql резервное копирование mysql с помощью python скрипт python скрипт для резервного копирования базы данных mysql

Поделиться. Facebook Twitter Pinterest LinkedIn Tumblr Email WhatsApp

Начало работы с функциями Lambda в Python: простое руководство

Функции Lambda в Python — это небольшие анонимные функции, которые можно создавать на лету. Они позволяют писать более компактный и выразительный код, особенно в тех случаях, когда функция нужна только один раз.

Синтаксис функции Lambda выглядит следующим образом:

lambda аргументы: выражение

Где аргументы — это входные параметры, а выражение — это код, который будет выполнен. Например, функция, которая принимает два числа и возвращает их сумму, может выглядеть так:

sum = lambda x, y: x + y

Чтобы использовать функцию Lambda, просто вызовите ее, как обычную функцию:

result = sum(3, 5) # result будет равно 8

Функции Lambda часто применяются в комбинации с такими встроенными функциями, как map, filter и sorted. Например, с помощью map можно применить функцию к каждому элементу списка:

numbers = [1, 2, 3, 4, 5]
squared = list(map(lambda x: x ** 2, numbers)) # [1, 4, 9, 16, 25]

Функции Lambda также могут быть использованы для фильтрации данных. Например, чтобы оставить только четные числа из списка, можно использовать filter:

even_numbers = list(filter(lambda x: x % 2 == 0, numbers)) # [2, 4]

Несмотря на свою лаконичность, стоит помнить, что функции Lambda следует использовать с осторожностью. Если логика становится слишком сложной, лучше использовать обычные функции для повышения читаемости кода.

Функции Lambda — мощный инструмент в арсенале программиста, который помогает сократить объем кода и сделать его более выразительным. Начните экспериментировать с ними, чтобы увидеть, как они могут улучшить вашу работу с Python!

Понимание переменной name в Python

Скрипт Python для отправки электронного письма через SMTP-сервер

Благодарю за код, у меня возникла проблема, которую не удается решить. Пожалуйста, помогите. Обратная трассировка (последний вызов): файл “/home/Dev/sqldump/databasebckup”, строка 14, в os.stat(TODAYBACKUP) FileNotFoundError: [Errno 2] Нет такого файла или директории: ‘backup/2022-09-29-184801’. Во время обработки данного исключения произошло другое: обратная трассировка (последний вызов): файл “/home/Dev/sqldump/databasebckup”, строка 16, в os.mkdir(TODAYBACKUP) FileNotFoundError: [Errno 2] Нет такого файла или директории: ‘backup/2022-09-29-184801’.

Привет, Партх. Похоже, что ты изменил скрипт на своем компьютере. Не мог бы ты отправить мне полный код, чтобы я мог его проверить? Также, какая версия Python у тебя стоит?

Привет, Рахул. Спасибо за код. Было бы очень полезно, если бы ты поделился скриптом для инкрементного резервного копирования.

Можем ли мы использовать этот скрипт для создания резервной копии в бакете AWS S3?

Привет, Рахул. Может ли этот код работать с версией python3.xx?

У меня возникла проблема: mysqldump: Не удалось выполнить ‘SELECT COLUMN_NAME, JSON_EXTRACT(HISTOGRAM, ‘$.”number-of-buckets-specified”‘) FROM information_schema.COLUMN_STATISTICS WHERE SCHEMA_NAME = ‘–Имя моей базы данных—‘ AND TABLE_NAME = ‘category’;’: Неизвестная таблица ‘COLUMN_STATISTICS’ в information_schema (1109).

Привет, Рахул. Надеюсь, у тебя все в порядке. Можешь подсказать, возможно ли после создания резервной копии отправить нам уведомление по электронной почте о завершении? Пожалуйста, добавь это в код, если сможешь. Спасибо.

Привет, Рахул! Отличный скрипт. Однако, когда я пытаюсь запустить его для получения резервной копии с моего сервера AWS, появляется ошибка «связь потеряна». Как это исправить? База данных довольно большая.

Привет, брат. Есть ли у тебя какой-то код для удаления предыдущих резервных копий с учетом срока хранения?

Привет, Рахул! У меня есть запрос от клиента: Сделать резервную копию базы данных PostgreSQL с использованием Python Удалить базу данных PostgreSQL с помощью Python Создать новую базу данных PostgreSQL с помощью Python Восстановить файл резервной копии базы данных в новую базу данных PostgreSQL с использованием Python. Пожалуйста, помоги мне с этим. Как можно выполнить эти шаги с помощью Python? Спасибо, Монендра Сингх.

Привет, Рахул. Мне очень нравится эта программа, она отлично работает на моем ПК. Но когда я запускаю её на сервере, она генерирует пустые SQL-файлы. Как это можно исправить?

Привет, Рахул. Прекрасный код, очень удобный. Однако я столкнулся с проблемой: запустив его на своем ПК, он работал отлично, но на сервере БД генерирует пустые базы данных. Как я могу решить эту проблему?

Привет, WIL! Удалось ли тебе справиться с этой проблемой? Заранее спасибо.

Я заметил, что у тебя отсутствует пробел после параметра -p. Это так?

Да, это так.

Привет, Рахул! Можно ли архивировать данные за текущий день или сделать резервную копию только данных за сегодня?

Это очень хорошо. Единственное, что я бы изменил, это реализовать ‘–login-path’ вместо использования видимых учетных данных пользователя.

Мне очень нравится этот сайт – он действительно полезен и помогает.

Спасибо, это просто и удобно.

Снова привет, нашел решение. dumpcmd = “%s -u “%MysqldumpPath + DB_USER + ” -p” + DB_USER_PASSWORD + ” -h ” + DB_HOST + ” ” + db + ” >” + TODAYBACKUPPATH + “/” + db + “.sql”. Просто используй эту строку вместо.

Привет, отличная идея, но я заметил, что ты на самом деле не используешь переменную DB_HOST, поэтому, когда я пытался запустить этот код на другом хосте, он продолжал обновлять локальный, есть идеи?

Я имел в виду резервное копирование, а не обновление.

Благодарю. Это очень удобно и полезно. Я внес небольшие корректировки – замените вывод на логирование: logging.info(‘Запуск процесса резервного копирования в %s.’ % DATETIME) logging.info(‘Создание директории для резервного копирования’) вместо: print «Создание директории для резервного копирования».

Не могли бы вы поделиться информацией о том, как делать инкрементальные резервные копии в Amazon RDS?

Здравствуйте, появляется сообщение “Файл базы данных не найден…”. Однако база данных уже присутствует и была сохранена в указанной папке, а сообщение продолжает появляться. На мой взгляд, это не инкрементальная резервная копия, и это пустая трата пространства. Если возможно, напишите скрипт для инкрементальной резервной копии.~python dbbackup.py создание директории для резервного копирования проверка файла имен баз данных. Файл базы данных не найден… Начало резервного копирования базы данных db_nagiosql_v32 Скрипт резервного копирования завершен. Ваши резервные копии были созданы в директории ‘/backup/dbbackup/12262013-125317’ root@system1:~С уважением, Рамиз

Здравствуйте, Рамиз. Благодарю за ваше предложение. Я изменю скрипт, чтобы он осуществлял инкрементальные резервные копии. Что касается сообщения «Файл базы данных не найден», оно появится, если мы не используем опцию резервного копирования для нескольких баз данных. Мы обновим сообщения в следующем релизе скрипта.

Здравствуйте, Рамиз. Спасибо за ваше предложение. Я внесу изменения в скрипт для выполнения инкрементальных резервных копий. Что касается уведомления «Файл базы данных не найден», это сообщение возникает, если не активирована опция резервного копирования нескольких баз данных. Мы исправим уведомления в следующей версии скрипта.