Скрипты для системных администраторов *NIX, Полезные скрипты для *NIX Опции

[Pilson]

Предлагаю в этой теме делиться различными скриптами для маленьких и не очень нужд, для облегчения жизни себе, любимым
В основном для Bash, PERL, AWK, но также приветствуется и остальное.

[Pilson]

Хм, только если удалить файлы из source, в destination они не удаляются.

man rsync
man rsync | grep delete

[baltazor]

Хм, только если удалить файлы из source, в destination они не удаляются.

через rsync можно синхронизировать рекурсивно: добавление новых файлов, удаление, обновление сущ. файлов

А так, тут хорошо расписано: opennet

Сообщение отредактировал baltazor - Sep 21 2012, 17:01

[Navern]

Простенький скрипт бэкапа с отправкой на почту

» Нажмите, чтобы показать спойлер - нажмите опять, чтобы скрыть... «

#!/bin/sh
/usr/local/bin/mysqldump --opt -Aau Ваш пользователь -pВаш пароль > /var/tmp/all.sql
/usr/local/bin/rar a -ow -inul -pПарольНаАрхив /var/tmp/server_backup.rar /var/tmp/all.sql /etc /usr/local/etc /var/db/ports /var/db/pkg /usr/src/sys/i386/conf/KERNEL
/usr/bin/uuencode '/var/tmp/server_backup.rar' server_backup.rar | mail -s 'server backup' '[email protected]'
rm /var/tmp/server_backup.rar
rm /var/tmp/all.sql

[Pilson]

Простенький скрипт бэкапа с отправкой на почту

Ну раз на то пошло - вот непростенький
Есть два конфига:
1. sys_backup.conf
по одному архиву в одну строку
имя архива, директория, кол-во хранимых бекапов, опции (nocompress или encrypt). Можно комментировать строки.
Пример:

» Нажмите, чтобы показать спойлер - нажмите опять, чтобы скрыть... «

#Name                   Path                            archieves_to_store      nocompress || encrypt
etc                     /etc/                           5                       encrypt
sys_backup_scripts      /opt/sys_backup/                5                       encrypt
www-dirs                /var/www/                       3                       encrypt

2. exclude.conf
содержит список всего что НЕ надо архивировать (исключения).
по одному файлу или вайлдкарду в строке
Пример:

» Нажмите, чтобы показать спойлер - нажмите опять, чтобы скрыть... «

logs/*
log/*.txt
log-backup/*.bz2
log-old/*
*.tmp
tmp/*

Если директория - это например уже сжатые архивы, и их нужно просто перенести на бекап сервер - то используется параметр nocompress. Тогда скрипт просто копирует директорию на бекап сервер в таком виде в каком она есть. Если боитесь что по дороге до сервера трафик могут перехватить - ставите параметр encrypt. Используется асинхронное шифрование с помощью gpg через публичный ключ. Расшифровка только через приватный ключ. На данный момент реализовано использование либо шифрования, либо простого переноса директории. В будущем будет вдохновение или необходимость на работе - буду думать как использовать оба параметра одновременно.
Внутри скрипта указывается путь к рабочей директории, куда будут складываться бекапы, путь к конфигам, имя gpg ключа, URL бекап сервера (используется rsync), файл с паролем для бекап сервера (дабы не светить пароль в списке процессов).
Также скрипт умеет дампить mysql (можно отключить - on|off) каждую базу в отдельный файл, архивировать его на лету и шифровать, и лишь конечный результат уже пишется на диск. Т.е. перехватить промежуточный результат не получится. Пароль от mysql также не светится в списке процессов. Он сохранен в конфиге mysql сервера, и на конфиг выставляются владелец root:root и права 600, дабы никто кроме рута не имел к нему доступ.
пример:

» Нажмите, чтобы показать спойлер - нажмите опять, чтобы скрыть... «

[client]
password = mypassword

Также скрипт устанавливает на свою рабочую директорию пользователя root:root и права 600, дабы никто кроме рута не мог туда добраться.
Некоторые моменты внутри мне очень не нравятся - хочется, можно и нужно сделать элегантней, но пока лениво, да и особо некогда.
Скрипт нужно запускаь от рута, и, например, через крон.

Теперь, собственно - сам скрипт:

» Нажмите, чтобы показать спойлер - нажмите опять, чтобы скрыть... «

#!/bin/sh

export HOME="/root"
umask 0066

mysqlbackup="on"
rsync_user="$(hostname)"
url="rsync://${rsync_user}@backup_server/${rsync_user}"
workdir="/opt/sys_backup"
tmpdir="${workdir}/tmp"
conf="${workdir}/sys_backup.conf"
exclude="${workdir}/exclude.conf"
gpg_key="backup_public_key"
tstamp=`date +%Y-%m-%d`
backups_raw=$(awk '/^[\da-zA-Z]/' $conf)
rsync_pwfile="${workdir}/rsync.passwd"

if [ -z "$workdir" ]; then
    echo "Error: working dir is not set."
    exit 1
fi

if [ -z "$backups_raw" ]; then
    echo "Error: config file is empty."
    exit 1
fi

rm_old() {
    if [ -z $3 ]; then
        echo "Error: $1 $2 third parameter absent"
        return 1
    fi
    wdir="$1"
    name="$2"
    max="$3"
    total=$(ls -1 ${wdir}/${name}* | wc -l)
    if [ $total -ge $max ]; then
        olddir="$(pwd)"
        cd $wdir
        num=$(($total - $max))
        [ $num -gt 0 ] && ls -1 ${name}* | sort | head -$num | xargs rm -f
    fi
    cd $olddir/
}

rsync_send() {
    if [ -z $2 ]; then
        echo "Error: $1 $2 second parameter absent"
        return 1
    fi
    rsync -az --password-file=${rsync_pwfile} --delete $1 $2
}

arc() {
    ext="tar.bz2"
    if [ ! -z $3 ] && [ $3 = "encrypt" ]; then
        tar --numeric-owner -X $exclude -cj $2 | gpg -e -r ${gpg_key} --yes -o ${1}.${ext}.gpg
    else
        tar --numeric-owner -X $exclude -cjf ${1}.$ext $2
    fi
}

mkdir -p $tmpdir
chmod go-rwx $workdir
chmod go-rwx $workdir/*

for bname in $(echo "$backups_raw" | awk '/^[\da-zA-Z]/ {print $1}'); do
    export bname
    arc_dir="$(echo "$backups_raw" | awk '$1==ENVIRON["bname"] {print $2}')"
    max="$(echo "$backups_raw" | awk '$1==ENVIRON["bname"] {print $3}' | egrep "^[0-9]+$")"
    nocomp="$(echo "$backups_raw" | grep "^$bname" | grep "nocompress" -c)"
    encr="$(echo "$backups_raw" | grep "^$bname" | grep "encrypt" -c)"
    if [ "$nocomp" = "1" ]; then
        rsync_send $arc_dir ${url}/${bname}/
    else
        if [ "$encr" = "1" ]; then
            arc "${tmpdir}/$bname-$tstamp" "${arc_dir}/" encrypt
        else
            arc "${tmpdir}/$bname-$tstamp" "${arc_dir}/"
        fi
        if [ -n "$max" ]; then
            rm_old $tmpdir $bname $max
        else
            echo "Error: $bname: third parameter must be a digit, skipping this part"
        fi
     fi
done

if [ $mysqlbackup = "on" ]; then
    for mdump in $(echo "show databases;" | mysql -uroot | egrep -v "(^Database$|*_schema$|^test$|^ibdata$|^iblogs$)"); do #"
        mysqldump --single-transaction --extended-insert --quick -R -u root -cB $mdump | bzip2 -z -9 | gpg -e -r ${gpg_key} --yes -o ${tmpdir}/mysql-${mdump}-${tstamp}.sql.bz2.gpg
        rm_old $tmpdir mysql-$mdump 5
    done
fi

cd $tmpdir
rsync_send ${tmpdir}/ ${url}/sys_backup/

Как создавать связку ключей - приватный и публичный - я тут не описывал. Также не описывал как сконфигурировать на сервере и запустить rsync в режиме демона.
Идеи по функционалу приветствуются

Сообщение отредактировал Pilson - Jan 25 2013, 23:15

[tischenkov]

Доброго дня.

Есть написанный скрипт для копирования информации с сайта и сохранения в файл .txt. в данном случае это копирование улиц киева. с сайта http://sezamka.kiev.ua/streets.htm

Написанный скрипт не переходит на следующую страницу.

Пожалуйста, подскажите, как правильно сделать. за ранее благодарен.


for count in seq 1 50; do links -dump "http://sezamka.kiev.ua/streets$count.htm" | grep район -A50 | tail -n10 >> addresses.txt; sleep 3;done

[olexande]

Попробуйте добиться в ручном режиме "грабинга" любой 1 отдельной страницы.
Потом уже сможете запускать скрипт в цикле, обходя все страницы по очереди.

[$w@mp]

Добрый день, кто подскажет - нужен скрипт, который будет запускатся кроном, скрипт должен пингануть какой-нибудь адрес в инете, и при отсутствии связи - ребутнуть роутер - к роутеру доступ есть по телнету
но линукс неполноценный - а бузибокс на арм-е, так что набор пакетов там ограничен - лучше всего стандартными пакетами обойтись.

Машина, на которой выполняется скрипт и роутер - разные устройства . До роутера можно достучатся только по телнету.

Сообщение отредактировал $w@mp - Dec 20 2012, 20:21

[baltazor]

Что то типа:

ping -c2 x.x.x.x >/dev/null

if [ $? -eq 0 ]; then
    echo "ok"
else
    /sbin/reboot
fi

Сообщение отредактировал baltazor - Dec 20 2012, 20:00

[$w@mp]

Что то типа:

ping -c2 x.x.x.x >/dev/null

if [ $? -eq 0 ]; then
    echo "ok"
else
    /sbin/reboot
fi

Не подходит - машина, на которой выполняется скрипт и роутер - разные устройства . До роутера можно достучатся только по телнету.

[Sintorres]

$w@mp,
Для виндов ТАК

Сообщение отредактировал Sintorres - Dec 20 2012, 20:27

[$w@mp]

$w@mp,
Для виндов ТАК

а для линукса?

[Sintorres]

#!/usr/bin/expect
spawn $env(SHELL)
send -- "telnet 192.168.1.1 23\r"
expect -- "login"
send -- "root\r"
expect -- "Password: "
send -- "Admin\r"
expect -- "#"
send -- "kill -1 `cat /var/run/ppp0.pid`\r"
expect -- "#"

нарыл тут _ttp://www.beta.acorp.ru/forum/viewtopic.php?t=2123&postdays=0&postorder=asc&start=15
тут еще глянь.
http://forum.dlink.ru/viewtopic.php?f=6&t=139290
ПС у меня для виндов есть приблуда, которая пингует и ребутит adsl модем

Сообщение отредактировал Sintorres - Dec 20 2012, 20:48

[Sintorres]

наверное ЭТО оно

[$w@mp]

Спасибо за помощь - все работает

[nerve]

как в одну строчку через пайп сделать svnadmin dump и tar так что бы сразу создавался архив дампа?

[Sera]

Возможно немного с опозданием, но все таки отвечу на вопрос. Есть вот такие варианты решений:

svnadmin dump /var/lib/svn/repositories/repo_name | split -b 700m - .dump.tar.gz

где split -b 700m выпонит нарезку архивов размером по 700Мб

cat dump.tar.gz* | svnadmin load /var/lib/svn/repositories/repo_name

Вариант с gzip:

svnadmin dump /var/lib/svn/repositories/repo_name | gzip -9 > dump.gz

gunzip -c dump.gz | svnadmin load /var/lib/svn/repositories/repo_name

[nerve]

да, с gzip вариант рабочий, а вот с первым я таки не понял

[chagarna]

просьба помочь написать скриптик, последовательность такая:
1) монтируется винт с ext4
2) проходит 1 минута
3) создается папка например 19.03.2013 и в ней подпапки, например 1, 2, 3 и тд
4) с определённых папок копируются данные в эти папки 1 2 3 и тд
5) после окончания копирования проходит 1 минута
6) размонтируется винт

убунта сервак решил таким способом бекапить только тапками не кидайтесь, пытаюсь сам разобратся, но только пытаюсь..

[nerve]

Идеи по функционалу приветствуются

не совсем в тему, но проблема такая:
1) работает, отправляет

NOW=`date +%d%m%y`
mysqldump -u root -p123 db > /root/backup/db.dump
tar czf /root/db$NOW.tar.gz -C /root/backup db.dump
mutt -s "mysql db for $NOW" -a /root/db$NOW.tar.gz -- [email protected] < /root/text.txt

2) работает, отправляет, но gmail не принимает

NOW=`date +%d-%m-%y`
rm -rf /root/backup/*.tar.gz.*
tar cz /etc/mail \
/etc/cron.d /etc/rc.d/init.d /etc/unicorn /etc/yum.repos.d \
/etc/httpd /etc/nginx /etc/sysconfig /etc/ssh \
/etc/fstab /etc/hosts ... | split -d -b 15M - /root/backup/host-$NOW.tar.gz.
mutt -s "host for $NOW part 1" -a /root/backup/host-$NOW.tar.gz.00 -- [email protected] < /root/text.txt
mutt -s "host for $NOW part 2" -a /root/backup/host-$NOW.tar.gz.01 -- [email protected] < /root/text.txt

2)если делать тоже самое с гзипом - то gmail принимает, но гзип следует по симлинкам в директориях, а это не подходит

gzip -cr /etc/mail \
/etc/cron.d /etc/rc.d/init.d /etc/unicorn /etc/yum.repos.d \
/etc/httpd /etc/nginx /etc/sysconfig /etc/ssh \
/etc/fstab /etc/hosts ... | split -d -b 15M - /root/backup/host-$NOW.gz.
mutt -s "host for $NOW part 1" -a /root/backup/host-$NOW.gz.00 -- [email protected] < /root/text.txt

не пойму, что ему не нравится в tar.gz разбитом сплитом..
хелп!

Сообщение отредактировал nerve - Mar 7 2013, 17:22

[loky12]

не пойму, что ему не нравится в tar.gz разбитом сплитом..
хелп!

Насколько помню gmail'у не нравится много расширений попробуйте не дописывать tar.