Скрипты для системных администраторов *NIX, Полезные скрипты для *NIX Опции

[Pilson]

Предлагаю в этой теме делиться различными скриптами для маленьких и не очень нужд, для облегчения жизни себе, любимым
В основном для Bash, PERL, AWK, но также приветствуется и остальное.

[reiten]

Для бытовых нужд:

Перегонка cue+flac в mp3

» Нажмите, чтобы показать спойлер - нажмите опять, чтобы скрыть... «

#!/bin/bash

LAME_OPTS="-h -V 0"

function set_metadata {
    TITLE=`cueprint -t "%t" -n $2 "$1"`
    ALBUM=`cueprint -t "%T" -n $2 "$1"`
    ARTIST=`cueprint -t "%p" -n $2 "$1"`
    COMMENT=`cueprint -t "%c" -n $2 "$1"`
    GENRE=`cueprint -t "%g" -n $2 "$1"`
    TRACKNUMBER=$2
    YEAR=`grep "REM DATE" "$1" | sed "s/REM DATE \([0-9]*\).*/\\1/"`
    id3v2 -a "${ARTIST}" -A "${ALBUM}" -t "${TITLE}" -c "${COMMENT}" -g "${GENRE}" -y "${YEAR}" -T "${TRACKNUMBER}" "$3"
}

function main {
    echo "Splitting ${FLAC_FILE}..."
    cuebreakpoints "${CUE_FILE}" | shnsplit -q -o wav -a "Track-" "${FLAC_FILE}"
    cuetag "${CUE_FILE}" Track-*.flac

    for TRACK_NO in $(seq -w 01 ${TRACK_CNT}); do
    WAV_FILE="Track-${TRACK_NO}.wav"
    MP3_FILE=`cueprint -t "%02n - %t\n" -n ${TRACK_NO} "${CUE_FILE}"`.mp3
    echo "Encoding ${MP3_FILE}..."
    lame ${LAME_OPTS} "${WAV_FILE}" "${MP3_FILE}"
    set_metadata "${CUE_FILE}" ${TRACK_NO} "${MP3_FILE}"
    rm -f "${WAV_FILE}"
    done
}

CUE_FILE="$1"

if [ ! -f "${CUE_FILE}" ]; then
    echo "ERROR: File \"${CUE_FILE}\" not found."
    exit 1
fi
FLAC_FILE=`dirname "${CUE_FILE}"`/`grep FILE "${CUE_FILE}" | sed "s/FILE \"\([^\"]*\)\".*/\\1/"`

TRACK_CNT=`cueprint -d "%N" "${CUE_FILE}"`

main

Регулярный инкрементальный бекап данных (запускается по крону, для рабочей станции самое оно):

» Нажмите, чтобы показать спойлер - нажмите опять, чтобы скрыть... «

#!/bin/sh

#--------------------------------------------------------------------------------
#This script backups precious data from /home
#--------------------------------------------------------------------------------

#----- system commands ----------------------------------------------------------

CP=/bin/cp;
RSYNC=/usr/bin/rsync;
READLINK=/bin/readlink;
ID=/usr/bin/id;
ECHO=/bin/echo;
DATE=/bin/date;
MKDIR=/bin/mkdir;
LN=/bin/ln;
RM=/bin/rm;

#------ working paths and parameters --------------------------------------------

BACKUPROOT=/freeagent/ext3/backup;
BACKUPSOURCE="/home/reiten /home/roman";
BACKUPNAME="backup.`date '+%Y-%m-%d.%H:%M'`";
BACKUPLASTEST=backup.actual;
EXCLUDEFROM=/freeagent/ext3/backup/config/exclude.conf;
LOCKFILE=/freeagent/ext3/backup/config/lock
#------ the script --------------------------------------------------------------

# echo $NAMETEMPLATE                                                                                                  
                                                                                                                      
if [ `id -u` != 0 ]; then                                                                                            
    $ECHO "This script must be runned by root";                                                                      
    exit 1;
fi

cd $BACKUPROOT;

if [ -d $BACKUPNAME ]; then exit; fi;

if [ -f $LOCKFILE ]; then
    $ECHO "Another copy of this script is running right now.";
    exit 1;
else
    $ECHO $$ > $LOCKFILE;
fi

$ECHO "Backup at `date '+%Y-%m-%d %k:%M'`"

if [ -L $BACKUPLASTEST ]; then
    $CP -al "$($READLINK $BACKUPLASTEST)" $BACKUPNAME;
else
    $MKDIR $BACKUPNAME;
fi;

$RSYNC -a --delete --delete-excluded --exclude-from=$EXCLUDEFROM $BACKUPSOURCE ./$BACKUPNAME;

if [ $? != 0 ]; then
    $ECHO "backup process was interrupted";
    $RM -f $LOCKFILE
    exit 1;
fi

$RM -f $BACKUPLASTEST;
$LN -fs $BACKUPNAME $BACKUPLASTEST;
$RM -f $LOCKFILE

[Pilson]

Скрипт автоматизации создания SVN репозиториев и назначение пользователя, группы и прав на созданный репозиторий.
В качестве параметра скрипту указывается имя репозитория, который нужно создать. Можно указывать несколько репозиториев сразу, через пробел. Если параметр отсутствует - скрипт завершается с ошибкой.

» Нажмите, чтобы показать спойлер - нажмите опять, чтобы скрыть... «

#!/bin/bash

###path to repos root
svnpath="/opt/svn/repos"

user="www-data"
group="svn"

if [ -n "$1" ]; then
    for t in $*; do
        svnadmin create --fs-type fsfs ${svnpath}/${t}/
        chown -R ${user}:${group} ${svnpath}/${t} && chmod ug+w ${svnpath}/${t} -R
    done
else
    echo "Error: missing parameter. Use: $0 repo-name"
fi

Сообщение отредактировал pilson - Jan 5 2011, 13:50

[gonivo]

Вот скрипт сваял для сервака обновления Nod32

» Нажмите, чтобы показать спойлер - нажмите опять, чтобы скрыть... «

#!/bin/sh

loc='/etc/nod'
site=http://update.eset.com
#site=http://um10.eset.com

for ((aaa=1; aaa <= 5 ; aaa++))
do
log=`cat $loc/lib/nod32.auth | grep "username" | sed s/"username="//g`
pass=`cat $loc/lib/nod32.auth | grep "password" | sed s/"password="//g`
rm -f $loc/update.ver
rm -f $loc/arh/update.ver
rm -f $loc/wg_log
rm -f $loc/url
site1=`echo $site | sed 's/\\//\\\\\//g'`
echo '---------------------------------------' >> $loc/nod.log
date >> $loc/nod.log
wget --http-user=$log --http-passwd=$pass $site/eset_upd/update.ver -a $loc/nod.log -P $loc/arh
if [ $? != 0 ]
then
echo error connect >>$loc/log
exit 1
fi

unrar -f $loc/arh/update.ver $loc >> $loc/nod.log
#cp -f $loc/update.ver /var/www/html/v3/update.ver
sleep 2
cat $loc/update.ver | grep "file=" | sed s/"file="//g | sed s/^/$site1/g | sed 's/.$//g' >$loc/url

LANG=en_US.UTF-8 wget --http-user=$log --http-passwd=$pass -x -nH -N -i $loc/url -o $loc/wg_log -P /var/www/html
nr=`cat $loc/wg_log | grep 'Server file no newer than local file' -c`
sd=`cat $loc/wg_log | grep "' saved \[" -c`
af=`cat $loc/wg_log | grep 'Authorization failed.' -c`
nurl=`cat $loc/url | grep "http" -c`
let res=nr+sd+af


echo files not retrieving $nr >> $loc/nod.log
echo files saved $sd >> $loc/nod.log
echo Authorization failed $af >> $loc/nod.log

echo summa $res >> $loc/nod.log
echo N url $nurl >> $loc/nod.log

LANG=en_US.UTF-8 wget --http-user=$log --http-passwd=$pass -N -q http://download.eset.com/download/win/eavb...be_nt32_rus.msi -P /var/www/html/install
LANG=en_US.UTF-8 wget --http-user=$log --http-passwd=$pass -N -q http://download.eset.com/download/win/eavb...be_nt64_rus.msi -P /var/www/html/install

nurl2=$(echo "scale=0; $nurl/4" | bc)
if [ $af -gt $nurl2 ]; then
$loc/updkey.pl
else
if [ $res -eq $nurl ]; then
aaa=90
#echo $nurl2
fi
fi

done

Создавался как замена обновляющей части одноименного скрипта с сайта лиссяры - оный после обновления перла стал глючить, но главная изюминка автонагугливание ключиков работает.
Eсли создать каталог ./loc и в него положить nod32.auth с строками username= password= то будет работать и сам.
Ну и + скачка свежих версий инсталлов нода

Сообщение отредактировал gonivo - Jan 9 2011, 1:09

[Pilson]

Если автор предыдущего скрипта не против - то выкладываю немного допиленную версию этого же скрипта. Структура приведена в более классический, читабельный вид, некоторые части кода облегчены (упрощен алгоритм получения некоторых переменных за счет удаления промежуточных механизмов).

» Нажмите, чтобы показать спойлер - нажмите опять, чтобы скрыть... «

#!/bin/bash

loc="/etc/nod"
site=http://update.eset.com
#site=http://um10.eset.com

for ((aaa=1; aaa <= 5; aaa++)); do
    log=$(grep "username" $loc/lib/nod32.auth| sed s/"username="//g)
    pass=$( grep "password" $loc/lib/nod32.auth| sed s/"password="//g)
    rm -f $loc/update.ver
    rm -f $loc/arh/update.ver
    rm -f $loc/wg_log
    rm -f $loc/url
    site1=$(echo $site | sed 's/\\//\\\\\//g')
    echo "---------------------------------------" >> $loc/nod.log
    date >> $loc/nod.log
    wget --http-user=$log --http-passwd=$pass $site/eset_upd/update.ver -a $loc/nod.log -P $loc/arh

    if [ $? != 0 ]; then
        echo "connection error" >>$loc/log
        exit 1
    fi

    unrar -f $loc/arh/update.ver $loc >> $loc/nod.log
    #cp -f $loc/update.ver /var/www/html/v3/update.ver
    sleep 2
    grep "file=" $loc/update.ver | sed s/"file="//g | sed s/^/$site1/g | sed 's/.$//g' >$loc/url

    LANG=en_US.UTF-8 wget --http-user=$log --http-passwd=$pass -x -nH -N -i $loc/url -o $loc/wg_log -P /var/www/html
    nr=$(grep "Server file no newer than local file" $loc/wg_log -c)
    sd=$(grep "' saved \[" $loc/wg_log -c)
    af=$(grep "Authorization failed." $loc/wg_log -c)
    nurl=$(grep "http" $loc/url -c)
    let res=nr+sd+af

    echo files not retrieving $nr >> $loc/nod.log
    echo files saved $sd >> $loc/nod.log
    echo Authorization failed $af >> $loc/nod.log
    echo summa $res >> $loc/nod.log
    echo N url $nurl >> $loc/nod.log
    LANG=en_US.UTF-8 wget --http-user=$log --http-passwd=$pass -N -q http://download.eset.com/download/win/eavb...be_nt32_rus.msi -P /var/www/html/install
    LANG=en_US.UTF-8 wget --http-user=$log --http-passwd=$pass -N -q http://download.eset.com/download/win/eavb...be_nt64_rus.msi -P /var/www/html/install

    nurl2=$(echo "scale=0; $nurl/4" | bc)
    if [ $af -gt $nurl2 ]; then
        $loc/updkey.pl
    elif [ $res -eq $nurl ]; then
        aaa=90
        #echo $nurl2
    fi
done

Сообщение отредактировал pilson - Jan 10 2011, 17:39

[ssslav77]

Вот скриптик для рестарта conky (иногда в процесах висит, а на рабочем столе ничего не отображает):

» Нажмите, чтобы показать спойлер - нажмите опять, чтобы скрыть... «

#!/bin/bash
killall conky
sleep 5 && conky
exit 0

Коротко и ясно)
..создал скриптик, выложил на рабочий стол ярлычек - и все)

Установка "нужной" даты в виртуальной машине VirtualBox (из-под Ubuntu):

» Нажмите, чтобы показать спойлер - нажмите опять, чтобы скрыть... «

#!/bin/bash
DefinedDate="2010-05-01"
VM_Name="MyVM"
   # Adjust VM BIOS time to a given date
   secsWasTonight=$(date --date "$*" +%s)    # convert supplied date to secs, since 1970-01-01
   secsWas_DefDateNight=$(date -d $DefinedDate +%s)    # convert supplied date to secs, since 1970-01-01
   offset=$(($secsWas_DefDateNight - $secsWasTonight))
   offsetDays=$(($offset / 86400))
   msecs=$(( $offset * 1000 ))       # convert to millis
   echo "Offset= $msecs miliseconds = $offset seconds = $offsetDays days."
#   echo Adjusting time ${msecs}ms
echo  "Setting time offset to our Virtual Machine '$VM_Name':
for this we will use this comand:
VBoxManage modifyvm $VM_Name --biossystemtimeoffset ${msecs}"
echo "Uncoment folowing string!!!
P/S: Your VM (and may be VirtualBox) Mast be SHUTted DOWN!!!!!!!

"
   VBoxManage modifyvm $VM_Name --biossystemtimeoffset ${msecs}  
exit 0

Попрятал под спойлер




Сообщение отредактировал pilson - Apr 7 2011, 9:12

[Freestyler]

Возникла необходимость частенько отправлять команду в работающий скрин при этом не заходя в него, написал простой скрипт.

» Нажмите, чтобы показать спойлер - нажмите опять, чтобы скрыть... «

#!/bin/bash
sname=пишем имя скрина
echo "Скрипт отправки команды в screen"
echo "Что отправить?"
read command
screen -S $sname -X stuff "$command"`echo -ne '\015'`
echo "Готово"

Сообщение отредактировал Freestyler - Apr 19 2011, 9:36

[nerve]

помогите решить такую задачу:
есть n интерфейсов, которые получают адрес, маску, шлюз и днс по дхцп.
надо:
- потушить все интерфейсы

#!/bin/sh
ifconfig n1 down
ifconfig n2 down

- по-очереди включить каждый и для верности запустить получение адреса по дхцп

ifconfig n1 up
dhclient n1

- парсить вывод netstat -rn на предмет дефолтного шлюза

netstat -rn | grep default
default            1.1.1.1     UGS       12 73504426     -     8 fxp1

- или, если система смогла получить два значения параметра default, то парсим эти два адреса

netstat -rn | grep default
default            1.1.1.1     UGS       11 73406860     -     8 fxp1
default            2.2.2.2     UGS       11 73406860     -     8 fxp2

- если не смогла получить два шлюза, то выключаем n1, включаем n2 и находим значение другого шлюза

ifconfig n1 down
ifconfig n2 up
dhclient n2
netstat -rn | grep default
default 2.2.2.2 UGS 11 73406860 - 8 fxp2

- смотрим файл и вносим значение шлюза1 в первую попавшуюся строку $ext_gw1 = "сюда",
а шлюза2 в строку $ext_gw2 = ""

cat /etc/pf.conf | grep ext_gw1
ext_gw1 = "3.3.3.3"

- заносим значение любого из найденных шлюзов в файлик

echo '1.1.1.1' > /etc/mygate

включаем выключенные интерфейсы и получаем для них адреса. с большой долей вероятности после выкл/вкл параметр пары адрес-шлюз останется тот же. если же сменится, то запускаем скрипт второй раз или просто запускаем его два раза для надежности)
- ну и релоад конфига

pfctl -f /etc/pf.conf

надо для НАТ-а соурса в разные сетки через некстхоп, поэтому нужен параметр шлюза, чтоб корректно отрабатывать автоматом, после конца аренды выданного адреса.

Сообщение отредактировал nerve - Oct 1 2011, 19:06

[I00matolog]

Есть список доменов
Надо както пробежатся по ним и посмотреть кто из них отдает телнет на 80 порт.
И сооветственно на вывод вывести - если есть 80 порт - живой домен, если нет то мертвый.
Оптимально баш.
Памажите пожалуйста.

[Pilson]

Синторрес погорячился, однако Причем тут виндовс?

Если навскидку - то:

for t in $(cat 1.txt); do echo -n "$t "; nmap $t -p 80 -P0 | awk '/80\/tcp/ {print $2}'; done
ya.ru open
google.com open
brig.emict.com filtered
1c.ru open
piccy.info open

[I00matolog]

Синторрес погорячился, однако Причем тут виндовс?

Если навскидку - то:

for t in $(cat 1.txt); do echo -n "$t "; nmap $t -p 80 -P0 | awk '/80\/tcp/ {print $2}'; done
ya.ru open
google.com open
brig.emict.com filtered
1c.ru open
piccy.info open

видимо у нас разные nmap. ваш синтаксис не подходит.

telnet hvost-oruzhie.com.ua  80                          
Trying 62.149.9.28...
Connected to hvost-oruzhie.com.ua.
Escape character is '^]'

[root@evaxua ~]# nmap hvost-oruzhie.com.ua  -p 80 -P0

Starting Nmap 5.00 ( http://nmap.org ) at 2011-11-29 21:41 EET
Nmap done: 1 IP address (0 hosts up) scanned in 0.29 seconds
[root@evaxua ~]# nmap hvost-oruzhie.com.ua  -p 80 -P0 | awk '/80\/tcp/ {print $2}';

[Pilson]

видимо у нас разные nmap. ваш синтаксис не подходит.

[root@evaxua ~]# nmap hvost-oruzhie.com.ua  -p 80 -P0

Starting Nmap 5.00 ( http://nmap.org ) at 2011-11-29 21:41 EET
Nmap done: 1 IP address (0 hosts up) scanned in 0.29 seconds
[root@evaxua ~]# nmap hvost-oruzhie.com.ua  -p 80 -P0 | awk '/80\/tcp/ {print $2}';

Замечал в дебиане такой глюк. Из-под пользователя (не из-под рута) работает нормально, проверь.

Также еще попробуй в nmap не "-P0", а "-PN"

Сообщение отредактировал pilson - Nov 29 2011, 21:59

[I00matolog]

Замечал в дебиане такой глюк. Из-под пользователя (не из-под рута) работает нормально, проверь.

Также еще попробуй в nmap не "-P0", а "-PN"

неа..не пашет.

[root@evaxua ~]# nmap hvost-oruzhie.com.ua  -p 80 -PN | awk '/80\/tcp/ {print $2}';
[root@evaxua ~]# nmap hvost-oruzhie.com.ua  -p 80 -PN                              

Starting Nmap 5.00 ( http://nmap.org ) at 2011-11-29 22:00 EET
Nmap done: 1 IP address (0 hosts up) scanned in 0.29 seconds

это бсд

[root@evaxua ~]# uname -a
FreeBSD evaxua 7.0-RELEASE FreeBSD 7.0-RELEASE #0: Tue Sep  9 15:06:38 EEST 2008     admin@evaxua:/usr/src/sys/i386/compile/EVAX-UA  i386
[root@evaxua ~]# nmap -v

Starting Nmap 5.00 ( http://nmap.org ) at 2011-11-29 22:00 EET

зы. фаер

[root@evaxua ~]# ipfw show
00100   33302273  49381428704 allow ip from any to any via lo0
00200          0            0 deny ip from any to 127.0.0.0/8
00300          0            0 deny ip from 127.0.0.0/8 to any
65000 1065996244 576900582440 allow ip from any to any
65535          0            0 deny ip from any to any

Сообщение отредактировал I00matolog - Nov 29 2011, 22:06

[Pilson]

покажи man nmap

[I00matolog]

покажи man nmap

он здоровенный.. та я копипастнул скрипты на дебиан - там завелось.пасиба.

[rayder]

как вариант еще проверять скриптой из nrpe/nagios check_http,

#./check_http <domain>
HTTP OK: HTTP/1.0 302 Found - 635 bytes in 0.100 second response time |time=0.100290s;;;0.000000 size=635B;;;0

#./check_http <domain>
HTTP WARNING: HTTP/1.0 404 Not Found

#./check_http <domain>
Connection refused
HTTP CRITICAL - Unable to open TCP socket

ну и на основе ответа и/или error кода уже выдавать ответ

Сообщение отредактировал rayder - Nov 30 2011, 10:34

[smeegul]

Перезапуск упавшего bind-а(для debian):

» Нажмите, чтобы показать спойлер - нажмите опять, чтобы скрыть... «

cat ./bind_check

#!/bin/bash
ps axu|grep bind |grep -v grep |grep -v bind_check &>/dev/null
REK=$?
if [ $REK = "1" ];then
/etc/init.d/bind9 stop
/etc/init.d/bind9 stop
killall -15 named
sleep 10
killall -9 named
killall -9 named
killall -9 named
/etc/init.d/bind9 start
fi

Сообщение отредактировал smeegul - Nov 30 2011, 17:25

[fli]

Не подскажите как сделать зеркалирования одной папки в другую?

Сообщение отредактировал fli - Sep 21 2012, 14:12

[Pilson]

Не подскажите как сделать зеркалирования одной папки в другую?

rsync -a /source/ /destination/

[fli]

rsync -a /source/ /destination/

Хм, только если удалить файлы из source, в destination они не удаляются.