объединение двух каналов в один, CentOS 5.3 Опции

[hippieua]

Проблема решена практически полностью. для тех кому интересно
вот суть

» Нажмите, чтобы показать спойлер - нажмите опять, чтобы скрыть... «

Значится так, проблема в следующем:

Есть домашний сервер под управление CentOS 5.3
3 интерфейса
2 провайдера
1 внутридомашняя сеть

оба провайдера дают 100 мбит уаикса

задача номер 1 - сделать автоматическое резервное подставление канала б в случае вылета канала а
задача номер 2 - объединить 2х100 в один 200 ( актуально только для скачки в торрент и других p-2-p сетях, так как пиров много и как следствие с одними можно работать через а со вторыми через б )

пробовал читать про bonding но пришёл к выводу что с двумя разными провайдерами и без ихней поддержки на другой стороне такого не слелать. Или все так можно ?

пробовал также iproute2 nexthop

» Нажмите, чтобы показать спойлер - нажмите опять, чтобы скрыть... «

ip route add default scope global nexthop via 89.252.20.1 dev eth2 weight 1 nexthop via 10.1.0.1 dev eth1 weight 1

впринципе частично желаемого результата добился

» Нажмите, чтобы показать спойлер - нажмите опять, чтобы скрыть... «

но все это работает как бог на душу положен скорость прыгает от 1-2 мб/сек до 17-18 мб/сек, постоянно вылетают icq skype, так как пакеты шлются то в один гейт то вдругой.

Есть ли какие мысли по выходу и решению проблемы ?

Вот решение
1. Настройка iproute2: Создать в /etc/iproute2/rt_tables 2 таблицы для каждого из провайдеров

255<--->local
254<--->main
253<--->default
0<----->unspec

101 FreeNet
102 Nline

Создать файлик /etc/routing/FreeNet.list в него можно дописывать адреса путь к которым будет идти четко через основного провайдера.

Взять и запустить мой скрипт предварительно отредактировав переменные

» Нажмите, чтобы показать спойлер - нажмите опять, чтобы скрыть... «

Описания переменных
FreeNet=путь к текстовому файлу где указаны адреса и сети которые нужно пускать только через основного провайдера в формате:
x.x.x.x
или
x.x.x.x/y

l_eth=интерфейс локальный
l_ip=локальный IP линукс шлюза
l_net=домашняя сеть

li_net=локалка провайдера ( для доступа к внутресетевым ресурсам)


i1_eth=интерфейс провайдера 1
i1_ip=IP провайдера 1
i1_net=сеть провайдера 1
i1_gw=шлюз провайдера 1


i2_eth=интерфейс провайдера 2
i2_ip=IP провайдера 2
i2_net=сеть провайдера 2
i2_gw=шлюз провайдера 2

t1=номер первого провайдера в таблице rt_tables ( /etc/iproute2/rt_tables)
t2=номер второго провайдера в таблице rt_tables ( /etc/iproute2/rt_tables)

#!/bin/sh

################### CONFIG ############
FreeNet="/etc/routing/FreeNet.list"
### Home Network
l_eth=eth2
l_ip=192.168.5.1
l_net=192.168.5.0/24

########### Local ISP Network #########
li_net=10.0.0.0/8

########### ISP1 ######################
i1_eth=eth0
i1_ip=89.252.20.173
i1_net=89.252.20.0/24
i1_gw=89.252.20.1

########### ISP2 ######################
i2_eth=eth1
i2_ip=10.1.2.161
i2_net=10.0.0.0/16
i2_gw=10.1.0.1

#########ip route2 tables##############
t1=101
t2=102
#######################################

########### Flushing ##################
iptables -t mangle -F NEW_OUT_CONN
iptables -t mangle -F PREROUTING
iptables -t mangle -F OUTPUT
iptables -t mangle -X NEW_OUT_CONN
ip route flush table $t2
ip rule del table $t2
ip route flush table $t1
ip rule del table $t1
ip route flush cache
#######################################

iptables -t mangle -N NEW_OUT_CONN
iptables -t mangle -A NEW_OUT_CONN -j CONNMARK --set-mark 1
iptables -t mangle -A NEW_OUT_CONN -m statistic --mode random --probability 0.50 -j RETURN
iptables -t mangle -A NEW_OUT_CONN -j CONNMARK --set-mark 2

for file in $FreeNet; do
if [ -f "$file" ]; then
{ cat "$file" ; echo ; } | while read ip_addr; do
if [ "$ip_addr" != "" ]; then
echo "Статическая маршрутизация для $ip_addr"
iptables -t mangle -A NEW_OUT_CONN -d $ip_addr -j CONNMARK --set-mark 1
fi
done
fi
done

iptables -t mangle -A PREROUTING -d $l_net -j RETURN
iptables -t mangle -A PREROUTING -d $li_net -j RETURN

iptables -t mangle -A PREROUTING -s $l_net -m state --state new,related -j NEW_OUT_CONN
iptables -t mangle -A PREROUTING -s $l_net -j CONNMARK --restore-mark

iptables -t mangle -A OUTPUT -d $l_net -j RETURN
iptables -t mangle -A OUTPUT -d $li_net -j RETURN

iptables -t mangle -A OUTPUT -s $l_net -m state --state new,related -j NEW_OUT_CONN
iptables -t mangle -A OUTPUT -s $li_net -j CONNMARK --restore-mark

ip route add $l_net dev $l_eth scope link table $t1
ip route add $i2_net dev $i2_eth scope link table $t1
ip route add $i1_net dev $i1_eth scope link src $i1_ip table $t1
ip route add 127.0.0.0/8 dev lo scope link table $t1
ip route add default via $i1_gw table $t1

ip rule add prio 51 fwmark 1 table $t1
ip rule add from $i1_ip table $t1

ip route add $l_net dev $l_eth scope link table $t2
ip route add $i1_net dev $i1_eth scope link table $t2
ip route add $i2_net dev $i2_eth scope link src $i2_ip table $t2
ip route add 127.0.0.0/8 dev lo scope link table $t2
ip route add default via $i2_gw table $t2

ip rule add prio 52 fwmark 2 table $t2
ip rule add from $i2_ip table $t2

ip route flush cache

И вот результат


2 канала по 100 Мбит от разных провайдеров дают 21,3Мб/сек что соответствует почти 200Мбитам.

Это решение исключает кучу проблем связанных с использованием netxhop, а также позволяет иметь статически роуты в случае необходимости.

решение рабочее вприницпе для любой линукс системы с версией iptables 1.3.8 и выше.
иначе придется поработать patch-o-matic

Сообщение отредактировал hippieua - Aug 17 2009, 11:02

[protrue]

Объединение пропускной способности двух интернет каналов и простая отказоустойчивость

» Нажмите, чтобы показать спойлер - нажмите опять, чтобы скрыть... «

беспроводного соединения — на крыше антена и роутер, к серверу подключено витой парой. Все вобщем то неплохо, канал с гарантированой полосой в обоих направлениях, постоянный IP адрес, довольно надежный — падает редко. Но вот есть у него один минус — цена кусается.
Ценовая политика провайдера построена так, что для того, чтоб увеличить скорость в два раза — платить тоже надо в два раза больше. А скорости хочется больше! И надежности тоже — как то во время сильных заморозков роутеру стало «холодно» и интернета вечером и ночью небыло.
Поэтому задумал я провести домой второй интернет-канал, выбар пал на одного известного на Украине провайдера, предоставляющего доступ по ADSL. У него и тарифы недорогие и модем ADSL стоит недорого. Так я и сделал, подключился, воткнул ADLS модем в свич — все работает. Но от старого доброго беспроводного канала отказываться мне нехотелось, поэтому задумал я сделать так, чтоб интернет трафик шел сразу по обеим каналам, так, чтоб я мог воспользоваться суммарной пропускной способностью. Да еще и чтоб при падении одного канала всю нагрузку на себя брал другой.



После поиска в интернете я выснил, что есть как минимум два решения:

— на уровне файрвола раскидывать TCP сессии по разным интерфейсам. Недостатки — сайты, которые имею привязку сессий к IP адресу перестанут работать, так как последовательные запросы от одного пользователя могут приходить по разным каналам и с разных IP.
— на уровне маршрутизации раскидывать маршруты через разные интерфейсы. Проблем перового решения небудет, так как маршруты кешируются и последующие обращения к одному адресу будут идти через один и тот же интерфейс. Но балансировка будет не такая точная, и качая с одного сервера даже в несколько потоков не удастся достигнуть суммарной скорости двух каналов.

Я выбрал для себя балансировку с помощью маршрутизации, так как мне была очень важна стабильная работа всех сайтов, ну и эта функциональность уже была в моем ядре, а файрвол пришлось бы патчить.

Итак, приступим!

Для начала определим переменные:
$ cat /etc/balance/vars

#!/bin/bash

# LAN interface
IF0="eth1"

# WAN interface 1
IF1="eth0"

# WAN interface 2
IF2="ppp0"

IP1="194.9.xx.xx"
IP2="`ip addr show $IF2 | grep inet | awk '{print $2}'`"

# gateway 1
P1="194.9.xx.xx"
# gateway 2
P2="195.5.xx.xx"

# LAN netmask
P0_NET="192.168.0.0/24"
# WAN1 netmask
P1_NET="194.9.xx.xx/xx"
# WAN2 netmask
P2_NET="195.5.xx.xx/xx"


TBL1="provider1"
TBL2="provider2"

# Realtive weight of channels bandwidth
W1="2"
W2="1"



Добавим в файл /etc/iproute2/rt_tables две дополнительные таблицы маршрутизации:
echo "1 provider1" >> /etc/iproute2/rt_tables
echo "2 provider2" >> /etc/iproute2/rt_tables


Теперь напишем скрипт, который будет прописывать все необходимые маршруты и правила файрвола:

cat /etc/balance/routing.sh

#!/bin/bash

. /etc/balance/vars

echo "1" > /proc/sys/net/ipv4/ip_forward


ip route add $P1_NET dev $IF1 src $IP1 table $TBL1 > /dev/null 2>&1
ip route add default via $P1 table $TBL1 > /dev/null 2>&1
ip route add $P2_NET dev $IF2 src $IP2 table $TBL2 > /dev/null 2>&1
ip route add default via $P2 table $TBL2 > /dev/null 2>&1

ip route add $P1_NET dev $IF1 src $IP1 > /dev/null 2>&1
ip route add $P2_NET dev $IF2 src $IP2

ip route add default via $P1 > /dev/null 2>&1

ip rule add from $IP1 table $TBL1 > /dev/null 2>&1
ip rule add from $IP2 table $TBL2 > /dev/null 2>&1


ip route add $P0_NET dev $IF0 table $TBL1 > /dev/null 2>&1
ip route add $P2_NET dev $IF2 table $TBL1 > /dev/null 2>&1
ip route add 127.0.0.0/8 dev lo table $TBL1 > /dev/null 2>&1
ip route add $P0_NET dev $IF0 table $TBL2 > /dev/null 2>&1
ip route add $P1_NET dev $IF1 table $TBL2 > /dev/null 2>&1
ip route add 127.0.0.0/8 dev lo table $TBL2 > /dev/null 2>&1

iptables -t nat -F POSTROUTING
iptables -t nat -A POSTROUTING -s $P0_NET -o $IF1 -j MASQUERADE
iptables -t nat -A POSTROUTING -s $P0_NET -o $IF2 -j MASQUERADE


Этот набор команд обеспечивает маршрутизацию ответов через интерфейс, на котором был получен запрос, а так же маскарадинг а обоих интерфейсах.

Теперь напишем скрипт, который будет определять, работатет ли тот или иной канал и соответственно менять записи шлюза по умолчанию.

$ cat /etc/balance/check.sh

#!/bin/bash

. /etc/balance/vars

OLDIF1=0
OLDIF2=0

. /etc/balance/routing.sh
while true; do


ping -c 3 -s 100 $P1 -I $IF1 > /dev/null
if [ $? -ne 0 ]; then
echo "Failed IF1!"
NEWIF1=0
else
NEWIF1=1
fi

ping -c 3 -s 100 $P2 -I $IF2 > /dev/null
if [ $? -ne 0 ]; then
echo "Failed IF2!"
NEWIF2=0
else
NEWIF2=1
fi

if (( ($NEWIF1!=$OLDIF1) || ($NEWIF2!=$OLDIF2) )); then
echo "Changing routes"

if (( ($NEWIF1==1) && ($NEWIF2==1) )); then
echo "Both channels"
ip route delete default
ip route add default scope global nexthop via $P1 dev $IF1 weight $W1 \
nexthop via $P2 dev $IF2 weight $W2
elif (( ($NEWIF1==1) && ($NEWIF2==0) )); then
echo "First channel"
ip route delete default
ip route add default via $P1 dev $IF1
elif (( ($NEWIF1==0) && ($NEWIF2==1) )); then
echo "Second channel"
ip route delete default
ip route add default via $P2 dev $IF2
fi

else
echo "Not changed"
fi

OLDIF1=$NEWIF1
OLDIF2=$NEWIF2
sleep 3
done


Работу канала проверяем пингуя шлюз, и если нет ответа на 3 пинга подряд — мы считаем, что канал упал, и соответственно исключаем его из таблицы маршрутизации.

Таким образом, если работают оба канала:

$ ip route
195.5.xx.xx dev ppp0 proto kernel scope link src 95.133.xx.xx
194.9.xx.xx/xx dev eth0 proto kernel scope link src 194.9.xx.xx
192.168.0.0/24 dev eth1 proto kernel scope link src 192.168.0.75
default
nexthop via 194.9.xx.xx dev eth0 weight 2
nexthop via 195.5.xx.xx dev ppp0 weight 1


Итого имеем два default gw, первый с весом 2 и второй с весом 1. Тоесть через первый канал пойдет в два раза больше трафика, чем через второй.

Для того, чтобы кастомизировать эти скрипты под ваши нужды необходимо настроить значения в файле vars, остальные скрипты практически не требуют настройки.

© http://habrahabr.ru/blogs/linux/54748/

Bounding только читал или пытался настраивать?

» Нажмите, чтобы показать спойлер - нажмите опять, чтобы скрыть... «

http://ua.opennet.ru/tips/info/2121.shtml - Конфигурирование bonding для сетевых интерфейсов на RHEL/CentOS 5
http://ua.opennet.ru/tips/info/759.shtml - Объединение сетевых интерфейсов под Linux

твой случай

options bond0 mode=2

mode=2 (balance-xor)
Передачи распределяются между интерфейсами на основе формулы ((MAC-адрес источника) XOR (MAC-адрес получателя)) % число интерфейсов. Один и тот же интерфейс работает с определённым получателем. Режим даёт балансировку нагрузки и отказоустойчивость.

Сообщение отредактировал protrue - Aug 13 2009, 12:28

[hippieua]

Объединение пропускной способности двух интернет каналов и простая отказоустойчивость

По первому способу это как раз то что что я пробовал, и который дает непостоянные результаты и вылет клиентов icq.

А второй способ только читал, так как применить его на практике я не знаю

ну вот может ты поймешь

» Нажмите, чтобы показать спойлер - нажмите опять, чтобы скрыть... «

DEVICE=eth1
HWADDR=00:21:91:0B:F0:A4
IPADDR=10.1.2.161
NETMASK=255.255.0.0
BOOTPROTO=static
TYPE=Ethernet
ONBOOT=yes

DEVICE=eth2
HWADDR=00:21:91:0B:E5:C8
IPADDR=89.252.20.173
NETMASK=255.255.255.0
BOOTPROTO=static
TYPE=Ethernet
ONBOOT=yes

eth1 GW - 10.1.0.1
eth2 GW - 89.252.20.1


какой IP нужно присвоить интерфейсу bond0 ? какой шлюз прописать ?

[f10]

задача номер 2 - объединить 2х100 в один 200 ( актуально только для скачки в торрент и других p-2-p сетях, так как пиров много и как следствие с одними можно работать через а со вторыми через б )

При работе из одного клиента? Тогда в самом лучшем случае получится, что один из каналов будет всё равно, как за натом, что для торрента не очень выгодно.

Bonding тут совершенно не к месту.

Сообщение отредактировал f10 - Aug 13 2009, 14:39

[protrue]

По доработке текущей конфигурации предлагаю ознакомится

» Нажмите, чтобы показать спойлер - нажмите опять, чтобы скрыть... «

Используем 2+ провайдера (первая часть)
Здесь я хочу рассказать о настройке шлюза на Linux'e, для использования 2-х (и более) провайдеров интернета.
Для настройки мы будем использовать возможности iptables и утилиты ip из пакета, который как правило называется iproute2. А для решения поставленной задачи пакеты мы будем маршрутизировать на основе «policy routing» (т.е. маршрутизация на основе политик), а не «destination routing» (маршрутизация на основе адреса получателя).

Итак, приступим. Для начала определимся с переменными:
#!/bin/bash

IF1=eth1
IF2=eth2

IF — это сетевые интерфейсы, которые смотрят в интернет, через наших провайдеров
IP1=10.10.10.10
IP2=20.20.20.20

IP — это наши внешние IP-адреса, которые нам выдали провайдеры
P1=10.10.10.1
P2=20.20.20.1

P — это шлюзы по умолчанию у наших провайдеров
Policy routing позволяет выполнять маршрутизацию на основе адреса источника поэтому перечислим сервера которые будут учавствовать:
SRV11=192.168.0.11
SRV12=192.168.0.12

Здесь SRV11 и SRV12 — это два айпишника одного и тогоже сервера (это важно!), это позволяет одному серверу обрабатывать входящие соединения с двух провайдеров. Конечно же, существуют и другие варианты реализовать эту возможность, но я буду использовать именно айпишники, мне кажется для начала так будет проше.
Ну а теперь самое интересное — пишем правило для маршрутизации.
Первое что мы должны сделать это добавить свои таблицы маршрутизации, для этого необходимо отредактировать файл /etc/iproute2/rt_tables, например так:
#echo «101 T1» >> /etc/iproute2/rt_tables
#echo «102 T2» >> /etc/iproute2/rt_tables

Заполняем первую таблицу:
ip route add $P1_NET dev $IF1 src $IP1 table T1
ip route add default via $P1 table T1

Тоесть мы добавляем маршруты, в которых указываем что попасть в подсеть первого провайдера можно через первый интерфейс. Во второй строчке мы добавляем шлюз по умолчанию.
Тоже самое и во второй:
ip route add $P2_NET dev $IF2 src $IP2 table T2
ip route add default via $P2 table T2

Затем разберемся с основной таблицей, которая называется «main». Ее мы видим, когда набираем ip route:
ip route add $P1_NET dev $IF1 src $IP1
ip route add $P2_NET dev $IF2 src $IP2
ip route add default via $P1 metric 10

Первые две строчки аналогичны предыдущим записям, только опущено «table main». В третьей строчке задается маршрут по умолчанию с указанием метрики.
На этом с маршрутизацией разобрались, чтобы посмотреть что у нас находится в таблице маршрутизации можно выполнить команду «ip route show table <имя таблицы>». Теперь приступим к правилам. Как раз по правилам и будет приниматься решения какой пакет по какой таблице будет маршрутизироваться.
ip rule add from $IP1 table T1
ip rule add from $IP2 table T2

Здесь мы указали, что если адрес источника равен первому внешнему адресу, тогда маршрутизация выполняется по таблице T1. Аналогично вторая запись.
И наконец самое интересное:
ip rule add from $SRV11 fwmark 10 table T1
ip rule add from $SRV12 fwmark 20 table T2
Используя iptables мы можем маркировать интересующие нас пакеты и маршрутизировать их на основе этих меток. Собственно здесь мы добавили два правила: для пакетов, имеющих метку 10, использовать таблицу T1, для пакетов с меткой 20 — T2. Сейчас возможно не очень понятно для чего это может потребоваться, но из правил iptables все станет ясно. Для просмотра правил выполняем «ip rule», при маршрутизации они проверяются по порядку.
Ну вот половина работы сделана осталось написать правила для iptables, об этом мы поговорим во второй части.

http://habrahabr.ru/blogs/linux/49137/ часть 1

Используем 2+ провайдера (вторая часть)
Продолжим настройку нашего шлюза, про который я говорил в предыдущей статье. Напомню, там мы настроили правила маршрутизации, теперь нам надо заняться iptables. Сейчас мы настроим сеть состоящую из шлюза и сервера. На шлюзе будет работать SSH и DNS, а сервер у нас будет виндовый на нем у нас RDP и SMTP. Сеть будет настроена таким образом, что через любой из внешних айпишников мы сможем подключаться к любому из серверов, а SMTP сервер будет выходить наружу через основного провайдера.

Ну и конечно, же начнем с переменных, причем вынесем следующие настройки в отдельный файл, это нам сильно пригодиться в будущем:
#!/bin/bash

export GLOBAL_ETH_PRIM=eth1
export GLOBAL_ETH_SEC=eth2
export GLOBAL_IP_PRIM=10.10.10.10
export GLOBAL_IP_SEC=20.20.20.20
export MARK_PRIM=10
export MARK_SEC=20

Назовем этот файл ipt_p1.conf. А содержит он данные о том, какой из интерфейсов является главным, а какой запасным (PRIM и SEC соответственно) и значения для маркировки пакетов.
Перейдем к основному файлу конфигурации iptables, назовем его ipt.conf. Запишем переменные ;-)
#!/bin/bash
IPTABLES=/sbin/iptables
MODPROBE=/sbin/modprobe

Это для того, чтобы меньше зависеть от дистрибутива — пути к исполняемым файлам.
LOCAL_ETH=eth0
GLOBAL_ETH_P1=eth1
GLOBAL_ETH_P2=eth2
LOCAL_IP=192.168.0.1
LOCAL_NET=192.168.0.0/24
GLOBAL_IP_P1=10.10.10.10
GLOBAL_IP_P2=20.20.20.20

Тут мы описали конфигурацию нашей сети, по порядку: локальный интерфейс, интерфейсы, которые смотрят к провайдерам, локальный айпишник и подсеть, айпишники, которые выданы провайдерами.
SRV11=192.168.0.11
SRV12=192.168.0.12

А это наш сервер, для которого мы настраивали маршрутизацию на основе политик, используя метки. Как я уже говорил этот сервер на своем сетевом интерфейсе имеет два айпишника, чуть ниже я расскажу для чего это нам пригодиться.
. $1

Зацепили внешние настройки, в данном случае это будет наш файл ipt_p1.conf.
Хватит о скучном, приступим к настройке, причем попытаемся все сделать красиво:
echo "[+] Flushing existing iptables rules..."
$IPTABLES -F
$IPTABLES -F -t nat
$IPTABLES -F -t raw
$IPTABLES -F -t mangle
$IPTABLES -X
$IPTABLES -P INPUT DROP
$IPTABLES -P OUTPUT DROP
$IPTABLES -P FORWARD DROP

Очищаем все правила iptables, в первой строке говорим, что делаем, почему по английски, а чтобы не было проблем с кодировками. Последние три строчки устанавливают правила по умолчанию — все пакеты не подходящие под список правил будут просто отброшены.
$MODPROBE ip_conntrack
$MODPROBE iptable_nat

Загрузили модули ядра, которые будем использовать.
Теперь пройдемся по цепочкам iptables и заполним их необходимыми правилами:
echo "[+] Setting up INPUT chain..."

$IPTABLES -A INPUT -m state --state INVALID -j DROP
$IPTABLES -A INPUT -m state --state ESTABLISHED,RELATED -j ACCEPT

Используя возможности модуля state мы отбрасываем некорректные пакеты и принимаем пакеты относящиеся к уже установленным соединениям либо ко вторичными соединениям (таким как передача данных в ftp).
$IPTABLES -A INPUT -p tcp --dport 22 --syn -m state --state NEW -j ACCEPT

Принимаем подключения по SSH отовсюду.
$IPTABLES -A INPUT -i $LOCAL_ETH -s $LOCAL_NET -j ACCEPT

Локальный трафик будет ходить без ограничений, хотя это не всегда правильно.
$IPTABLES -A INPUT -i lo -j ACCEPT

Тоже на localhost.
Продолжаем с цепочкой OUTPUT:
echo "[+] Setting up OUTPUT chain..."

$IPTABLES -A OUTPUT -m state --state INVALID -j DROP
$IPTABLES -A OUTPUT -m state --state ESTABLISHED,RELATED -j ACCEPT

Эти правила аналогичны правилам в цепочке INPUT.
$IPTABLES -A OUTPUT -o $GLOBAL_ETH_PRIM -p udp --dport 53 -j ACCEPT

Мы разрешили работать нашему DNS серверу через основного провайдера
$IPTABLES -A OUTPUT -o $GLOBAL_ETH_PRIM -p tcp --dport 22 --syn -m state --state NEW -j ACCEPT

А также разрешили выходить наружу по SSH.
$IPTABLES -A OUTPUT -o $LOCAL_ETH -d $LOCAL_NET -m state --state NEW -j ACCEPT

Опять же на исходящий локальный трафик ограничений нет.
Переходим к обработке трафика из локальной сети:
echo "[+] Setting up FORWARD chain..."

$IPTABLES -A FORWARD -m state --state INVALID -j DROP
$IPTABLES -A FORWARD -m state --state ESTABLISHED,RELATED -j ACCEPT

Все те же два удобных правила.
$IPTABLES -A FORWARD -i $GLOBAL_ETH_P1 -d $SRV11 -p tcp --dport 25 --syn -m state --state NEW -j ACCEPT
$IPTABLES -A FORWARD -i $GLOBAL_ETH_P2 -d $SRV12 -p tcp --dport 25 --syn -m state --state NEW -j ACCEPT
$IPTABLES -A FORWARD -i $GLOBAL_ETH_P1 -d $SRV11 -p tcp --dport 3389 --syn -m state --state NEW -j ACCEPT
$IPTABLES -A FORWARD -i $GLOBAL_ETH_P2 -d $SRV12 -p tcp --dport 3389 --syn -m state --state NEW -j ACCEPT

Так у нас получается, что пакеты приходящие на первого провайдера пропускаются только на первый айпишник сервера, второго — на второй.
$IPTABLES -A FORWARD -i $LOCAL_ETH -s $SRV11 -j ACCEPT
$IPTABLES -A FORWARD -i $LOCAL_ETH -s $SRV12 -j ACCEPT

Разрашаем весь исходящий трафик с нашего сервера, опять же это не совсем правильно.
Далее идут правила NAT:
$IPTABLES -t nat -A POSTROUTING -s $SRV11 -p tcp --dport 25 -j SNAT --to-source $GLOBAL_IP_PRIM
$IPTABLES -t nat -A POSTROUTING -s $SRV12 -p tcp --dport 25 -j SNAT --to-source $GLOBAL_IP_PRIM

Все, что наш сервер попытается отправить по SMTP пойдет через основного провайдера.
И опять самое интересное нам осталось на последок. Переходим к PREROUTING, здесь то мы и воспользуемся возможностью маркировать пакеты, которая нам понадобится для маршрутизации вот в этих двух строчках:
ip rule add from $SRV11 fwmark 10 table T1
ip rule add from $SRV12 fwmark 20 table T2

Итак, наши правила:
$IPTABLES -t mangle -A PREROUTING -i $LOCAL_ETH -s $SRV11 -p tcp --dport 25 -j MARK --set-mark $MARK_PRIM
$IPTABLES -t mangle -A PREROUTING -i $LOCAL_ETH -s $SRV12 -p tcp --dport 25 -j MARK --set-mark $MARK_PRIM

Все пакеты уходящие с нашего внутреннего сервера на 25 порт мы маркируем значением $MARK_PRIM. Давайте проследим, что это нам дает: исходящий пакет маркируется значением 10, значит маршрутизироваться он будет по таблице T1, а соответствуя этой таблице пакет должен уйти через первого провайдера, в цепочке FORWARD есть разрешающее правило, поэтому пакет безпрепятственно проходит — все правильно это нам и требовалось.
Теперь нам надо разобраться с соединениями идущими к нам. Сначала, конечно же, должен отработать DNAT:
$IPTABLES -t nat -A PREROUTING -i $GLOBAL_ETH_P1 -d $GLOBAL_IP_P1 -p tcp --dport 25 -j DNAT --to-destination $SRV11
$IPTABLES -t nat -A PREROUTING -i $GLOBAL_ETH_P1 -d $GLOBAL_IP_P1 -p tcp --dport 3389 -j DNAT --to-destination $SRV11
$IPTABLES -t nat -A PREROUTING -i $GLOBAL_ETH_P2 -d $GLOBAL_IP_P2 -p tcp --dport 25 -j DNAT --to-destination $SRV12
$IPTABLES -t nat -A PREROUTING -i $GLOBAL_ETH_P2 -d $GLOBAL_IP_P2 -p tcp --dport 3389 -j DNAT --to-destination $SRV12

Вроде бы все правильно, проверяем: пакет приходит на внешний интерфейс шлюза, в зависимости от принадлежности интерфейса провайдеру, он перенаправляется на первый или второй айпишник внутреннего сервера, сервер отвечает с того же(!) айпишника, пакет на шлюзе маршрутизируется по основной таблице, проходит через FORWARD и отправляется через основного провайдера, а вот это уже не правильно, ведь пакет мог прийти и через запасного провайдера. Исправляем, добавляя правила:
$IPTABLES -t mangle -A PREROUTING -i $LOCAL_ETH -s $SRV11 -p tcp --sport 25 -j MARK --set-mark $MARK_PRIM
$IPTABLES -t mangle -A PREROUTING -i $LOCAL_ETH -s $SRV11 -p tcp --sport 3389 -j MARK --set-mark $MARK_PRIM
$IPTABLES -t mangle -A PREROUTING -i $LOCAL_ETH -s $SRV12 -p tcp --sport 25 -j MARK --set-mark $MARK_SEC
$IPTABLES -t mangle -A PREROUTING -i $LOCAL_ETH -s $SRV12 -p tcp --sport 3389 -j MARK --set-mark $MARK_SEC

Теперь на обратном пути мы маркируем пакеты в соответствии с адресом, с которого они отправляются. Далее в дело вступают таблицы маршрутизации T1 и T2, поэтому решение через какой интерфейс отправлять пакеты принимается правильное.
Все! Готово. Для применения правил выполняем команду "./ipt.conf ipt_p1.conf". Теперь наши сервера доступны, пока хотя бы один из провайдеров дает нам доступ в интернет.
Еще хотел рассказать, как можно переключаться между провайдерами и сделать парочку замечаний, но объем статьи и так уже слишком большой, видимо будет третья часть.

http://habrahabr.ru/blogs/linux/55132/ часть 2

тут есть готовые скрипты

А по настройке bounding-а как вариант можно поднять на интерфейсе второй виртуальный (bond0:1) и прописать второго прова, либо через vlan-ы. Но это уже экспериментировать надо.

Таки да bounding больше для hot backup подходит, чем для балансировки в даном конкретном случае.

Вот тут предлагают использовать CONNMARK
http://forum.interzet.ru/index.php?showtop...p;mode=threaded

И также ссылка по теме http://shorewall.net/MultiISP.html

Сообщение отредактировал protrue - Aug 13 2009, 14:55

[Liet Kynes]

а вариант сделать статические рауты через одного провай на определенные сервисы? на самый крайний случай.

[hippieua]

Решение проблемы если кому интересно наверху, вкратце:

на входе с помощью iptables пакетам рендомно ( с шансом 0,5 ) присваивается метка 1 или 2,
в зависимости от метки пакеты направляются или к одному или ко второму шлюзу.

[protrue]

Отлично.
А эксперименты по "выпаданию" одного прова проводились?

[hippieua]

Отлично.
А эксперименты по "выпаданию" одного прова проводились?

Еще нет -) пока что просто объединяет и все.
По работе в режиме резервного и основного каналовс горячей заменой буду ковыряться вечером.

[protrue]

Тут(МИР) очень простой скрипт для мониторинга в реальном времени загрузки канала (работает на lighttpd+php-fcgi или thttpd+cgi).

[Acid Jack]

на правах оффтопа:

эх, ме бы ваши проблемы
я вот поставил домой вайфайный роутер для раздачи инета, и теперь вместо 100 имею 10 мегабит
жалко потери скорости, зато без проводов (даже в туалете — мечта идиота)

[hippieua]

на правах оффтопа:

эх, ме бы ваши проблемы
я вот поставил домой вайфайный роутер для раздачи инета, и теперь вместо 100 имею 10 мегабит
жалко потери скорости, зато без проводов (даже в туалете — мечта идиота)

у меня стоит apple airport base station который нормально держит N, на макбуке по всей хате скорость около 7-8Мб/сек )

[Acid Jack]

у меня стоит apple airport base station который нормально держит N, на макбуке по всей хате скорость около 7-8Мб/сек )

и всё равно это не 11 Мб/с
кроме того мне тогда придётся докупать в свой ноут ещё и pcmcia-адаптер, а это вкупе с точкой доступа такого класса уже дороговато получается

[erby]

а кто знает как на фряхе сделать
стоит сервак который раздает инет и сайты крутятся
был один провайдер все ходили в инет через него
мой конфиг

# -- sysinstall generated deltas -- # Thu May 29 16:15:11 2008
# Created: Thu May 29 16:15:11 2008
# Enable network daemons for user convenience.
# Please make all changes to this file, not to /etc/defaults/rc.conf.
# This file now contains just the overrides from /etc/defaults/rc.conf.
ifconfig_em0="inet 192.168.0.1  netmask 255.255.255.0"
ifconfig_rl0="inet 78.159.хх.хх  netmask 255.255.254.0"
defaultrouter="78.159.55.254"
tcp_extensions="YES"
hostname="erby.ihome.ua"
inetd_enable="YES"
natd_enable="YES"
natd_interface="rl0"
# natd_flags="-f /etc/natd.conf"
gateway_enable="YES"
firewall_enable="YES"
firewall_type="open"
firewall_script="/etc/rc.firewall"
firewall_logging="YES"
keymap="ua.koi8-u"
sshd_enable="YES"
apache_enable="YES"
mysql_enable="YES"

недавно подключил еще одного провайдера
хочу чтобы канал стал шире и сайт ишел на 2а АЙПИ
уже 3и часа мудохаюсь не могу настроить подскажите пожалуйста
нужно сделать чтобы в инет ходили через 2а канала

Сообщение отредактировал erby - Oct 2 2009, 2:10

[olexande]

Актуальная тема ... С месяц-два назад на opennet был в советах скрипт для FreeBSD про перебросу трафика с канала на канал ...

Нашел - http://www.opennet.ru/tips/info/2142.shtml

Сообщение отредактировал olexande - Oct 2 2009, 12:56

[protrue]

Балансировка двух каналов средствами ipfw под FreeBSD
Пример разделения трафика для использования двух каналов в FreeBSD
(?)

[Caxap]

У автора CentOS.

[protrue]

У автора CentOS.

Мы в курсе!

А отвечали на пост

а кто знает как на фряхе сделать
стоит сервак который раздает инет и сайты крутятся
был один провайдер все ходили в инет через него
мой конфиг

» Нажмите, чтобы показать спойлер - нажмите опять, чтобы скрыть... «

# -- sysinstall generated deltas -- # Thu May 29 16:15:11 2008
# Created: Thu May 29 16:15:11 2008
# Enable network daemons for user convenience.
# Please make all changes to this file, not to /etc/defaults/rc.conf.
# This file now contains just the overrides from /etc/defaults/rc.conf.
ifconfig_em0="inet 192.168.0.1  netmask 255.255.255.0"
ifconfig_rl0="inet 78.159.хх.хх  netmask 255.255.254.0"
defaultrouter="78.159.55.254"
tcp_extensions="YES"
hostname="erby.ihome.ua"
inetd_enable="YES"
natd_enable="YES"
natd_interface="rl0"
# natd_flags="-f /etc/natd.conf"
gateway_enable="YES"
firewall_enable="YES"
firewall_type="open"
firewall_script="/etc/rc.firewall"
firewall_logging="YES"
keymap="ua.koi8-u"
sshd_enable="YES"
apache_enable="YES"
mysql_enable="YES"

недавно подключил еще одного провайдера
хочу чтобы канал стал шире и сайт ишел на 2а АЙПИ
уже 3и часа мудохаюсь не могу настроить подскажите пожалуйста
нужно сделать чтобы в инет ходили через 2а канала

[erby]

проблема в том что
пров сделал привязку к МАС адресу а я это забыл и подключил кабель к другой сет.карте и пытался что-то настроить
завтра буду звонить пускай обновляют МАС адрес
Вечером напишу результат

Сообщение отредактировал erby - Oct 3 2009, 0:06

[erby]

решил этот вопрос всем спс
мой конф

# -- sysinstall generated deltas -- # Thu May 29 16:15:11 2008
# Created: Thu May 29 16:15:11 2008
# Enable network daemons for user convenience.
# Please make all changes to this file, not to /etc/defaults/rc.conf.
# This file now contains just the overrides from /etc/defaults/rc.conf.
defaultrouter="78.159.хх.хх"
defaultrouter="94.244.хх.хх"

Сообщение отредактировал erby - Oct 25 2009, 19:00