форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка

Вариант для распечатки		Пред. тема | След. тема
Форум Оптимизация и Промышленные системы (Увеличение производительнсти)
Изначальное сообщение		[ Отслеживать ]

"Помогите Nic Bonding iSCSI RAMDrive - Debian"	+/–
Сообщение от Korang (ok) on 01-Ноя-10, 14:13
Доброе время суток, возникла проблема которую не смог решить сам поэтому прошу вашей помощи. Необходимо добиться максимальной скорости передачи данных между 2 серверами. При удачных тестах все введется в эксплуатацию на боевых серверах с приличным объемом РАМ ---- Что имеем: 2 одинаковых сервера (тестовая лаборатория): P4 x64 сетевая карта 1 - 1 Гбит сетевая карта 2 - 4-х портовая 1Гбит 4GB Ram eth0 - интерфейс 1 карты bond0 - бондинг с задействоваными интерфейсами eth1 eth2 eth3 eth4 Cisco Catalyst 3560G ---- Что сделано 1. Созданы виртуальные РАМдиски на каждом сервере ( mount -t tmpfs -o size=3000M tmpfs /mnt/RAMDrive/       ) 2. Вроде как настроен Nic Bonding (Nic Teaming) На обоих серверах, IP 10.10.250.3 и 10.10.250.2 auto bond0 iface bond0 inet static         address 10.10.250.3         netmask 255.255.255.0         network 10.10.250.0         bond_mode balance-rr         bond_miimon 100         bond_downdelay 200         bond_updelay 200         slaves eth1 eth2 eth3 eth4 3. Поднят iSCSI-Target & iSCSI Initiator  (/nmt/iSCSI) конфиг iSCSI-target mount -t tmpfs -o size=3000M tmpfs /mnt/tmpfs/ dd if=/dev/zero of=/mnt/tmpfs/image.img bs=1024k count=2000 Target test.802:test-debian.lun0         IncomingUser         OutgoingUser         Lun 0 Path=/mnt/tmpfs/image.img,Type=fileio         Alias LUN0 #       MaxConnections 1 #       ImmediateData          Yes             # Data can accompany command #       MaxRecvDataSegmentLength 8192          # Max data per PDU to receive #       FirstBurstLength       65536           # Max unsolicited data sequence Далее мои результаты: Создаем файлик 1.1 гиг  dd if=/dev/zero of=/mnt/iscsi/image.img bs=1024k count=1024 И результаты скорости: iSCSI - > RAMDrive     298MB/sec RAMDrive - > iSCSI     177MB/sec Как увеличить скорость? Скорость копирования
Ответить | Правка | Cообщить модератору

Сообщения по теме

[Сортировка по времени | RSS]

1. "Помогите Nic Bonding iSCSI RAMDrive - Debian"	+/–
Сообщение от StreSS.t (ok) on 01-Ноя-10, 18:53
У Вас стоит balance-rr - Round-robin выбор интерфейса что не даст Вам максимум производительности options bond0 mode=2, где mode=         0 - balance-rr (Round-robin выбор интерфейса)         1 - active-backup (работает только один интерфейс, остальные в режиме горячей замены)         2 - balance-xor - для всех пересылок на MAC закрепляется один из интерфейсов         3 - broadcast - трафик идет через оба интерфейса одновременно         4 - 802.3ad - для коммутаторов с поддержкой IEEE 802.3ad Dynamic link aggregation         5 - balance-tlb, 6 - balance-alb http://www.opennet.me/tips/info/759.shtml ЗЫ Сам бондиг не делал, только в теории рассматривал.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

	2. "Помогите Nic Bonding iSCSI RAMDrive - Debian"	+/–
	Сообщение от Korang (ok) on 01-Ноя-10, 19:16
	>[оверквотинг удален] >         2 - balance-xor - > для всех пересылок на MAC закрепляется один из интерфейсов >         3 - broadcast - > трафик идет через оба интерфейса одновременно >         4 - 802.3ad - > для коммутаторов с поддержкой IEEE 802.3ad Dynamic link aggregation >         5 - balance-tlb, 6 > - balance-alb > http://www.opennet.me/tips/info/759.shtml > ЗЫ Сам бондиг не делал, только в теории рассматривал. Я пробовал уже все режимы. в данном варианте получилась наибольшая скорость в обе стороны.
	Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

	3. "Помогите Nic Bonding iSCSI RAMDrive - Debian"	+/–
	Сообщение от StreSS.t (ok) on 01-Ноя-10, 22:20
	В тории должно быть 500Mb/s в одну сторону. в обе (одновременно) 250 должно быть, но вот почему при записи и чтении разница. А к примеру iotop что говорит iptraf какую общую скорость показывает.
	Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

	4. "Помогите Nic Bonding iSCSI RAMDrive - Debian"	+/–
	Сообщение от Vaso Petrovich on 02-Ноя-10, 08:16
	> В тории должно быть 500Mb/s в одну сторону. в обе (одновременно) 250 > должно быть, но вот почему при записи и чтении разница. А > к примеру iotop что говорит iptraf какую общую скорость показывает. а винты то у вас такую скорость осилят? или вы думаете они за счет святого духа, до такой скорости разгонятся?
	Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

	5. "Помогите Nic Bonding iSCSI RAMDrive - Debian"	+/–
	Сообщение от StreSS.t (ok) on 02-Ноя-10, 08:31
	RAMDrive - думаю дадут дольше. я так полагаю что человек делает тесты в "тепличных условиях" когда скорость винтов гораздо выше скорости сети. А что сказал dd когда был сделан файл - "Создаем файлик 1.1 гиг  dd if=/dev/zero of=/mnt/iscsi/image.img bs=1024k count=1024"
	Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

	6. "Помогите Nic Bonding iSCSI RAMDrive - Debian"	+/–
	Сообщение от Korang (ok) on 02-Ноя-10, 10:43
	> RAMDrive - думаю дадут дольше. > я так полагаю что человек делает тесты в "тепличных условиях" когда скорость > винтов гораздо выше скорости сети. > А что сказал dd когда был сделан файл - "Создаем файлик 1.1 > гиг  dd if=/dev/zero of=/mnt/iscsi/image.img bs=1024k count=1024" Да тесты проводятся в "тепличных условиях" для дальнейшего применения на боевых серверах фирмы. Так же на боевых машинках используется infinyband и корзинки =) Результаты: ~# dd if=/dev/zero of=/mnt/iscsi/image.img bs=1024k count=1024 1024+0 records in 1024+0 records out 1073741824 bytes (1.1 GB) copied, 9.35884 s, 115 MB/s iotop 80-260Mb/Sec iptraf показывает 0..... новерно он не понял bonding... Скорость работы с файлами (замерена через mc): Копирование: iSCSI -> RAMDrive   185-310M/Sec RAMDrive -> iSCSI   135-185M/Sec Перезапись файла: iSCSi -> RAMDrive   180-320M/Sec RAMDrive -> iSCSI   150-175M/Sec
	Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

	7. "Помогите Nic Bonding iSCSI RAMDrive - Debian"	+/–
	Сообщение от Korang (ok) on 02-Ноя-10, 15:31
	Поставил режим balance-tlb и попробовал посоздавать файлы разных размеров вот что вышло... # dd if=/dev/zero of=/mnt/iscsi/image.img bs=1024k count=200 &&  dd if=/dev/zero of=/mnt/iscsi/image.img bs=1024k count=400 &&  dd if=/dev/zero of=/mnt/iscsi/image.img bs=1024k count=600 &&  dd if=/dev/zero of=/mnt/iscsi/image.img bs=1024k count=750 200+0 records in 200+0 records out 209715200 bytes (210 MB) copied, 0.159145 s, 1.3 GB/s 400+0 records in 400+0 records out 419430400 bytes (419 MB) copied, 0.511152 s, 821 MB/s 600+0 records in 600+0 records out 629145600 bytes (629 MB) copied, 3.38926 s, 186 MB/s 750+0 records in 750+0 records out 786432000 bytes (786 MB) copied, 5.69244 s, 138 MB/s 3# dd if=/dev/zero of=/mnt/iscsi/image.img bs=1024k count=800 &&  dd if=/dev/zero of=/mnt/iscsi/image.img bs=1024k count=1100 800+0 records in 800+0 records out 838860800 bytes (839 MB) copied, 6.24761 s, 134 MB/s 1100+0 records in 1100+0 records out 1153433600 bytes (1.2 GB) copied, 10.3507 s, 111 MB/s
	Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

	8. "Помогите Nic Bonding iSCSI RAMDrive - Debian"	+/–
	Сообщение от StreSS.t (ok) on 02-Ноя-10, 15:34
	Вот скорее всего здесь и упирается. Честно говоря маловата скорость для RAMDrive. Видимо в его сторону и копать.
	Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

	9. "Помогите Nic Bonding iSCSI RAMDrive - Debian"	+/–
	Сообщение от Korang (ok) on 02-Ноя-10, 16:34
	Да нет, скорость РАМдрайва сама по себе нормальная. Выше показано создание файла на РАМдиск по сети по iSCSI в bonding. Локально на  любом сервере скорость работы РАМдиска нормальная, вот результаты # dd if=/dev/zero of=/mnt/ramdrv/image.img bs=1024k count=1024 1024+0 records in 1024+0 records out 1073741824 bytes (1.1 GB) copied, 0.861937 s, 1.2 GB/s
	Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

	10. "Помогите Nic Bonding iSCSI RAMDrive - Debian"	+/–
	Сообщение от StreSS.t (ok) on 02-Ноя-10, 16:48
	А что будет если не iSCSI использовать а скажем nfs/FTP (проверить что на других протоколах будет)
	Ответить | Правка | ^ к родителю #9 | Наверх | Cообщить модератору

	11. "Помогите Nic Bonding iSCSI RAMDrive - Debian"	+/–
	Сообщение от Korang (ok) on 02-Ноя-10, 17:59
	> А что будет если не iSCSI использовать а скажем nfs/FTP (проверить что > на других протоколах будет) ~# dd if=/dev/zero of=/mnt/nfs/imeea.img bs=1024k count=1024 1024+0 records in 1024+0 records out 1073741824 bytes (1.1 GB) copied, 9.28765 s, 116 MB/s ФТП тоже самое....
	Ответить | Правка | ^ к родителю #10 | Наверх | Cообщить модератору

	12. "Помогите Nic Bonding iSCSI RAMDrive - Debian"	+/–
	Сообщение от аноним0 on 10-Янв-11, 14:50
	а вы на циске port-channel-ы настроили-то ? в каком режиме ? попробуйте в режиме 802.3ad в режиме load-balance src-dst-port на циске + 4 режим бондинга на линуксе. про iperf и скорость - неоднократно обсуждалось.
	Ответить | Правка | ^ к родителю #11 | Наверх | Cообщить модератору

	13. "Помогите Nic Bonding iSCSI RAMDrive - Debian"	+/–
	Сообщение от Korang (ok) on 18-Янв-11, 08:50
	> а вы на циске port-channel-ы настроили-то ? в каком режиме ? > попробуйте в режиме 802.3ad в режиме load-balance src-dst-port на циске + 4 > режим бондинга на линуксе. > про iperf и скорость - неоднократно обсуждалось. Мы нашли другой вариант который нас устроил больше. Заюзали InfiniBand по протоколу SRP =)
	Ответить | Правка | ^ к родителю #12 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема