Які "хороші" швидкості для iSCSI та NFS понад 1 Гб Ethernet?

У мене є вікно OpenSolaris, яке розділяє дві файлові системи ZFS. Один - це з'єднання NFS до вікна CentOS, на якому працює сервер VMware (зображення диска зберігаються в ZFS). Інший - підключення iSCSI до сервера Windows 2008 з форматуванням NTFS поверх ZFS. Обидва з'єднання прямі через gig-E (без комутаторів).

Я бігаю Мунін для моніторингу коробок, але я не впевнений, яких цифр я повинен очікувати. Чи може хто-небудь дати мені деякі базові цифри для порівняння або зробити будь-які пропозиції щодо того, з чого почати налаштування?

Ось статистика NFS, яку я бачу, я опублікую iSCSI, як тільки я виправлю munin на поле solaris: P

Ми пересунули запис Sun X4100 над пов'язаними GigE та iSCSI до Sun X4500 до 280 МБ / с.

Існує багато, що можна зробити, щоб настроїти стек TCP на Solaris, щоб допомогти вирішити, це моя конфігурація налаштування акцій. (візьміть із якоїсь колекції білих шпалер):

$ cat /etc/rc3.d/S99ndd
#!/bin/bash

NDD=/usr/sbin/ndd

$NDD -set /dev/tcp tcp_xmit_hiwat 1048576
$NDD -set /dev/tcp tcp_recv_hiwat 8388608
$NDD -set /dev/tcp tcp_max_buf 8388608
$NDD -set /dev/udp udp_xmit_hiwat 1048576
$NDD -set /dev/udp udp_recv_hiwat 8388608
$NDD -set /dev/udp udp_max_buf 8388608
$NDD -set /dev/tcp tcp_conn_req_max_q 65536
$NDD -set /dev/tcp tcp_conn_req_max_q0 65536
$NDD -set /dev/tcp tcp_fin_wait_2_flush_interval 67500

Крім того, варто звернути увагу на вашій машині OpenSolaris - це зміна інтервалу fsflush, "магія" регулювання переривання та відключення м'яких кілець. Додайте до / etc / system (потрібно перезавантажити):

* "fsflush" tuning
set tune_t_fsflushr = 5
set autoup = 300
* Disable the Automatic Interrupt Adjustment
set dld:dld_opt = 2
* Disable "soft rings"
set ip:ip_squeue_fanout = 0
set ip:ip_soft_rings_cnt = 0

Варто зазначити, що я роблю це на Solaris 10 - а не на OpenSolaris - але я думаю, що налаштування повинні працювати для вас точно так само.

Я великий фанат Filebench за те, щоб грати з налаштуваннями параметрів і робити пропускну здатність.

• FileBench на Wiki SolarisInternals
• FileBench у SourceForge

Випуск OpenSolaris 2009.06 (нещодавно перейменований) виглядає дуже захоплюючим у світі iSCSI та ZFS.

Сподіваюсь, це дещо допоможе!

Я отримую близько 90 Мб / с на своїх масивах EMC AX150i через iSCSI на 1 Гб Ethernet.

Для лише однієї dd або bonnie ++ (необмежена швидкість, лінійна запис) ви повинні наблизитися до швидкості проводів.

Але вашим вузьким місцем буде дисковий масив, як тільки ви почнете отримувати випадкове введення вводу-виводу декількох ВМ, набагато більше, ніж транспорт.

Крім того, якщо у вас немає кешованого резервного копіювання запису із значною кількістю оперативної пам’яті, ваша продуктивність знизиться, як тільки ви почнете отримувати багато записів з будь-яким іншим IO.

Мені вдалося перенести дані через iSCSI до 200 Мбіт / сек через 1 ГБ посилань. Але у мене був 14-дисковий RAID 6, розміщений EMC CX4-240, і не дуже багато використовував кеш.

Найбільшим вузьким місцем, мабуть, буде кількість кешу контролера та швидкість дисків (бо коли кеш заповниться).

Я отримую близько 80 Мб / с на своєму сервері Windows через ISCSI на 1G Ethernet. Мета: KernSafe iStorage Server http://www.kernsafe.com/Product.aspx?id=5 Ініціатор: Microsoft Initiator www.microsoft.com/downloads/details.aspx?familyid=12cb3c1a-15d6-4585-b385-befd1319f825&displaylang= en

Твердий диск: ATA 7200

Для тих, хто ближче до напівпрофесійних речей (а не для професіоналів), я отримую постійний і послідовний запис 150 МБ зчитування 120 Мб з сервера W2012, подвійний 1 Гбіт нік, об'єднаний через draytek, керований перехід на blackarmorsnas через мідь RJ45, передача файлу 20 ГБ. Жодних інших симуляційних операцій під час тесту. Щоб домогтися цього, я використовую jumbo фрейми 9k, rx і tx потоку, тобто всі нормальні оптимізації драйверів, але ніяких налаштувань, крім ввімкнення та підняття рамки jumbo до максимуму.