Тестування швидкості raidz2 16 hdd ZFS накопичувача для FreeNAS-11. RAID-контроллер Intel RS2BL040

доповнення до минулої публікації
Була зібрана трохи інша raidz2 16 HDD ZFS-конфігурація, рекомендовація від FreeNAS raidz3 для такої кількості дисків.
Мета - побачити яка конфігурація рейду краще відповідає моїм потребам. Основне завдання зберігання мультимедіа матеріалів, швидкість прийому та передачі файлів  чим більша тим краще. При інших жорстко зафіксованих параметрах (RAID контролер та диски) можливо зробити висновок про швидкість різних конфігурацій
Протестовано різні види компресії, що можуть забезпечити високу продуктивність (швидкість - важлива) кращим виглядає gzip-1 (менше ОП треба для роботи ніж у lz4) з компресією менше навантаження на диски,

# zpool status
  pool: zpoolint
 state: ONLINE
  scan: none requested
config:
        NAME                                            STATE     READ WRITE CKSUM
        zpoolint                                        ONLINE       0     0     0
          raidz2-0                                      ONLINE       0     0     0
            gptid/5d718b04-add3-11e7-bcb3-001e67041f63  ONLINE       0     0     0
            gptid/5e19dfa5-add3-11e7-bcb3-001e67041f63  ONLINE       0     0     0
            gptid/5eb9c1c7-add3-11e7-bcb3-001e67041f63  ONLINE       0     0     0
            gptid/601778d2-add3-11e7-bcb3-001e67041f63  ONLINE       0     0     0
            gptid/60b66f4e-add3-11e7-bcb3-001e67041f63  ONLINE       0     0     0
            gptid/615eaa63-add3-11e7-bcb3-001e67041f63  ONLINE       0     0     0
            gptid/62036173-add3-11e7-bcb3-001e67041f63  ONLINE       0     0     0
            gptid/62ab8b46-add3-11e7-bcb3-001e67041f63  ONLINE       0     0     0
            gptid/6351a383-add3-11e7-bcb3-001e67041f63  ONLINE       0     0     0
            gptid/63fd06fc-add3-11e7-bcb3-001e67041f63  ONLINE       0     0     0
            gptid/64a938f9-add3-11e7-bcb3-001e67041f63  ONLINE       0     0     0
            gptid/65530b85-add3-11e7-bcb3-001e67041f63  ONLINE       0     0     0
            gptid/65fae6ab-add3-11e7-bcb3-001e67041f63  ONLINE       0     0     0
            gptid/66ab413c-add3-11e7-bcb3-001e67041f63  ONLINE       0     0     0
            gptid/675b59c9-add3-11e7-bcb3-001e67041f63  ONLINE       0     0     0
            gptid/68039cef-add3-11e7-bcb3-001e67041f63  ONLINE       0     0     0
errors: No known data errors

 raidz2 на розмір сектору 4096 байти без компресії. Такі саме тести, як минулого разу:

для порівняння з минулими данними

dd  if=/dev/random of=/mnt/zpoolint/Project/dd.out bs=4096 count=10000000

40960000000 bytes transferred in 650.823591 secs (62 935 641 bytes/sec)

dd if=/mnt/zpoolint/Project/dd.out of=/dev/null bs=4096

40960000000 bytes transferred in 208.029292 secs (196 895 349 bytes/sec)

якщо дивитись то швидкість читання та запису подисково - однаковий (близько 10МБайт/сек) але результуюча швидкість відрізняється, при тому що всі процеси зайняли 16ГБ ОП

Коли інфо про розмір сектору вирішується автоматично (ZFS зібрано з сектором 4096)

dd  if=/dev/random of=/mnt/zpoolint/Project/dd.out count=10000000

5120000000 bytes transferred in 166.802557 secs (30 694 973 bytes/sec)

dd if=/mnt/zpoolint/Project/dd.out of=/dev/null

5120000000 bytes transferred in 44.804623 secs (114 273 923 bytes/sec)

Перезбираю raidz2 на розмір сектору 512 bytes без компресії. Такі саме тести:

Подискова швидкість більша, близько 20МБ/сек, результуючі тести відрізняються
dd  if=/dev/random of=/mnt/zpoolint/Project/dd.out bs=512 count=5000000
2560000000 bytes transferred in 151.475072 secs (16 900 471 bytes/sec)

dd if=/mnt/zpoolint/Project/dd.out of=/dev/null bs=512

2560000000 bytes transferred in 48.443396 secs (52 845 180 bytes/sec)

dd  if=/dev/random of=/mnt/zpoolint/Project/dd.out  count=5000000

2560000000 bytes transferred in 161.563923 secs (15 845 122 bytes/sec)

dd if=/mnt/zpoolint/Project/dd.out of=/dev/null

2560000000 bytes transferred in 34.427745 secs (74 358 631 bytes/sec)

dd  if=/dev/random of=/mnt/zpoolint/Project/dd.out  count=10000000
5120000000 bytes transferred in 403.440985 secs (12 690 828 bytes/sec)

dd if=/mnt/zpoolint/Project/dd.out of=/dev/null
5120000000 bytes transferred in 103.117288 secs (49 652 198 bytes/sec)

Якщо датасет має компрессію lz4,  на дисках швидкість зменшилась, за показами репортінга FreeNAS, а звидкість роботі dd збільшилась, При тому що всі процеси зайняли 16ГБ ОП
dd  if=/dev/random of=/mnt/zpoolint/Project/dd.out bs=512 count=5000000
2560000000 bytes transferred in 71.801109 secs (35 654 046 bytes/sec)

dd if=/mnt/zpoolint/Project/dd.out of=/dev/null bs=512

2560000000 bytes transferred in 15.514505 secs (165 006 871 bytes/sec)

dd  if=/dev/random of=/mnt/zpoolint/Project/dd.out  count=10000000

5120000000 bytes transferred in 143.649816 secs (35 642 232 bytes/sec)

dd if=/mnt/zpoolint/Project/dd.out of=/dev/null

5120000000 bytes transferred in 29.538281 secs (173 334 391 bytes/sec)

Якщо датасет має компрессію gzip-1, процеси зайняли 5ГБ ОП, обмін данними з дисками значно менше ніж у некомпресованого датасету, маємо значну економію ОП та досить високу швидкість (але нижче ніж у lz4), навантаження на CPU 60%

dd  if=/dev/random of=/mnt/zpoolint/Project/dd.out bs=512 count=5000000
2560000000 bytes transferred in 80.385981 secs (31 846 349 bytes/sec)

dd if=/mnt/zpoolint/Project/dd.out of=/dev/null bs=512

2560000000 bytes transferred in 14.720019 secs (173 912 817 bytes/sec)

dd  if=/dev/random of=/mnt/zpoolint/Project/dd.out  count=10000000

5120000000 bytes transferred in 159.427275 secs (32 114 957 bytes/sec)

dd if=/mnt/zpoolint/Project/dd.out of=/dev/null

5 120 000 000 bytes transferred in 29.967554 secs (170 851 448 bytes/sec)

Новий датасет: Sector 16KB, стискає gzip-1, всі процеси зайняли 15ГБ, та близько 90% CPU

dd  if=/dev/random of=/mnt/zpoolint/Project16k/dd.out bs=4096 count=5000000
20 480 000 000 bytes transferred in 370.851895 secs (55 224 202 bytes/sec)

dd if=/mnt/zpoolint/Project16k/dd.out of=/dev/null bs=4096

20480000000 bytes transferred in 59.628038 secs (343 462 586 bytes/sec)

dd  if=/dev/random of=/mnt/zpoolint/Project16k/dd.out  count=5000000

2560000000 bytes transferred in 86.984046 secs (29 430 684 bytes/sec)

dd if=/mnt/zpoolint/Project16k/dd.out of=/dev/null

2560000000 bytes transferred in 16.916661 secs (151 330 097 bytes/sec)

датасет: Sector 8KB, стискає gzip-1. Системний репортінг пише що на дисках швидкість запису близько 9МБайт/сек, читання 42МБайт/сек, CPU 60%, а загальний результат дивимось нижче

dd  if=/dev/random of=/mnt/zpoolint/Project8k/dd.out bs=4096 count=5000000
20480000000 bytes transferred in 411.647638 secs (49 751 288 bytes/sec)

dd if=/mnt/zpoolint/Project8k/dd.out of=/dev/null bs=4096

20480000000 bytes transferred in 79.775760 secs (256 719 584 bytes/sec)

dd  if=/dev/random of=/mnt/zpoolint/Project8k/dd.out  count=5000000

2560000000 bytes transferred in 91.371010 secs (28 017 639 bytes/sec)

dd if=/mnt/zpoolint/Project8k/dd.out of=/dev/null

2560000000 bytes transferred in 18.435048 secs (138 865 925 bytes/sec)

датасет: Sector 8KB, стискає gzip-1. Системний репортінг пише що на дисках швидкість запису близько 7МБайт/сек, читання 42МБайт/сек, CPU 80%,  загальний результат дивимось нижче

dd  if=/dev/random of=/mnt/zpoolint/Project4k/dd.out bs=4096 count=5000000
20480000000 bytes transferred in 537.189043 secs (38 124 381 bytes/sec)

dd if=/mnt/zpoolint/Project4k/dd.out of=/dev/null bs=4096

20480000000 bytes transferred in 102.735638 secs (199 346 599 bytes/sec)

dd  if=/dev/random of=/mnt/zpoolint/Project4k/dd.out  count=5000000

2560000000 bytes transferred in 114.151803 secs (22 426 277 bytes/sec)

dd if=/mnt/zpoolint/Project4k/dd.out of=/dev/null

2560000000 bytes transferred in 22.388974 secs (114 341 998 bytes/sec)