Тестування швидкості ZFS накопичувача для FreeNAS-11. частина 1 RAID-контроллер Intel RS2BL040

FreeNAS-11 то насправді FreeBSD. Перевіряю, як працює ZFS з файлами, заповненими нулями та з файлами що мають неоднорідну структуру. Крім того різниця по компресії без компресії та з компресією lz4-рекомендована у FreeNAS .

 uname -a
FreeBSD mystorage.fmt 11.0-STABLE FreeBSD 11.0-STABLE #0 r321665+25fe8ba8d06(freenas/11.0-stable): Mon Sep 25 06:24:11 UTC 2017     root@gauntlet:/freenas-11-releng/freenas/_BE/objs/freenas-11-releng/freenas/_BE/os/sys/FreeNAS.amd64  amd64

Треба зауважити - що все обладнання не нове, може щось десь випало/згоріло. Основна мета тесту порівняти різні конфіги ZFS з точки зору продуктивності. Поки з сервером можна робити що завгодно - я скористався можливістю протестувати зручну ZFS.

Для тестування швидкості локального читання/запису використаємо стандартний пристрій /dev/zero та /dev/random  з  dd (як виявилося достатньо random бо пристрій zero при включеній компресіі ZFS нічого не показує)
Створюю тестовий файл, тестуємо швидкість запису, розмір ставимо такий, щоб помітити роботу по створенню/читанню файла 😉

dd if=/dev/zero of=/mnt/zpool1/dd.out bs=4096 count=10000000

також, спробую оцінити різницю з  /dev/random
 1) stripe raidz1, compression lz4 enable, bs=4K, кожний диск ,
/dev/zero
40960000000 bytes transferred in 90.966110 secs (450 277 581 bytes/sec)
/dev/random
40960000000 bytes transferred in 541.391652 secs (75 656 874 bytes/sec)

bs=default  (розмір сектору не вказано)
/dev/zero
5120000000 bytes transferred in 74.554750 secs (68 674 363 bytes/sec)

/dev/random
5120000000 bytes transferred in 140.715784 secs (36 385 399 bytes/sec)

2) nocompress

dd  if=/dev/random of=/mnt/zpool1/nocompress/dd.out bs=4096 count=10000000

40960000000 bytes transferred in 542.320861 secs (75 527 244 bytes/sec)

dd  if=/dev/random of=/mnt/zpool1/nocompress/dd.out count=10000000

5120000000 bytes transferred in 143.387571 secs (35 707 418 bytes/sec)

читаю його - тестую швидкість читання

dd if=/mnt/zpool1/dd.out of=/dev/null bs=4096

 1) stripe raidz1, compression lz4 enable
bs=4K
/dev/zero
40960000000 bytes transferred in 337.351628 secs (121 416 340 bytes/sec)
/dev/random
40960000000 bytes transferred in 67.916464 secs (603 093 828 bytes/sec)

bs=default (розмір сектору не вказано)

/dev/zero

5120000000 bytes transferred in 335.663927 secs (15 253 352 bytes/sec)
/dev/random
5120000000 bytes transferred in 30.246902 secs (169 273 537 bytes/sec)

2) nocompress
dd if=/mnt/zpool1/nocompress/dd.out of=/dev/null bs=4096

40960000000 bytes transferred in 79.914712 secs (512 546 429 bytes/sec)

dd if=/mnt/zpool1/nocompress/dd.out of=/dev/null

5120000000 bytes transferred in 29.682852 secs (172 490 162 bytes/sec)

З компресією писати однорідні данні (всі нулі у файлі) виходить значно швидше за рахунок роботи компресії, ніж з неоднорідними (найважче, якщо мультимедіа-файли, а в мене всі файли плануються саме такі). Однак, все одно з компресією краще, ніж без неї.

Тестовий масив: stripe raidz1 , LZ4 enable

pool: zpool1
 state: ONLINE
  scan: none requested
config:
        NAME                                            STATE     READ WRITE CKSUM
        zpool1                                          ONLINE       0     0     0
          raidz1-0                                      ONLINE       0     0     0
            gptid/21934931-ab33-11e7-b3a3-001e67041f63  ONLINE       0     0     0
            gptid/22344841-ab33-11e7-b3a3-001e67041f63  ONLINE       0     0     0
            gptid/22d28cbf-ab33-11e7-b3a3-001e67041f63  ONLINE       0     0     0
            gptid/238b13c1-ab33-11e7-b3a3-001e67041f63  ONLINE       0     0     0
            gptid/242e02ff-ab33-11e7-b3a3-001e67041f63  ONLINE       0     0     0
            gptid/24d35e79-ab33-11e7-b3a3-001e67041f63  ONLINE       0     0     0
            gptid/2576551c-ab33-11e7-b3a3-001e67041f63  ONLINE       0     0     0
            gptid/261d1f76-ab33-11e7-b3a3-001e67041f63  ONLINE       0     0     0
          raidz1-1                                      ONLINE       0     0     0
            gptid/50ab7a12-ab33-11e7-b3a3-001e67041f63  ONLINE       0     0     0
            gptid/51523a5f-ab33-11e7-b3a3-001e67041f63  ONLINE       0     0     0
            gptid/51fe3d13-ab33-11e7-b3a3-001e67041f63  ONLINE       0     0     0
            gptid/52b68b42-ab33-11e7-b3a3-001e67041f63  ONLINE       0     0     0
            gptid/5369c724-ab33-11e7-b3a3-001e67041f63  ONLINE       0     0     0
            gptid/5411bead-ab33-11e7-b3a3-001e67041f63  ONLINE       0     0     0
            gptid/54bbb88b-ab33-11e7-b3a3-001e67041f63  ONLINE       0     0     0
            gptid/556ad62c-ab33-11e7-b3a3-001e67041f63  ONLINE       0     0     0

Тестовий стенд 

Intel RAID card RS2BL040 chip LSISAS2108, конфіг - заводський, було зроблено резет за допомогою MegaCli. Кожан диск single Raid0, через те що контролер не дозволив MegaCli зробити JBOD на дисках
16 HDD 2TB WD Black WDC WD2003FYYS-0 (SPECs: Heads/disks 8/4, 512 Bytes per sector, Buffer to host 3GB/s, Host to/from drive 138MB/s)

dmesg -a
Copyright (c) 1992-2017 The FreeBSD Project.
Copyright (c) 1979, 1980, 1983, 1986, 1988, 1989, 1991, 1992, 1993, 1994
        The Regents of the University of California. All rights reserved.
FreeBSD is a registered trademark of The FreeBSD Foundation.
FreeBSD 11.0-STABLE #0 r321665+25fe8ba8d06(freenas/11.0-stable): Mon Sep 25 06:24:11 UTC 2017
    root@gauntlet:/freenas-11-releng/freenas/_BE/objs/freenas-11-releng/freenas/_BE/os/sys/FreeNAS.amd64 amd64
FreeBSD clang version 4.0.0 (tags/RELEASE_400/final 297347) (based on LLVM 4.0.0)
CPU: Intel(R) Xeon(R) CPU           X3430  @ 2.40GHz (2400.02-MHz K8-class CPU)
  Origin="GenuineIntel"  Id=0x106e5  Family=0x6  Model=0x1e  Stepping=5
  

Features=0xbfebfbff<FPU,VME,DE,PSE,TSC,MSR,PAE,MCE,CX8,APIC,SEP,MTRR,PGE,MCA,CMOV,PAT,PSE36,CLFLUSH,DTS,ACPI,MMX,FXSR,SSE,SSE2,SS,HTT,TM,PBE>
  Features2=0x98e3fd<SSE3,DTES64,MON,DS_CPL,VMX,SMX,EST,TM2,SSSE3,CX16,xTPR,PDCM,SSE4.1,SSE4.2,POPCNT>
  AMD Features=0x28100800<SYSCALL,NX,RDTSCP,LM>
  AMD Features2=0x1<LAHF>
  VT-x: (disabled in BIOS) PAT,HLT,MTF,PAUSE,EPT,VPID
  TSC: P-state invariant, performance statistics
real memory  = 18790481920 (17920 MB)
avail memory = 16528011264 (15762 MB)
Event timer "LAPIC" quality 100
ACPI APIC Table: <INTEL  S3420GPC>
FreeBSD/SMP: Multiprocessor System Detected: 4 CPUs
FreeBSD/SMP: 1 package(s) x 4 core(s)