Тестування швидкості raidz3 16 hdd ZFS накопичувача для FreeNAS-11. RAID-контроллер Intel RS2BL040

Минуді дві статті 2xRAIDZ2 16HDD та RAIDZ2 16HDD показали що для об"єктивності картини треба подивитися на рекомендовану FreeNAS конфігурацію RaidZ3 на тому самому обладнанні. Поки стенд не розібрав - роблю, дивимось. Малюнків не буде 😉 Тільки факти, від себе тексту небагато.


 zpool status
   pool: zpoolz3
 state: ONLINE
  scan: none requested
config:

        NAME                                            STATE     READ WRITE CKSUM
        zpoolz3                                         ONLINE       0     0     0
          raidz3-0                                      ONLINE       0     0     0
            gptid/141eff8b-ae70-11e7-bcb3-001e67041f63  ONLINE       0     0     0
            gptid/14c22f88-ae70-11e7-bcb3-001e67041f63  ONLINE       0     0     0
            gptid/1569b7c0-ae70-11e7-bcb3-001e67041f63  ONLINE       0     0     0
            gptid/160c9f98-ae70-11e7-bcb3-001e67041f63  ONLINE       0     0     0
            gptid/16acaf78-ae70-11e7-bcb3-001e67041f63  ONLINE       0     0     0
            gptid/17525716-ae70-11e7-bcb3-001e67041f63  ONLINE       0     0     0
            gptid/17fb1736-ae70-11e7-bcb3-001e67041f63  ONLINE       0     0     0
            gptid/18a9ecf7-ae70-11e7-bcb3-001e67041f63  ONLINE       0     0     0
            gptid/194cd9a4-ae70-11e7-bcb3-001e67041f63  ONLINE       0     0     0
            gptid/19f6203c-ae70-11e7-bcb3-001e67041f63  ONLINE       0     0     0
            gptid/1aa123f8-ae70-11e7-bcb3-001e67041f63  ONLINE       0     0     0
            gptid/1b5204d1-ae70-11e7-bcb3-001e67041f63  ONLINE       0     0     0
            gptid/1c03bb4b-ae70-11e7-bcb3-001e67041f63  ONLINE       0     0     0
            gptid/1cab4f52-ae70-11e7-bcb3-001e67041f63  ONLINE       0     0     0
            gptid/1d545c1e-ae70-11e7-bcb3-001e67041f63  ONLINE       0     0     0
            gptid/1dff2f5f-ae70-11e7-bcb3-001e67041f63  ONLINE       0     0     0

dataset: lz4, bs=1K

dd  if=/dev/random of=/mnt/zpoolz3/Project/dd.out bs=1024 count=5000000

CPU40%, HDD reporting Write 18MB/s для кожного диску з данними

5120000000 bytes transferred in 461.775356 secs (11 087 642 bytes/sec)

dd if=/mnt/zpoolz3/Project/dd.out of=/dev/null bs=1024 

CPU50%, HDD reporting read 55MB/s (з 4х дисків так читає)

5120000000 bytes transferred in 116.948168 secs (43 780 079 bytes/sec)

dd  if=/dev/random of=/mnt/zpoolz3/Project/dd.out bs=4096 count=5000000

CPU 40%, RAM 100%, HDD reporting 16...18MB/s all disks

20480000000 bytes transferred in 2245.631965 secs (9 119 927 bytes/sec)

dd if=/mnt/zpoolz3/Project/dd.out of=/dev/null bs=4096

CPU20%, HDD reporting read 50MB/s (з 4х дисків так читає)б КФЬ 90%

6215815168 bytes transferred in 232.194747 secs (26 769 835 bytes/sec)

dd  if=/dev/random of=/mnt/zpoolz3/Project/dd.out  count=5000000

CPU 60,,70%, RAM 90%, HDD reporting 20MB/s on 13 disks

2560000000 bytes transferred in 191.015044 secs (13 402 086 bytes/sec)

dataset: gzip-1, bs=1K

dd  if=/dev/random of=/mnt/zpoolz3/Project/dd.out bs=1024 count=5000000

CPU100%, RAM 10GB, HDD reporting Write 12MB/s для кожного диску з данними

5120000000 bytes transferred in 324.279222 secs (15 788 862 bytes/sec)

dd if=/mnt/zpoolz3/Project/dd.out of=/dev/null bs=1024 

CPU100%, HDD reporting read 20MB/s 

5120000000 bytes transferred in 61.101851 secs (83 794 516 bytes/sec)

dd  if=/dev/random of=/mnt/zpoolz3/Project/dd.out bs=4096 count=500000

CPU100%, 

2048000000 bytes transferred in 109.422182 secs (18 716 498 bytes/sec)

dd if=/mnt/zpoolz3/Project/dd.out of=/dev/null bs=4096

CPU100%, 

2048000000 bytes transferred in 14.258328 secs (143 635 358 bytes/sec)

dd  if=/dev/random of=/mnt/zpoolz3/Project/dd.out  count=5000000

CPU100%, 

2560000000 bytes transferred in 167.479283 secs (15 285 473 bytes/sec)

dd if=/mnt/zpoolz3/Project/dd.out of=/dev/null

2560000000 bytes transferred in 27.214096 secs (94 068 897 bytes/sec)

dataset: nocompress, bs=1K

dd  if=/dev/random of=/mnt/zpoolz3/Project/dd.out bs=1024 count=500000

512000000 bytes transferred in 14.273080 secs (35 871 726 bytes/sec)

dd if=/mnt/zpoolz3/Project/dd.out of=/dev/null bs=1024 

5120000000 bytes transferred in 225.048532 secs (22 750 648 bytes/sec)

dd  if=/dev/random of=/mnt/zpoolz3/Project/dd.out bs=4096 count=500000

2048000000 bytes transferred in 75.965307 secs (26 959 675 bytes/sec)

dd if=/mnt/zpoolz3/Project/dd.out of=/dev/null bs=4096

2048000000 bytes transferred in 12.332601 secs (166063911 bytes/sec)

dd  if=/dev/random of=/mnt/zpoolz3/Project/dd.out  count=500000

256000000 bytes transferred in 15.134703 secs (16 914 768 bytes/sec)

dd if=/mnt/zpoolz3/Project/dd.out of=/dev/null2

56000000 bytes transferred in 2.667209 secs (95 980 493 bytes/sec)