Тестування швидкості ZFS накопичувача для FreeNAS-11. частина 1 RAID-контроллер Intel RS2BL040

FreeNAS-11 то насправді FreeBSD. Перевіряю, як працює ZFS з файлами, заповненими нулями та з файлами що мають неоднорідну структуру. Крім того різниця по компресії без компресії та з компресією lz4-рекомендована у FreeNAS .

 uname -a
FreeBSD mystorage.fmt 11.0-STABLE FreeBSD 11.0-STABLE #0 r321665+25fe8ba8d06(freenas/11.0-stable): Mon Sep 25 06:24:11 UTC 2017     root@gauntlet:/freenas-11-releng/freenas/_BE/objs/freenas-11-releng/freenas/_BE/os/sys/FreeNAS.amd64  amd64

Треба зауважити - що все обладнання не нове, може щось десь випало/згоріло. Основна мета тесту порівняти різні конфіги ZFS з точки зору продуктивності. Поки з сервером можна робити що завгодно - я скористався можливістю протестувати зручну ZFS.

Для тестування швидкості локального читання/запису використаємо стандартний пристрій /dev/zero та /dev/random  з  dd (як виявилося достатньо random бо пристрій zero при включеній компресіі ZFS нічого не показує)
Створюю тестовий файл, тестуємо швидкість запису, розмір ставимо такий, щоб помітити роботу по створенню/читанню файла 😉

dd if=/dev/zero of=/mnt/zpool1/dd.out bs=4096 count=10000000

також, спробую оцінити різницю з  /dev/random
 1) stripe raidz1, compression lz4 enable, bs=4K, кожний диск ,
/dev/zero
40960000000 bytes transferred in 90.966110 secs (450 277 581 bytes/sec)
/dev/random
40960000000 bytes transferred in 541.391652 secs (75 656 874 bytes/sec)

bs=default  (розмір сектору не вказано)
/dev/zero
5120000000 bytes transferred in 74.554750 secs (68 674 363 bytes/sec)

/dev/random
5120000000 bytes transferred in 140.715784 secs (36 385 399 bytes/sec)

2) nocompress

dd  if=/dev/random of=/mnt/zpool1/nocompress/dd.out bs=4096 count=10000000

40960000000 bytes transferred in 542.320861 secs (75 527 244 bytes/sec)

dd  if=/dev/random of=/mnt/zpool1/nocompress/dd.out count=10000000

5120000000 bytes transferred in 143.387571 secs (35 707 418 bytes/sec)

читаю його - тестую швидкість читання

dd if=/mnt/zpool1/dd.out of=/dev/null bs=4096

 1) stripe raidz1, compression lz4 enable
bs=4K
/dev/zero
40960000000 bytes transferred in 337.351628 secs (121 416 340 bytes/sec)
/dev/random
40960000000 bytes transferred in 67.916464 secs (603 093 828 bytes/sec)

bs=default (розмір сектору не вказано)

/dev/zero

5120000000 bytes transferred in 335.663927 secs (15 253 352 bytes/sec)
/dev/random
5120000000 bytes transferred in 30.246902 secs (169 273 537 bytes/sec)

2) nocompress
dd if=/mnt/zpool1/nocompress/dd.out of=/dev/null bs=4096

40960000000 bytes transferred in 79.914712 secs (512 546 429 bytes/sec)

dd if=/mnt/zpool1/nocompress/dd.out of=/dev/null

5120000000 bytes transferred in 29.682852 secs (172 490 162 bytes/sec)

З компресією писати однорідні данні (всі нулі у файлі) виходить значно швидше за рахунок роботи компресії, ніж з неоднорідними (найважче, якщо мультимедіа-файли, а в мене всі файли плануються саме такі). Однак, все одно з компресією краще, ніж без неї.

Тестовий масив: stripe raidz1 , LZ4 enable

pool: zpool1
 state: ONLINE
  scan: none requested
config:
        NAME                                            STATE     READ WRITE CKSUM
        zpool1                                          ONLINE       0     0     0
          raidz1-0                                      ONLINE       0     0     0
            gptid/21934931-ab33-11e7-b3a3-001e67041f63  ONLINE       0     0     0
            gptid/22344841-ab33-11e7-b3a3-001e67041f63  ONLINE       0     0     0
            gptid/22d28cbf-ab33-11e7-b3a3-001e67041f63  ONLINE       0     0     0
            gptid/238b13c1-ab33-11e7-b3a3-001e67041f63  ONLINE       0     0     0
            gptid/242e02ff-ab33-11e7-b3a3-001e67041f63  ONLINE       0     0     0
            gptid/24d35e79-ab33-11e7-b3a3-001e67041f63  ONLINE       0     0     0
            gptid/2576551c-ab33-11e7-b3a3-001e67041f63  ONLINE       0     0     0
            gptid/261d1f76-ab33-11e7-b3a3-001e67041f63  ONLINE       0     0     0
          raidz1-1                                      ONLINE       0     0     0
            gptid/50ab7a12-ab33-11e7-b3a3-001e67041f63  ONLINE       0     0     0
            gptid/51523a5f-ab33-11e7-b3a3-001e67041f63  ONLINE       0     0     0
            gptid/51fe3d13-ab33-11e7-b3a3-001e67041f63  ONLINE       0     0     0
            gptid/52b68b42-ab33-11e7-b3a3-001e67041f63  ONLINE       0     0     0
            gptid/5369c724-ab33-11e7-b3a3-001e67041f63  ONLINE       0     0     0
            gptid/5411bead-ab33-11e7-b3a3-001e67041f63  ONLINE       0     0     0
            gptid/54bbb88b-ab33-11e7-b3a3-001e67041f63  ONLINE       0     0     0
            gptid/556ad62c-ab33-11e7-b3a3-001e67041f63  ONLINE       0     0     0

Тестовий стенд 

Intel RAID card RS2BL040 chip LSISAS2108, конфіг - заводський, було зроблено резет за допомогою MegaCli. Кожан диск single Raid0, через те що контролер не дозволив MegaCli зробити JBOD на дисках
16 HDD 2TB WD Black WDC WD2003FYYS-0 (SPECs: Heads/disks 8/4, 512 Bytes per sector, Buffer to host 3GB/s, Host to/from drive 138MB/s)

dmesg -a
Copyright (c) 1992-2017 The FreeBSD Project.
Copyright (c) 1979, 1980, 1983, 1986, 1988, 1989, 1991, 1992, 1993, 1994
        The Regents of the University of California. All rights reserved.
FreeBSD is a registered trademark of The FreeBSD Foundation.
FreeBSD 11.0-STABLE #0 r321665+25fe8ba8d06(freenas/11.0-stable): Mon Sep 25 06:24:11 UTC 2017
    root@gauntlet:/freenas-11-releng/freenas/_BE/objs/freenas-11-releng/freenas/_BE/os/sys/FreeNAS.amd64 amd64
FreeBSD clang version 4.0.0 (tags/RELEASE_400/final 297347) (based on LLVM 4.0.0)
CPU: Intel(R) Xeon(R) CPU           X3430  @ 2.40GHz (2400.02-MHz K8-class CPU)
  Origin="GenuineIntel"  Id=0x106e5  Family=0x6  Model=0x1e  Stepping=5
  

Features=0xbfebfbff<FPU,VME,DE,PSE,TSC,MSR,PAE,MCE,CX8,APIC,SEP,MTRR,PGE,MCA,CMOV,PAT,PSE36,CLFLUSH,DTS,ACPI,MMX,FXSR,SSE,SSE2,SS,HTT,TM,PBE>
  Features2=0x98e3fd<SSE3,DTES64,MON,DS_CPL,VMX,SMX,EST,TM2,SSSE3,CX16,xTPR,PDCM,SSE4.1,SSE4.2,POPCNT>
  AMD Features=0x28100800<SYSCALL,NX,RDTSCP,LM>
  AMD Features2=0x1<LAHF>
  VT-x: (disabled in BIOS) PAT,HLT,MTF,PAUSE,EPT,VPID
  TSC: P-state invariant, performance statistics
real memory  = 18790481920 (17920 MB)
avail memory = 16528011264 (15762 MB)
Event timer "LAPIC" quality 100
ACPI APIC Table: <INTEL  S3420GPC>
FreeBSD/SMP: Multiprocessor System Detected: 4 CPUs
FreeBSD/SMP: 1 package(s) x 4 core(s)

owncloud 9 оновити до версії 10

Розгортаємо будь-яким відомим Вам на новому сервері або поряд з робочою версією на ІНШОМУ піддомені/порту способом owncloud 10, перевіряємо працездатність (завантажується інтерфейс, адміном можемо увійти)

owncloud 9 вмикаємо  maintenance mode
 # sudo -u www php occ maintenance:mode --on

експортуємо робочу БД (в мене mySQL)  про всяк випадок буде бекап (ОБОВ"ЯЗКОВО!!!)
mysqldump    --skip-lock-tables -u dbUSER -pPASSWORD dbNAME >  store-me.sql

конфіг owncloud 10 копія з версії 9

оновити базу до нової версії
# sudo -u www php occ upgrade

включаємо 

 # sudo -u www php occ maintenance:mode --off

тепер залишається переналаштувати веб-сервер на новий owncloud (якщо не зверху старого ставилось)

FreeNAS GUI

Якщо з інтерфейсом відбувається щось не звичайне - маємо можливість перезавантижити не зачіпаючи весь сервер

service nginx restart
service django restart

Redmine. Встановити плагін.

OS: Freebsd 11.0
Redmine 3.2.x

Всі шляхи файлової системи - так як в мене налаштовано , у вашому випадку можуть бути інакші. Redmine встановлено по стандартній інструкціі виробника з портів.
Плагін розпаковую сюди /usr/local/www/redmine/plugins
перехожу на рівень вище сюди: /usr/local/www/redmine
далі без коментів

  bundle install
  bundle update
  bundle exec rake db:migrate RAILS_ENV=production
  bundle exec rake redmine:plugins:migrate RAILS_ENV=production
  bundle exec rails s
  service nginx restart

Redmine встановити Easy Gantt (easy_gantt) плагін

Система FreeBSD 11
Розпакував у папку {ROOT-REDMINE}\plugins
chown -R www:www redmine
cd  /usr/local/www/redmine
bundle install
bundle update
bundle exec rake db:migrate RAILS_ENV=production
bundle exec rake redmine:plugins:migrate RAILS_ENV=production
bundle exec rails s

service nginx restart

Примітка: у мене ROOT-REDMINE =  /usr/local/www/redmine

Environment:
  Redmine version                3.2.3.stable
  Ruby version                   2.3.4-p301 (2017-03-30) [amd64-freebsd11]
  Rails version                  4.2.9
  Environment                    production
  Database adapter               Mysql2
SCM:
  Filesystem                  
Redmine plugins:
  easy_gantt                     1.9

Помилка USB Flash: The disk is offline because of policy set by an administrator

Підключив флешку - отримав помилку (в управлінні дисками)
The disk is offline because of policy set by an administrator
Така помилка не дозволяє увімкнути диск щоб отримати до нього доступ.

послідовність команд з командного рядку
DISKPART
відкриється нове вікно

DISKPART> list disk

  Disk ###  Status         Size     Free     Dyn  Gpt
  --------  -------------  -------  -------  ---  ---
  Disk 0    Online           59 GB      0 B
  Disk 1    Offline          14 GB      0 B
  Disk 2    Online          931 GB      0 B
  Disk 3    Online         3726 GB      0 B        *

DISKPART> san police=OnlineAll

DISKPART> select disk 1

DISKPART> ONLINE DISK

DiskPart successfully onlined the selected disk.

в моєму випадку перепідключав флешку щоби остання команда спрацювала (чомусь з першого разу не спрацювало)

Як зробити у FreeBSD для MySQL-бази backup/restore

Цей метод працює , також, для інших систем. Те що було зроблено - робилося у FreeBSD.

Розглядається найшвидший спосіб (він не зовсім правильний, бо пароль у явному вигляді, але я пожертвував цим для автоматизації під copy/paste

mysqldump    --skip-lock-tables -u dbUser -pdbUserPassword dbName >  backupFileName.sql

*Все робиться з робочою базою тому використав --skip-lock-tables щоб не переривалася архівація

відновлення з архівної бази

mysql -u dbUser   -pdbUserPassword  -h localhost dbName < backupFileName.sql

база має бути чистою (новоствореною)  перед  тим, як закачати архівну копію