четвер, 29 березня 2018 р.

Windows встановити PowerShell addon

Виникла потреба додати до мого PowerShell застосунок для роботи з дозволами NTFS.
Завантажив з  TechNet NTFSSecurity ( є ще ListAllSharedFolderPermission ) та розпакував. Далі переніс розпаковане до папки скриптів PowerShell ( вказано в заголовку виводу команди "Get-Module -ListAvaliable ")
По команді "Import-Module NTFSSecurity"  не встановився бо політика не дозволяє. 
Розібрався! спочатку треба зняти обмеження "тільки підписані" командою 
"SetExecutionPolicy RemoteSigned"
Додатковий застосунок підключився. 

Три команди послідовно - і все працює
Get-Module -ListAvaliable
SetExecutionPolicy RemoteSigned
Import-Module NTFSSecurity

понеділок, 15 січня 2018 р.

Owncloud occ команди

З командлайну ми можемо багато чого зробити з нашим owncloud за допомогою застосунку occ (запускаються з кореневої папки owncloud у моєму випадку, для FreeBSD /usr/local/www/owncloud) .

Перечитати усі файли/папки користувача (така потреба виникає коли в сховище користувача файли потрапляють не через застосунок або web-інтерфейс)
$ sudo -u www php occ files:scan username

Очистити  trashbin усіх користувачів - видалити файли "видалені" через ВЕБ-інтерфейс користувачами (якщо вказати користувача то тільки в нього, не видаляйте файли "вручну" - в базі залишиться сміття від незнайдених файлів)
$  sudo -u www php occ trashbin:cleanup

Оновлення скриптів owncloud до новішої версії
Увімкнути режим обслуговування
$ sudo -u www php occ maintenance:mode --on
Запустити оновлення
$  sudo -u www php occ upgrade
якщо раптом забули увімкнути режим обслуговування - скрипт зробить це за Вас (увімкне та вимкне)

Після успішного оновлення вимкнути режим обслуговування
$  sudo -u www php occ maintenance:mode --off
Тепер користувачі можуть підключатися до оновленої версії
УВАГА! після оновлення може змінитись параметр "максимальний розмір файлу" для завантаження на сервер. Обов"язково перевіряйте у ВЕБ-інтерфейсі адміністратора.


Якщо все те робить один користувач, і виникла потреба подивитись які саме команди з консолі виконувались(цей мануал так і зроблено):
$  history | grep occ

Джерело





понеділок, 27 листопада 2017 р.

Mac перенести mail на інший диск

Робимо бекап або експорт до архіву усієї пошти

Далі покроково:
Закрити Mail.app клієнт якщо запущений (перевіряємо перелік запущених програм в терміналі #ps -ax )
Зробити копію ~/Library/Mail/V2/Mailboxes/MyMail.mbox на інший диск (NewMail) /Volumes/NewMail/Mymail.mbox).
Видалити ~/Library/Mail/V2/Mailboxes/MyMail.mbox folder.
Зробити лінк на поштову папку на іншому диску через Terminal (тут /Applications/Utilities/ або через пошук)
cd ~/Library/Mail/V2/Mailboxes
ln -s /Volumes/ArchivedMail/MyMail.mbox MyMail.mbox
Закрити Terminal та запустити Mail.app. Ви побачите, що пошта у новій папці

четвер, 19 жовтня 2017 р.

FreeNAS 9.10 MegaRAID

Встановив карту  AOC-S3108L-H8iR-16DD, сказати що нова не можу, але не б/в точно. FreeNAS не розпізнав карту автоматично.

uname -a
FreeBSD freenas.local 10.3-STABLE FreeBSD 10.3-STABLE #0 r295946+21897e6695f(HEAD): Tue Jul 25 00:03:12 UTC 2017     root@gauntlet:/freenas-9.10-releng/_BE/objs/freenas-9.10-releng/_BE/os/sys/FreeNAS.amd64  amd64
 dmesg -a
Copyright (c) 1992-2016 The FreeBSD Project.
Copyright (c) 1979, 1980, 1983, 1986, 1988, 1989, 1991, 1992, 1993, 1994
        The Regents of the University of California. All rights reserved.
FreeBSD is a registered trademark of The FreeBSD Foundation.
FreeBSD 10.3-STABLE #0 r295946+21897e6695f(HEAD): Tue Jul 25 00:03:12 UTC 2017
    root@gauntlet:/freenas-9.10-releng/_BE/objs/freenas-9.10-releng/_BE/os/sys/FreeNAS.amd64 amd64
FreeBSD clang version 3.4.1 (tags/RELEASE_34/dot1-final 208032) 20140512
CPU: Intel(R) Xeon(R) CPU           X3430  @ 2.40GHz (2400.03-MHz K8-class CPU)
  Origin="GenuineIntel"  Id=0x106e5  Family=0x6  Model=0x1e  Stepping=5
  Features=0xbfebfbff<FPU,VME,DE,PSE,TSC,MSR,PAE,MCE,CX8,APIC,SEP,MTRR,PGE,MCA,CMOV,PAT,PSE36,CLFLUSH,DTS,ACPI,MMX,FXSR,SSE,SSE2,SS,HTT,TM,PBE>
  Features2=0x98e3fd<SSE3,DTES64,MON,DS_CPL,VMX,SMX,EST,TM2,SSSE3,CX16,xTPR,PDCM,SSE4.1,SSE4.2,POPCNT>
  AMD Features=0x28100800<SYSCALL,NX,RDTSCP,LM>
  AMD Features2=0x1<LAHF>
  VT-x: PAT,HLT,MTF,PAUSE,EPT,VPID
  TSC: P-state invariant, performance statistics
real memory  = 18790481920 (17920 MB)
avail memory = 16526180352 (15760 MB)
Event timer "LAPIC" quality 400
ACPI APIC Table: <INTEL  S3420GPC>
FreeBSD/SMP: Multiprocessor System Detected: 4 CPU
AVAGO MegaRAID SAS FreeBSD mrsas driver version: 06.709.07.00-fbsd
mfi0: Megaraid SAS driver Ver 4.23
mfi0: <Invader> port 0x2000-0x20ff mem 0xb1b00000-0xb1b0ffff,0xb1a00000-0xb1afffff irq 16 at device 0.0 on pci3
mfi0: Using MSI
mfi0: Megaraid SAS driver Ver 4.23
mfi0: Firmware fault
mfi0: Firmware not in READY state, error 6

Помилка була виправлена шляхом перепрошивки RAID-карти.
Прошивка карти тут, Консольна програма тут. Все що треба записав на FAT32 Flash. Тут це fs0. Завантажив сервер у режимі EFI Shell, за допомогою консольної программи прошиваю карту. Спочатку очищуємо з карти всі данні:
fs0:\tools\storecli.efi  /c0 delete events
fs0:\tools\storecli.efi  /c0 delete nvram

перезавантажив знову в той саме режим, прошиваю(прошивка там само де программа):
fs0:\tools\storecli.efi  /c0 download file=mr3108fw.rom


Оновив систему до FreeNAS11. Працювати не перестало.

 uname -a
FreeBSD storage6.fmt 11.0-STABLE FreeBSD 11.0-STABLE #0 r321665+25fe8ba8d06(freenas/11.0-stable) 
dmesg
AVAGO MegaRAID SAS FreeBSD mrsas driver version: 06.709.07.00-fbsd
mrsas0: <AVAGO Invader SAS Controller> port 0x2000-0x20ff mem 0xb1c00000-0xb1c0ffff,0xb1b00000-0xb1bfffff irq 16 at device 0.0 on pci1
mrsas0: Using MSI-X with 4 number of vectors
mrsas0: FW supports <96> MSIX vector,Online CPU 4 Current MSIX <4>
mrsas0: FW supports SED
mrsas0: FW supports JBOD Map
mrsas0: Jbod map is supported
mrsas0: MSI-x interrupts setup success
 zpool status
  pool: raidint
 state: ONLINE
  scan: none requested
config:
        NAME                                            STATE     READ WRITE CKSUM
        raidint                                         ONLINE       0     0     0
          raidz1-0                                      ONLINE       0     0     0
            gptid/63668727-b3ec-11e7-be45-001e67041f63  ONLINE       0     0     0
            gptid/64293cd8-b3ec-11e7-be45-001e67041f63  ONLINE       0     0     0
            gptid/64f757ac-b3ec-11e7-be45-001e67041f63  ONLINE       0     0     0
            gptid/65b8f266-b3ec-11e7-be45-001e67041f63  ONLINE       0     0     0
            gptid/667bd1c7-b3ec-11e7-be45-001e67041f63  ONLINE       0     0     0
            gptid/674c8fff-b3ec-11e7-be45-001e67041f63  ONLINE       0     0     0
            gptid/681fdfce-b3ec-11e7-be45-001e67041f63  ONLINE       0     0     0
            gptid/68e26e47-b3ec-11e7-be45-001e67041f63  ONLINE       0     0     0
          raidz1-1                                      ONLINE       0     0     0
            gptid/a0de46cb-b3ec-11e7-be45-001e67041f63  ONLINE       0     0     0
            gptid/a1a14519-b3ec-11e7-be45-001e67041f63  ONLINE       0     0     0
            gptid/a270a0a5-b3ec-11e7-be45-001e67041f63  ONLINE       0     0     0
            gptid/a340c7ff-b3ec-11e7-be45-001e67041f63  ONLINE       0     0     0
            gptid/a419264b-b3ec-11e7-be45-001e67041f63  ONLINE       0     0     0
            gptid/a4f2bfc2-b3ec-11e7-be45-001e67041f63  ONLINE       0     0     0
            gptid/a5cf5701-b3ec-11e7-be45-001e67041f63  ONLINE       0     0     0
            gptid/a69e7b53-b3ec-11e7-be45-001e67041f63  ONLINE       0     0     0
errors: No known data errors

середа, 11 жовтня 2017 р.

Тестування швидкості raidz3 16 hdd ZFS накопичувача для FreeNAS-11. RAID-контроллер Intel RS2BL040

Минуді дві статті 2xRAIDZ2 16HDD та RAIDZ2 16HDD показали що для об"єктивності картини треба подивитися на рекомендовану FreeNAS конфігурацію RaidZ3 на тому самому обладнанні. Поки стенд не розібрав - роблю, дивимось. Малюнків не буде 😉 Тільки факти, від себе тексту небагато.


 zpool status
   pool: zpoolz3
 state: ONLINE
  scan: none requested
config:

        NAME                                            STATE     READ WRITE CKSUM
        zpoolz3                                         ONLINE       0     0     0
          raidz3-0                                      ONLINE       0     0     0
            gptid/141eff8b-ae70-11e7-bcb3-001e67041f63  ONLINE       0     0     0
            gptid/14c22f88-ae70-11e7-bcb3-001e67041f63  ONLINE       0     0     0
            gptid/1569b7c0-ae70-11e7-bcb3-001e67041f63  ONLINE       0     0     0
            gptid/160c9f98-ae70-11e7-bcb3-001e67041f63  ONLINE       0     0     0
            gptid/16acaf78-ae70-11e7-bcb3-001e67041f63  ONLINE       0     0     0
            gptid/17525716-ae70-11e7-bcb3-001e67041f63  ONLINE       0     0     0
            gptid/17fb1736-ae70-11e7-bcb3-001e67041f63  ONLINE       0     0     0
            gptid/18a9ecf7-ae70-11e7-bcb3-001e67041f63  ONLINE       0     0     0
            gptid/194cd9a4-ae70-11e7-bcb3-001e67041f63  ONLINE       0     0     0
            gptid/19f6203c-ae70-11e7-bcb3-001e67041f63  ONLINE       0     0     0
            gptid/1aa123f8-ae70-11e7-bcb3-001e67041f63  ONLINE       0     0     0
            gptid/1b5204d1-ae70-11e7-bcb3-001e67041f63  ONLINE       0     0     0
            gptid/1c03bb4b-ae70-11e7-bcb3-001e67041f63  ONLINE       0     0     0
            gptid/1cab4f52-ae70-11e7-bcb3-001e67041f63  ONLINE       0     0     0
            gptid/1d545c1e-ae70-11e7-bcb3-001e67041f63  ONLINE       0     0     0
            gptid/1dff2f5f-ae70-11e7-bcb3-001e67041f63  ONLINE       0     0     0

dataset: lz4, bs=1K
dd  if=/dev/random of=/mnt/zpoolz3/Project/dd.out bs=1024 count=5000000
CPU40%, HDD reporting Write 18MB/s для кожного диску з данними
5120000000 bytes transferred in 461.775356 secs (11 087 642 bytes/sec)

dd if=/mnt/zpoolz3/Project/dd.out of=/dev/null bs=1024 
CPU50%, HDD reporting read 55MB/s (з 4х дисків так читає)
5120000000 bytes transferred in 116.948168 secs (43 780 079 bytes/sec)

dd  if=/dev/random of=/mnt/zpoolz3/Project/dd.out bs=4096 count=5000000
CPU 40%, RAM 100%, HDD reporting 16...18MB/s all disks
20480000000 bytes transferred in 2245.631965 secs (9 119 927 bytes/sec)

dd if=/mnt/zpoolz3/Project/dd.out of=/dev/null bs=4096
CPU20%, HDD reporting read 50MB/s (з 4х дисків так читає)б КФЬ 90%
6215815168 bytes transferred in 232.194747 secs (26 769 835 bytes/sec)

dd  if=/dev/random of=/mnt/zpoolz3/Project/dd.out  count=5000000
CPU 60,,70%, RAM 90%, HDD reporting 20MB/s on 13 disks
2560000000 bytes transferred in 191.015044 secs (13 402 086 bytes/sec)

dataset: gzip-1, bs=1K
dd  if=/dev/random of=/mnt/zpoolz3/Project/dd.out bs=1024 count=5000000
CPU100%, RAM 10GB, HDD reporting Write 12MB/s для кожного диску з данними
5120000000 bytes transferred in 324.279222 secs (15 788 862 bytes/sec)

dd if=/mnt/zpoolz3/Project/dd.out of=/dev/null bs=1024 
CPU100%, HDD reporting read 20MB/s 
5120000000 bytes transferred in 61.101851 secs (83 794 516 bytes/sec)

dd  if=/dev/random of=/mnt/zpoolz3/Project/dd.out bs=4096 count=500000
CPU100%, 
2048000000 bytes transferred in 109.422182 secs (18 716 498 bytes/sec)

dd if=/mnt/zpoolz3/Project/dd.out of=/dev/null bs=4096
CPU100%, 
2048000000 bytes transferred in 14.258328 secs (143 635 358 bytes/sec)

dd  if=/dev/random of=/mnt/zpoolz3/Project/dd.out  count=5000000
CPU100%, 
2560000000 bytes transferred in 167.479283 secs (15 285 473 bytes/sec)

dd if=/mnt/zpoolz3/Project/dd.out of=/dev/null
2560000000 bytes transferred in 27.214096 secs (94 068 897 bytes/sec)

dataset: nocompress, bs=1K
dd  if=/dev/random of=/mnt/zpoolz3/Project/dd.out bs=1024 count=500000
512000000 bytes transferred in 14.273080 secs (35 871 726 bytes/sec)

dd if=/mnt/zpoolz3/Project/dd.out of=/dev/null bs=1024 
5120000000 bytes transferred in 225.048532 secs (22 750 648 bytes/sec)

dd  if=/dev/random of=/mnt/zpoolz3/Project/dd.out bs=4096 count=500000
2048000000 bytes transferred in 75.965307 secs (26 959 675 bytes/sec)

dd if=/mnt/zpoolz3/Project/dd.out of=/dev/null bs=4096
2048000000 bytes transferred in 12.332601 secs (166063911 bytes/sec)


dd  if=/dev/random of=/mnt/zpoolz3/Project/dd.out  count=500000
256000000 bytes transferred in 15.134703 secs (16 914 768 bytes/sec)

dd if=/mnt/zpoolz3/Project/dd.out of=/dev/null2
56000000 bytes transferred in 2.667209 secs (95 980 493 bytes/sec)

Тестування швидкості raidz2 16 hdd ZFS накопичувача для FreeNAS-11. RAID-контроллер Intel RS2BL040

доповнення до минулої публікації
Була зібрана трохи інша raidz2 16 HDD ZFS-конфігурація, рекомендовація від FreeNAS raidz3 для такої кількості дисків.
Мета - побачити яка конфігурація рейду краще відповідає моїм потребам. Основне завдання зберігання мультимедіа матеріалів, швидкість прийому та передачі файлів  чим більша тим краще. При інших жорстко зафіксованих параметрах (RAID контролер та диски) можливо зробити висновок про швидкість різних конфігурацій
Протестовано різні види компресії, що можуть забезпечити високу продуктивність (швидкість - важлива) кращим виглядає gzip-1 (менше ОП треба для роботи ніж у lz4) з компресією менше навантаження на диски,
# zpool status
  pool: zpoolint
 state: ONLINE
  scan: none requested
config:
        NAME                                            STATE     READ WRITE CKSUM
        zpoolint                                        ONLINE       0     0     0
          raidz2-0                                      ONLINE       0     0     0
            gptid/5d718b04-add3-11e7-bcb3-001e67041f63  ONLINE       0     0     0
            gptid/5e19dfa5-add3-11e7-bcb3-001e67041f63  ONLINE       0     0     0
            gptid/5eb9c1c7-add3-11e7-bcb3-001e67041f63  ONLINE       0     0     0
            gptid/601778d2-add3-11e7-bcb3-001e67041f63  ONLINE       0     0     0
            gptid/60b66f4e-add3-11e7-bcb3-001e67041f63  ONLINE       0     0     0
            gptid/615eaa63-add3-11e7-bcb3-001e67041f63  ONLINE       0     0     0
            gptid/62036173-add3-11e7-bcb3-001e67041f63  ONLINE       0     0     0
            gptid/62ab8b46-add3-11e7-bcb3-001e67041f63  ONLINE       0     0     0
            gptid/6351a383-add3-11e7-bcb3-001e67041f63  ONLINE       0     0     0
            gptid/63fd06fc-add3-11e7-bcb3-001e67041f63  ONLINE       0     0     0
            gptid/64a938f9-add3-11e7-bcb3-001e67041f63  ONLINE       0     0     0
            gptid/65530b85-add3-11e7-bcb3-001e67041f63  ONLINE       0     0     0
            gptid/65fae6ab-add3-11e7-bcb3-001e67041f63  ONLINE       0     0     0
            gptid/66ab413c-add3-11e7-bcb3-001e67041f63  ONLINE       0     0     0
            gptid/675b59c9-add3-11e7-bcb3-001e67041f63  ONLINE       0     0     0
            gptid/68039cef-add3-11e7-bcb3-001e67041f63  ONLINE       0     0     0
errors: No known data errors

 raidz2 на розмір сектору 4096 байти без компресії. Такі саме тести, як минулого разу:
для порівняння з минулими данними
dd  if=/dev/random of=/mnt/zpoolint/Project/dd.out bs=4096 count=10000000
40960000000 bytes transferred in 650.823591 secs (62 935 641 bytes/sec)

dd if=/mnt/zpoolint/Project/dd.out of=/dev/null bs=4096
40960000000 bytes transferred in 208.029292 secs (196 895 349 bytes/sec)
якщо дивитись то швидкість читання та запису подисково - однаковий (близько 10МБайт/сек) але результуюча швидкість відрізняється, при тому що всі процеси зайняли 16ГБ ОП

Коли інфо про розмір сектору вирішується автоматично (ZFS зібрано з сектором 4096)
dd  if=/dev/random of=/mnt/zpoolint/Project/dd.out count=10000000
5120000000 bytes transferred in 166.802557 secs (30 694 973 bytes/sec)

dd if=/mnt/zpoolint/Project/dd.out of=/dev/null
5120000000 bytes transferred in 44.804623 secs (114 273 923 bytes/sec)

Перезбираю raidz2 на розмір сектору 512 bytes без компресії. Такі саме тести:

Подискова швидкість більша, близько 20МБ/сек, результуючі тести відрізняються
dd  if=/dev/random of=/mnt/zpoolint/Project/dd.out bs=512 count=5000000
2560000000 bytes transferred in 151.475072 secs (16 900 471 bytes/sec)

dd if=/mnt/zpoolint/Project/dd.out of=/dev/null bs=512
2560000000 bytes transferred in 48.443396 secs (52 845 180 bytes/sec)

dd  if=/dev/random of=/mnt/zpoolint/Project/dd.out  count=5000000
2560000000 bytes transferred in 161.563923 secs (15 845 122 bytes/sec)

dd if=/mnt/zpoolint/Project/dd.out of=/dev/null
2560000000 bytes transferred in 34.427745 secs (74 358 631 bytes/sec)

dd  if=/dev/random of=/mnt/zpoolint/Project/dd.out  count=10000000
5120000000 bytes transferred in 403.440985 secs (12 690 828 bytes/sec)

dd if=/mnt/zpoolint/Project/dd.out of=/dev/null
5120000000 bytes transferred in 103.117288 secs (49 652 198 bytes/sec)

Якщо датасет має компрессію lz4,  на дисках швидкість зменшилась, за показами репортінга FreeNAS, а звидкість роботі dd збільшилась, При тому що всі процеси зайняли 16ГБ ОП
dd  if=/dev/random of=/mnt/zpoolint/Project/dd.out bs=512 count=5000000
2560000000 bytes transferred in 71.801109 secs (35 654 046 bytes/sec)

dd if=/mnt/zpoolint/Project/dd.out of=/dev/null bs=512
2560000000 bytes transferred in 15.514505 secs (165 006 871 bytes/sec)

dd  if=/dev/random of=/mnt/zpoolint/Project/dd.out  count=10000000
5120000000 bytes transferred in 143.649816 secs (35 642 232 bytes/sec)

dd if=/mnt/zpoolint/Project/dd.out of=/dev/null
5120000000 bytes transferred in 29.538281 secs (173 334 391 bytes/sec)

Якщо датасет має компрессію gzip-1, процеси зайняли 5ГБ ОП, обмін данними з дисками значно менше ніж у некомпресованого датасету, маємо значну економію ОП та досить високу швидкість (але нижче ніж у lz4), навантаження на CPU 60%

dd  if=/dev/random of=/mnt/zpoolint/Project/dd.out bs=512 count=5000000
2560000000 bytes transferred in 80.385981 secs (31 846 349 bytes/sec)

dd if=/mnt/zpoolint/Project/dd.out of=/dev/null bs=512
2560000000 bytes transferred in 14.720019 secs (173 912 817 bytes/sec)

dd  if=/dev/random of=/mnt/zpoolint/Project/dd.out  count=10000000
5120000000 bytes transferred in 159.427275 secs (32 114 957 bytes/sec)

dd if=/mnt/zpoolint/Project/dd.out of=/dev/null
5 120 000 000 bytes transferred in 29.967554 secs (170 851 448 bytes/sec)

Новий датасет: Sector 16KB, стискає gzip-1, всі процеси зайняли 15ГБ, та близько 90% CPU

dd  if=/dev/random of=/mnt/zpoolint/Project16k/dd.out bs=4096 count=5000000
20 480 000 000 bytes transferred in 370.851895 secs (55 224 202 bytes/sec)

dd if=/mnt/zpoolint/Project16k/dd.out of=/dev/null bs=4096
20480000000 bytes transferred in 59.628038 secs (343 462 586 bytes/sec)

dd  if=/dev/random of=/mnt/zpoolint/Project16k/dd.out  count=5000000
2560000000 bytes transferred in 86.984046 secs (29 430 684 bytes/sec)

dd if=/mnt/zpoolint/Project16k/dd.out of=/dev/null
2560000000 bytes transferred in 16.916661 secs (151 330 097 bytes/sec)

датасет: Sector 8KB, стискає gzip-1. Системний репортінг пише що на дисках швидкість запису близько 9МБайт/сек, читання 42МБайт/сек, CPU 60%, а загальний результат дивимось нижче
dd  if=/dev/random of=/mnt/zpoolint/Project8k/dd.out bs=4096 count=5000000
20480000000 bytes transferred in 411.647638 secs (49 751 288 bytes/sec)

dd if=/mnt/zpoolint/Project8k/dd.out of=/dev/null bs=4096
20480000000 bytes transferred in 79.775760 secs (256 719 584 bytes/sec)

dd  if=/dev/random of=/mnt/zpoolint/Project8k/dd.out  count=5000000
2560000000 bytes transferred in 91.371010 secs (28 017 639 bytes/sec)

dd if=/mnt/zpoolint/Project8k/dd.out of=/dev/null
2560000000 bytes transferred in 18.435048 secs (138 865 925 bytes/sec)

датасет: Sector 8KB, стискає gzip-1. Системний репортінг пише що на дисках швидкість запису близько 7МБайт/сек, читання 42МБайт/сек, CPU 80%,  загальний результат дивимось нижче
dd  if=/dev/random of=/mnt/zpoolint/Project4k/dd.out bs=4096 count=5000000
20480000000 bytes transferred in 537.189043 secs (38 124 381 bytes/sec)

dd if=/mnt/zpoolint/Project4k/dd.out of=/dev/null bs=4096
20480000000 bytes transferred in 102.735638 secs (199 346 599 bytes/sec)

dd  if=/dev/random of=/mnt/zpoolint/Project4k/dd.out  count=5000000
2560000000 bytes transferred in 114.151803 secs (22 426 277 bytes/sec)

dd if=/mnt/zpoolint/Project4k/dd.out of=/dev/null
2560000000 bytes transferred in 22.388974 secs (114 341 998 bytes/sec)


вівторок, 10 жовтня 2017 р.

Тестування швидкості ZFS накопичувача для FreeNAS-11. частина 1 RAID-контроллер Intel RS2BL040

FreeNAS-11 то насправді FreeBSD. Перевіряю, як працює ZFS з файлами, заповненими нулями та з файлами що мають неоднорідну структуру. Крім того різниця по компресії без компресії та з компресією lz4-рекомендована у FreeNAS .
 uname -a
FreeBSD mystorage.fmt 11.0-STABLE FreeBSD 11.0-STABLE #0 r321665+25fe8ba8d06(freenas/11.0-stable): Mon Sep 25 06:24:11 UTC 2017     root@gauntlet:/freenas-11-releng/freenas/_BE/objs/freenas-11-releng/freenas/_BE/os/sys/FreeNAS.amd64  amd64
Треба зауважити - що все обладнання не нове, може щось десь випало/згоріло. Основна мета тесту порівняти різні конфіги ZFS з точки зору продуктивності. Поки з сервером можна робити що завгодно - я скористався можливістю протестувати зручну ZFS.

Для тестування швидкості локального читання/запису використаємо стандартний пристрій /dev/zero та /dev/random  з  dd (як виявилося достатньо random бо пристрій zero при включеній компресіі ZFS нічого не показує)
Створюю тестовий файл, тестуємо швидкість запису, розмір ставимо такий, щоб помітити роботу по створенню/читанню файла 😉
dd if=/dev/zero of=/mnt/zpool1/dd.out bs=4096 count=10000000
також, спробую оцінити різницю з  /dev/random
 1) stripe raidz1, compression lz4 enable, bs=4K, кожний диск ,
/dev/zero
40960000000 bytes transferred in 90.966110 secs (450 277 581 bytes/sec)
/dev/random
40960000000 bytes transferred in 541.391652 secs (75 656 874 bytes/sec)

bs=default  (розмір сектору не вказано)
/dev/zero
5120000000 bytes transferred in 74.554750 secs (68 674 363 bytes/sec)
/dev/random
5120000000 bytes transferred in 140.715784 secs (36 385 399 bytes/sec)

2) nocompress
dd  if=/dev/random of=/mnt/zpool1/nocompress/dd.out bs=4096 count=10000000
40960000000 bytes transferred in 542.320861 secs (75 527 244 bytes/sec)

dd  if=/dev/random of=/mnt/zpool1/nocompress/dd.out count=10000000
5120000000 bytes transferred in 143.387571 secs (35 707 418 bytes/sec)


читаю його - тестую швидкість читання
dd if=/mnt/zpool1/dd.out of=/dev/null bs=4096

 1) stripe raidz1, compression lz4 enable
bs=4K
/dev/zero
40960000000 bytes transferred in 337.351628 secs (121 416 340 bytes/sec)
/dev/random
40960000000 bytes transferred in 67.916464 secs (603 093 828 bytes/sec)
bs=default (розмір сектору не вказано)
/dev/zero
5120000000 bytes transferred in 335.663927 secs (15 253 352 bytes/sec)
/dev/random
5120000000 bytes transferred in 30.246902 secs (169 273 537 bytes/sec)

2) nocompress
dd if=/mnt/zpool1/nocompress/dd.out of=/dev/null bs=4096
40960000000 bytes transferred in 79.914712 secs (512 546 429 bytes/sec)

dd if=/mnt/zpool1/nocompress/dd.out of=/dev/null
5120000000 bytes transferred in 29.682852 secs (172 490 162 bytes/sec)

З компресією писати однорідні данні (всі нулі у файлі) виходить значно швидше за рахунок роботи компресії, ніж з неоднорідними (найважче, якщо мультимедіа-файли, а в мене всі файли плануються саме такі). Однак, все одно з компресією краще, ніж без неї.

Тестовий масив: stripe raidz1 , LZ4 enable

pool: zpool1
 state: ONLINE
  scan: none requested
config:
        NAME                                            STATE     READ WRITE CKSUM
        zpool1                                          ONLINE       0     0     0
          raidz1-0                                      ONLINE       0     0     0
            gptid/21934931-ab33-11e7-b3a3-001e67041f63  ONLINE       0     0     0
            gptid/22344841-ab33-11e7-b3a3-001e67041f63  ONLINE       0     0     0
            gptid/22d28cbf-ab33-11e7-b3a3-001e67041f63  ONLINE       0     0     0
            gptid/238b13c1-ab33-11e7-b3a3-001e67041f63  ONLINE       0     0     0
            gptid/242e02ff-ab33-11e7-b3a3-001e67041f63  ONLINE       0     0     0
            gptid/24d35e79-ab33-11e7-b3a3-001e67041f63  ONLINE       0     0     0
            gptid/2576551c-ab33-11e7-b3a3-001e67041f63  ONLINE       0     0     0
            gptid/261d1f76-ab33-11e7-b3a3-001e67041f63  ONLINE       0     0     0
          raidz1-1                                      ONLINE       0     0     0
            gptid/50ab7a12-ab33-11e7-b3a3-001e67041f63  ONLINE       0     0     0
            gptid/51523a5f-ab33-11e7-b3a3-001e67041f63  ONLINE       0     0     0
            gptid/51fe3d13-ab33-11e7-b3a3-001e67041f63  ONLINE       0     0     0
            gptid/52b68b42-ab33-11e7-b3a3-001e67041f63  ONLINE       0     0     0
            gptid/5369c724-ab33-11e7-b3a3-001e67041f63  ONLINE       0     0     0
            gptid/5411bead-ab33-11e7-b3a3-001e67041f63  ONLINE       0     0     0
            gptid/54bbb88b-ab33-11e7-b3a3-001e67041f63  ONLINE       0     0     0
            gptid/556ad62c-ab33-11e7-b3a3-001e67041f63  ONLINE       0     0     0


Тестовий стенд 

Intel RAID card RS2BL040 chip LSISAS2108, конфіг - заводський, було зроблено резет за допомогою MegaCli. Кожан диск single Raid0, через те що контролер не дозволив MegaCli зробити JBOD на дисках
16 HDD 2TB WD Black WDC WD2003FYYS-0 (SPECs: Heads/disks 8/4, 512 Bytes per sector, Buffer to host 3GB/s, Host to/from drive 138MB/s)
dmesg -a
Copyright (c) 1992-2017 The FreeBSD Project.
Copyright (c) 1979, 1980, 1983, 1986, 1988, 1989, 1991, 1992, 1993, 1994
        The Regents of the University of California. All rights reserved.
FreeBSD is a registered trademark of The FreeBSD Foundation.
FreeBSD 11.0-STABLE #0 r321665+25fe8ba8d06(freenas/11.0-stable): Mon Sep 25 06:24:11 UTC 2017
    root@gauntlet:/freenas-11-releng/freenas/_BE/objs/freenas-11-releng/freenas/_BE/os/sys/FreeNAS.amd64 amd64
FreeBSD clang version 4.0.0 (tags/RELEASE_400/final 297347) (based on LLVM 4.0.0)
CPU: Intel(R) Xeon(R) CPU           X3430  @ 2.40GHz (2400.02-MHz K8-class CPU)
  Origin="GenuineIntel"  Id=0x106e5  Family=0x6  Model=0x1e  Stepping=5
  

Features=0xbfebfbff<FPU,VME,DE,PSE,TSC,MSR,PAE,MCE,CX8,APIC,SEP,MTRR,PGE,MCA,CMOV,PAT,PSE36,CLFLUSH,DTS,ACPI,MMX,FXSR,SSE,SSE2,SS,HTT,TM,PBE>
  Features2=0x98e3fd<SSE3,DTES64,MON,DS_CPL,VMX,SMX,EST,TM2,SSSE3,CX16,xTPR,PDCM,SSE4.1,SSE4.2,POPCNT>
  AMD Features=0x28100800<SYSCALL,NX,RDTSCP,LM>
  AMD Features2=0x1<LAHF>
  VT-x: (disabled in BIOS) PAT,HLT,MTF,PAUSE,EPT,VPID
  TSC: P-state invariant, performance statistics
real memory  = 18790481920 (17920 MB)
avail memory = 16528011264 (15762 MB)
Event timer "LAPIC" quality 100
ACPI APIC Table: <INTEL  S3420GPC>
FreeBSD/SMP: Multiprocessor System Detected: 4 CPUs
FreeBSD/SMP: 1 package(s) x 4 core(s)