Модернизация серверного оборудования кафедры

[Dmitry.Stolyarov]

Тесты для ext4.



Маленькие файлы

Файловая система создавалась следующим образом:

Код: Выделить всё

# mkfs.ext4 -O uninit_groups,flex_bg,large_file,dir_index -E stride=4,stripe-width=24 -N 19660800 -G 512 /dev/tw_raid/test

ext4-1 (readahead 96 Кбайт):

Код: Выделить всё

# bonnie++ -d /mnt/test -s 0 -u root -n 100:356663:14860:30 -Z /dev/urandom
------Sequential Create------ --------Random Create--------
-Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
/sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
6623  62  2198   8 15271  80  6251  64  6591  20 16032  73
  630ms   67466us   12540us     636ms     170ms    7404us

ext4-2 (readahead 128 Кбайт):

Код: Выделить всё

# bonnie++ -d /mnt/test -s 0 -u root -n 100:356663:14860:30 -Z /dev/urandom
------Sequential Create------ --------Random Create--------
-Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
/sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
6449  63  2539   8 15839  84  6005  62  6463  21 15326  70
  607ms   59656us    8943us     403ms     120ms   20101us

ext4-3 (readahead 8 Мбайт):

Код: Выделить всё

# bonnie++ -d /mnt/test -s 0 -u root -n 100:356663:14860:30 -Z /dev/urandom
------Sequential Create------ --------Random Create--------
-Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
/sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
5982  57  3325  10 15682  82  3151  29  3623  17  8006  36
  699ms   57713us   19350us     394ms   60495us   14739us

Очень маленькие файлы

Файловая система создавалась следующим образом:

Код: Выделить всё

# mkfs.ext4 -I 128 -O uninit_groups,flex_bg,dir_index -E stride=4,stripe-width=24 -N 19660800 -G 512 /dev/tw_raid/test

ext4-1 (readahead 4 Кбайт):

Код: Выделить всё

# bonnie++ -d /mnt/test/ -s 0 -u root -n 800:2048:200:100 -Z /dev/urandom
------Sequential Create------ --------Random Create--------
-Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
/sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
12537  78  1836   7 18333  82 14388  89  4424  16 21182  88
  502ms     161ms     507ms     521ms     174ms     407ms

ext4-2 (readahead 96 Кбайт):

Код: Выделить всё

# bonnie++ -d /mnt/test/ -s 0 -u root -n 800:2048:200:100 -Z /dev/urandom
------Sequential Create------ --------Random Create--------
-Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
/sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
12491  81  1857   6 19152  84 14710  91  4569  16 20467  85
  661ms     172ms     361ms     273ms     147ms     520ms

ext4-3 (readahead 128 Кбайт):

Код: Выделить всё

# bonnie++ -d /mnt/test/ -s 0 -u root -n 800:2048:200:100 -Z /dev/urandom
------Sequential Create------ --------Random Create--------
-Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
/sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
14524  92  1849   7 19769  88 14063  87  4384  15 19672  81
  230ms     174ms     191ms     354ms     133ms     483ms

Файлы больше среднего

Файловая система создавалась следующим образом:

Код: Выделить всё

# mkfs.ext4 -O uninit_groups,flex_bg,large_file,dir_index -E stride=4,stripe-width=24 -N 19660800 -G 512 /dev/tw_raid/xfs_test

ext4-1 (readahead 96 Кбайт):

Код: Выделить всё

# bonnie++ -d /mnt/test/ -s 16384 -n 0 -u root -Z /dev/urandom
------Sequential Output------ --Sequential Input- --Random-
-Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
  257  99 177994  65 38306 14  1134  94 282348 54  3511  97
45379us     577ms     597ms   60070us   66602us   30725us

ext4-2 (readahead 128 Кбайт):

Код: Выделить всё

# bonnie++ -d /mnt/test/ -s 16384 -n 0 -u root -Z /dev/urandom
------Sequential Output------ --Sequential Input- --Random-
-Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
  263  99 147140 52 39641  14  1032  99 304949 56  3785 106
35289us     414ms    2221ms   17617us   72387us   23769us

ext4-3 (readahead 8 Мбайт):

Код: Выделить всё

# bonnie++ -d /mnt/test/ -s 16384 -n 0 -u root -Z /dev/urandom
------Sequential Output------ --Sequential Input- --Random-
-Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
  251  99 163932 57 66552  25  1059  97 342372 63 +++++ +++
47377us     405ms     605ms   45741us     174ms   23865us

Файловая система монтировалась во всех случаях следующим образом:

Код: Выделить всё

# mount -t ext4 -o rw,nosuid,nodev,noatime,nodiratime,data=writeback,journal_async_commit,commit=10 /dev/tw_raid/test /mnt/test

P.S. Ядро Linux версии 2.6.28.

[Alexandr.Ivanchenko]

Тесты для ext4.

Вывод?

[Dmitry.Stolyarov]

Итоговые графики.

Выводы делать не буду, все очевидно!

Пояснения к графикам:

• seq -- операция последовательного доступа;
• rand -- операция случайного доступа;
• XXX-cpu -- загрузка одного ядра процессора (за 100% загрузки принят максимум шкалы на каждом графике);
• write, rewr, read -- блочная запись, перезапись и чтение.

P.S. По какой причине у ext4 последовательные операции хуже случайных -- я не знаю, сам удивлен. Думаю это ошибка, которая будет исправлена (или уже исправлена?).

[Dmitry.Stolyarov]

Немного о надежности RAID.

Прочитал статью интересную.

Получается, что если взять за 0.9 вероятность того, что 1 HDD проработает 5 лет, то получим следующее. Число означает вероятность того, что массив успешно проработает 5 лет.

Для RAID5:

• raid5-8 = 0.81%;
• raid5-7 = 0.85%;
• raid5-6 = 0.87%;
• raid5-5 = 0.91%;
• raid5-4 = 0.95%;
• raid5-3 = 0.97%.

Для RAID6:

• raid6-8 = 0.96%;
• raid6-7 = 0.97%;
• raid6-6 = 0.98%;
• raid6-5 = 0.991%;
• raid6-4 = 0.996%.

RAID50:

• raid50-6 = 0.94%;
• raid50-8 = 0.90%.

Итог: для массива из 8 дисков вероятность того, что за 5 лет все сдохнет следующая:

• RAID5 = 19%;
• RAID6 = 4%;
• RAID50 = 10%.

raid.php.bz2

(193 байт) Скачиваний: 78

[Dmitry.Andreev]

А как же наш hot spare? Хотя в принципе здесь Raid5 стремится по надежности к Raid6.

[Dmitry.Stolyarov]

А как же наш hot spare? Хотя в принципе здесь Raid5 стремится по надежности к Raid6.

Откуда такие выводы?

[Dmitry.Andreev]

А как же наш hot spare? Хотя в принципе здесь Raid5 стремится по надежности к Raid6.

Откуда такие выводы?

В Raid6 могут выйти из строя 2 харда. В Raid5+HotSpare тоже могут полететь один, потом еще 1, т.е. тоже 2. Только добавляется небольшая вероятность, что массив выйдет из строя во время перехода на HotSpare. Однако надо учесть что HotSpare используется меньше остальных.

[Lev.Barbakov]

Все эти графики, не учитывают жизнеспособность райд-массива при своевременной замене отказавшего диска, т.к. она напрямую зависит от скорости этой замены.
Есть статьи, обосновывающие почти бесполезность HotSpare, т.к. все это время резервный диск тоже работает, но не тестируется, и с той же вероятностью может выйти из строя, что и любой другой. => при данных условиях надежности ~2% за то, что он выйдет из строя первым, а вы об этом узнаетет слишком поздно.

Upd: имхо, гораздо выгоднее вместо хотспара купить этот самый диск через год после запуска массива, когда вероятность его поломки минимальна, и положить в стол.

[Dmitry.Stolyarov]

Тестирование скорости работы Ext4 на разных типах RAID. Фактически -- тестирование скорости работы разных типов RAID.


Маленькие файлы

raid1 (2 диска):

Код: Выделить всё

# mkfs.ext4 -O uninit_groups,flex_bg,large_file,dir_index -N 19660800 -G 512
# mount -t ext4 -o rw,nosuid,nodev,noatime,nodiratime,data=writeback,journal_async_commit,commit=10 /dev/tw_raid/test /mnt/test
# /sbin/blockdev --setra 256 /dev/tw_raid/test
# bonnie++ -d /mnt/test -s 0 -u root -n 400:356663:14860:60 -Z /dev/urandom
------Sequential Create------ --------Random Create--------
-Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
/sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
3274  36   186   1 16877  80  3149  34  3195  18 19572  83
  964ms     585ms     441ms    1164ms     109ms     394ms

raid10 (4 диска):

Код: Выделить всё

# mkfs.ext4 -O uninit_groups,flex_bg,large_file,dir_index -N 19660800 -E stride=64,stripe-width=128 -G 512 /dev/tw_raid/test
# mount -t ext4 -o rw,nosuid,nodev,noatime,nodiratime,data=writeback,journal_async_commit,commit=10 /dev/tw_raid/test /mnt/test
# /sbin/blockdev --setra 256 /dev/tw_raid/test
# bonnie++ -d /mnt/test -s 0 -u root -n 400:356663:14860:60 -Z /dev/urandom
------Sequential Create------ --------Random Create--------
-Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
/sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
6588  75   259   1 15261  87  6507  75  3151  19 19188  87
  692ms     164ms     315ms     540ms     161ms     243ms

raid10 (6 дисков):

Код: Выделить всё

# mkfs.ext4 -O uninit_groups,flex_bg,large_file,dir_index -N 19660800 -E stride=64,stripe-width=192 -G 512 /dev/tw_raid/test
# mount -t ext4 -o rw,nosuid,nodev,noatime,nodiratime,data=writeback,journal_async_commit,commit=10 /dev/tw_raid/test /mnt/test
# /sbin/blockdev --setra 256 /dev/tw_raid/test
# bonnie++ -d /mnt/test -s 0 -u root -n 400:356663:14860:60 -Z /dev/urandom
------Sequential Create------ --------Random Create--------
-Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
/sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
9664  90   401   2 17378  86  8465  78  3646  18 20380  88
  182ms     164ms     317ms     203ms     135ms     237ms

raid0 (7 дисков):

Код: Выделить всё

# mkfs.ext4 -O uninit_groups,flex_bg,large_file,dir_index -N 19660800 -E stride=64,stripe-width=448 -G 512 /dev/tw_raid/test
# mount -t ext4 -o rw,nosuid,nodev,noatime,nodiratime,data=writeback,journal_async_commit,commit=10 /dev/tw_raid/test /mnt/test
# /sbin/blockdev --setra 256 /dev/tw_raid/test
# bonnie++ -d /mnt/test -s 0 -u root -n 400:356663:14860:60 -Z /dev/urandom
------Sequential Create------ --------Random Create--------
-Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
/sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
8950  95  1334   8 15527  80  8770  92  3588  20 19394  89
  145ms     187ms     250ms     158ms     165ms     224ms

raid50 (6 дисков):

Код: Выделить всё

# mkfs.ext4 -O uninit_groups,flex_bg,large_file,dir_index -N 19660800 -E stride=64,stripe-width=256 -G 512 /dev/tw_raid/test
# mount -t ext4 -o rw,nosuid,nodev,noatime,nodiratime,data=writeback,journal_async_commit,commit=10 /dev/tw_raid/test /mnt/test
# /sbin/blockdev --setra 256 /dev/tw_raid/test
# bonnie++ -d /mnt/test -s 0 -u root -n 400:356663:14860:60 -Z /dev/urandom
------Sequential Create------ --------Random Create--------
-Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
/sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
8978  94   894   5 14277  81  8245  86  3333  17 18531  87
  155ms     590ms    1978ms     740ms     133ms     331ms

raid5 (7 дисков):

Код: Выделить всё

# mkfs.ext4 -O uninit_groups,flex_bg,large_file,dir_index -N 19660800 -E stride=64,stripe-width=384  -G 512 /dev/tw_raid/test
# mount -t ext4 -o rw,nosuid,nodev,noatime,nodiratime,data=writeback,journal_async_commit,commit=10 /dev/tw_raid/test /mnt/test
# /sbin/blockdev --setra 256 /dev/tw_raid/test
# bonnie++ -d /mnt/test -s 0 -u root -n 400:356663:14860:60 -Z /dev/urandom
------Sequential Create------ --------Random Create--------
-Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
/sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
9674  91   913   5 16453  80  9321  87   699   4 18943  83
  165ms     203ms    1239ms     507ms     236ms     285ms

Очень маленькие файлы
raid1 (2 диска):

Код: Выделить всё

# mkfs.ext4 -I 128 -O uninit_groups,flex_bg,dir_index -N 19660800 -G 512 /dev/tw_raid/test
# mount -t ext4 -o rw,nosuid,nodev,noatime,nodiratime,data=writeback,journal_async_commit,commit=10 /dev/tw_raid/test /mnt/test
# /sbin/blockdev --setra 8 /dev/tw_raid/test
# bonnie++ -d /mnt/test/ -s 0 -u root -n 800:2048:200:100 -Z /dev/urandom
------Sequential Create------ --------Random Create--------
-Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
/sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
12191  77   540   2 17667  78 11828  74  5069  18 22321  92
  952ms     164ms     165ms    1097ms     144ms     316ms

raid10 (4 диска):

Код: Выделить всё

# mkfs.ext4 -I 128 -O uninit_groups,flex_bg,dir_index -N 19660800 -E stride=64,stripe-width=128 -G 512 /dev/tw_raid/test
# mount -t ext4 -o rw,nosuid,nodev,noatime,nodiratime,data=writeback,journal_async_commit,commit=10 /dev/tw_raid/test /mnt/test
# /sbin/blockdev --setra 8 /dev/tw_raid/test
# bonnie++ -d /mnt/test/ -s 0 -u root -n 800:2048:200:100 -Z /dev/urandom
------Sequential Create------ --------Random Create--------
-Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
/sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
13021  84  1763   6 20002  90 13246  86  4969  18 21423  90
  148ms     165ms     142ms     173ms     181ms     255ms

raid10 (6 дисков):

Код: Выделить всё

# mkfs.ext4 -I 128 -O uninit_groups,flex_bg,dir_index -N 19660800 -E stride=64,stripe-width=192 -G 512 /dev/tw_raid/test
# mount -t ext4 -o rw,nosuid,nodev,noatime,nodiratime,data=writeback,journal_async_commit,commit=10 /dev/tw_raid/test /mnt/test
# /sbin/blockdev --setra 8 /dev/tw_raid/test
# bonnie++ -d /mnt/test/ -s 0 -u root -n 800:2048:200:100 -Z /dev/urandom
------Sequential Create------ --------Random Create--------
-Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
/sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
13886  93  1804   6 20578  92 14095  96  4917  18 22566  92
  151ms     171ms     406ms     136ms     157ms     245ms

raid0 (7 дисков):

Код: Выделить всё

# mkfs.ext4 -I 128 -O uninit_groups,flex_bg,dir_index -N 19660800 -E stride=64,stripe-width=448 -G 512 /dev/tw_raid/test
# mount -t ext4 -o rw,nosuid,nodev,noatime,nodiratime,data=writeback,journal_async_commit,commit=10 /dev/tw_raid/test /mnt/test
# /sbin/blockdev --setra 8 /dev/tw_raid/test
# bonnie++ -d /mnt/test/ -s 0 -u root -n 800:2048:200:100 -Z /dev/urandom
------Sequential Create------ --------Random Create--------
-Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
/sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
13291  91  1905   7 20211  93 14454  96  4564  16 22224  92
  163ms     401ms     138ms     174ms     166ms     223ms

raid50 (6 дисков):

Код: Выделить всё

# mkfs.ext4 -I 128 -O uninit_groups,flex_bg,dir_index -N 19660800 -E stride=64,stripe-width=256 -G 512 /dev/tw_raid/test
# mount -t ext4 -o rw,nosuid,nodev,noatime,nodiratime,data=writeback,journal_async_commit,commit=10 /dev/tw_raid/test /mnt/test
# /sbin/blockdev --setra 8 /dev/tw_raid/test
# bonnie++ -d /mnt/test/ -s 0 -u root -n 800:2048:200:100 -Z /dev/urandom
------Sequential Create------ --------Random Create--------
-Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
/sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
14720  96  1869   7 20452  92 13568  93  4551  18 22220  91
  283ms     170ms     209ms     148ms     312ms     307ms

raid5 (7 дисков):

Код: Выделить всё

# mkfs.ext4 -I 128 -O uninit_groups,flex_bg,dir_index -N 19660800 -E stride=64,stripe-width=384 -G 512 /dev/tw_raid/test
# mount -t ext4 -o rw,nosuid,nodev,noatime,nodiratime,data=writeback,journal_async_commit,commit=10 /dev/tw_raid/test /mnt/test
# /sbin/blockdev --setra 8 /dev/tw_raid/test
# bonnie++ -d /mnt/test/ -s 0 -u root -n 800:2048:200:100 -Z /dev/urandom
------Sequential Create------ --------Random Create--------
-Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
/sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
15179  92  1628   6 19615  86 12225  76  2546   9 22079  91
  215ms     183ms     471ms     181ms     183ms     338ms

Файлы больше среднего
raid1 (2 диска):

Код: Выделить всё

# mkfs.ext4 -O uninit_groups,flex_bg,large_file,dir_index -N 19660800 -G 512 /dev/tw_raid/test
# mount -t ext4 -o rw,nosuid,nodev,noatime,nodiratime,data=writeback,journal_async_commit,commit=10 /dev/tw_raid/test /mnt/test
# /sbin/blockdev --setra 16384 /dev/tw_raid/test
# bonnie++ -d /mnt/test/ -s 16384 -n 0 -u root -Z /dev/urandom
------Sequential Output------ --Sequential Input- --Random-
-Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
  270  99 75532  28 32014   9   965  84 102719 18  4364 113
30857us     511ms     644ms     476ms     219ms   17879us

raid10 (4 диска):

Код: Выделить всё

# mkfs.ext4 -O uninit_groups,flex_bg,large_file,dir_index -N 19660800 -E stride=64,stripe-width=128 -G 512 /dev/tw_raid/test
# mount -t ext4 -o rw,nosuid,nodev,noatime,nodiratime,data=writeback,journal_async_commit,commit=10 /dev/tw_raid/test /mnt/test
# /sbin/blockdev --setra 16384 /dev/tw_raid/test
# bonnie++ -d /mnt/test/ -s 16384 -n 0 -u root -Z /dev/urandom
------Sequential Output------ --Sequential Input- --Random-
-Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
  269  99 160514 57 62012  18  1003  91 201705 35  4000 108
32045us     297ms     444ms     264ms     158ms   35610us

raid10 (6 дисков):

Код: Выделить всё

# mkfs.ext4 -O uninit_groups,flex_bg,large_file,dir_index -N 19660800 -E stride=64,stripe-width=192 -G 512 /dev/tw_raid/test
# mount -t ext4 -o rw,nosuid,nodev,noatime,nodiratime,data=writeback,journal_async_commit,commit=10 /dev/tw_raid/test /mnt/test
# /sbin/blockdev --setra 16384 /dev/tw_raid/test
# bonnie++ -d /mnt/test/ -s 16384 -n 0 -u root -Z /dev/urandom
------Sequential Output------ --Sequential Input- --Random-
-Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
  261  99 257875 74 80753  24  1105  99 290025 53  4137 109
33012us     328ms     448ms   27836us     137ms   41754us

raid0 (7 дисков):

Код: Выделить всё

# mkfs.ext4 -O uninit_groups,flex_bg,large_file,dir_index -N 19660800 -E stride=64,stripe-width=448 -G 512 /dev/tw_raid/test
# mount -t ext4 -o rw,nosuid,nodev,noatime,nodiratime,data=writeback,journal_async_commit,commit=10 /dev/tw_raid/test /mnt/test
# /sbin/blockdev --setra 16384 /dev/tw_raid/test
# bonnie++ -d /mnt/test/ -s 16384 -n 0 -u root -Z /dev/urandom
------Sequential Output------ --Sequential Input- --Random-
-Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
  278  99 361783 91 145523 54  1091  98 379839 74 +++++ +++
33601us   60432us     470ms   19554us    6638ms   23887us

raid50 (6 дисков):

Код: Выделить всё

# mkfs.ext4 -O uninit_groups,flex_bg,large_file,dir_index -N 19660800 -E stride=64,stripe-width=256 -G 512 /dev/tw_raid/test
# mount -t ext4 -o rw,nosuid,nodev,noatime,nodiratime,data=writeback,journal_async_commit,commit=10 /dev/tw_raid/test /mnt/test
# /sbin/blockdev --setra 16384 /dev/tw_raid/test
# bonnie++ -d /mnt/test/ -s 16384 -n 0 -u root -Z /dev/urandom
------Sequential Output------ --Sequential Input- --Random-
-Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
  293  99 279138 84 110980 44  1045  99 385686 75  4209 104
30066us     558ms     353ms   24617us     127ms   18980us

raid5 (7 дисков):

Код: Выделить всё

# mkfs.ext4 -O uninit_groups,flex_bg,large_file,dir_index -N 19660800 -E stride=64,stripe-width=384 -G 512 /dev/tw_raid/test
# mount -t ext4 -o rw,nosuid,nodev,noatime,nodiratime,data=writeback,journal_async_commit,commit=10 /dev/tw_raid/test /mnt/test
# /sbin/blockdev --setra 16384 /dev/tw_raid/test
# bonnie++ -d /mnt/test/ -s 16384 -n 0 -u root -Z /dev/urandom
------Sequential Output------ --Sequential Input- --Random-
-Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
  277  99 291861 82 66915  20  1070  99 196518 33  3582  96
30096us     120ms     599ms   12825us     241ms   30955us

P.S. Отмечу, что я не дожидался окончания инициализации массивов, которые этого требуют. На мой взгляд это не должно существенно повлиять на результаты.

[Dmitry.Stolyarov]

Итоговые графики.

[Dmitry.Stolyarov]

Итого получаем.

RAID10:

• Размер: 5.52 Tb
• Надежность: 96%
• Чемпион случайного доступа, достаточно быстрый при последовательном.

RAID50:

• Размер: 8.28 Tb
• Надежность: 94%
• Чемпион последовательного доступа, достаточно быстрый при случайном.

[Dmitry.Stolyarov]

Приняли решение использовать 50. Последнюю точку поставил эффективный размер.

[Dmitry.Stolyarov]

Сегодня ночью (ночь с 30-го на 31-е мая) шара будет переведена в режим "только для чтения". Продлится это до утра завтрашнего дня (31-е мая).

Примерный период работы шары в ограниченном режиме: 31-мая 01:00 до 12:00.

[Dmitry.Stolyarov]

Шара работает а режиме "только чтение". В данный момент она переезжает на сервер dvr, на время сборки RAID-массива на ws0.

[Dmitry.Stolyarov]

Функционирование файлового хранилища восстановлено, переезд не удался.

Во время переезда на сервере dvr по не известным мне причинам "потерялся" контроллер RAID. Предположительно -- какой-то аппаратный сбой. Попытка перезагрузить сервер ни к чему не привела -- из reboot`а он не вернулся.