【Debian】 Nexenta OS 【OpenSolaris】

**名無しさん＠お腹いっぱい。** · 2005/12/20(火) 19:59:02

DebianベースにOpenSolarisのカーネルを搭載

http://www.gnusolaris.org/gswiki

**名無しさん＠お腹いっぱい。** · 2011/09/10(土) 20:31:18.25

>>179
乙ありです。
RAIDZ3でもスピードは出るんですが、resilvereが鬼のように時間かかるようになりますのでご注意を。
2Tx10台のRAIDZ2使用率が80%超えてる状況で体験したときは、一週間くらいかかりましたから。
個人用ストレージのそんなに対してアクセスのない状況でそれですからね。

実際シーケンシャルだけだから、randomが絡むとどーなるかが測ってみたいんですが・・・
fioでやればできそうなんだけど、スキルが足らないのですよ orz

台数増えればパリティ計算の量が増えるので、CPUが速くないとパフォーマンス上がらないですね。
前はXeon X3430 ではなくて、Athlon X4 605e だったんですが、ここまでパフォーマンスでなかったです。
2Tx10台のRAIDZ2で300MB/sくらいだった気が。

**名無しさん＠お腹いっぱい。** · 2011/09/11(日) 10:55:12.18

>>180
ZFSも万能じゃないですね～。まだ実用上resilveredした事なかったけど、そんなに時間かかるとは・・・

1GB程度のwriteでCore2Duo2.8GHzでもCPU負荷が100%に張り付くので、CPU食うな～と思ってたら、
Athlon X4 605eでもパフォーマンス出ないとは・・・

次のファイルサーバ組む時はCPUはよく考えま～す^^;

**名無しさん＠お腹いっぱい。** · 2011/09/12(月) 09:02:39.52

GPU統合のCPUならパリティ演算をGPUユニットにやらせると良さそうだ

**名無しさん＠お腹いっぱい。** · 2011/09/12(月) 19:35:24.70

>>181
resilvered中でも一応読込はパフォーマンス出ます
書き込みはzilを外だししてなかったら、多分すげー遅くなりますがｗ

resilveredは、業務で使うならraidz/raidz2の台数を少なめの5台とか6台にし、
そのグループ複数作りstripeしてやるのが良いんじゃないかーと思います。
容量稼ぎながらパフォーマンス出すとなるとですが。
Sunの資料や、個人的な経験則ですけど。
やっぱり、台数増えるとパリティ計算の量が増えるのと、パリティディスクの量が増えると
計算量が増えるので。

あと、今回のzfsのスピードですが、CPUだけの話でも無いとは思います。
Xeonの方はCPU直結のPCIe x16のスロットの方へHBA使っての接続だったりしますし。
XeonとAthlon系でのIO周りのアーキテクチャの違いもありそうですし。

今回自宅の環境のSANのアーキテクチャを変更してるんですが、1GbE->InfiniBand
なので帯域が一気に増えるから、なるべく速度だしたいんですよ。
iSCSIを使用するかSRPを使用するかのパフォーマンスのチェックもしたいですしｗ

そちらの環境のお話ですが、
C2Dの2.8G使用サーバへのWriteが1GBファイルを書き込みってことですかね？
ネットワーク越しか、ローカルでの話かがいまいちわからんのですが、100%張り付きは
どっか別にボトルネックがあるのではないかと。ローカルで測ってみてどのくらいでます？

参考までに、FreeBSDベースの物でZFSguruってソフトがあるんでｓが、それのベンチ
を見てると、C2D E8400でraidzされてるののローカルディスクへのベンチで300MB/s
くらいでWrite出来てるっぽいです。
http://hardforum.com/showthread.php?t=1546137&page=4

**名無しさん＠お腹いっぱい。** · 2011/09/12(月) 19:37:18.38

>>182
確かにそれが実現されると大分CPU側に余裕が出来そうですね。
似たようなアプローチでzfs ver31の暗号化はSandyBridgeだとCPUで処理できるんでしたっけ？

**名無しさん＠お腹いっぱい。** · 2011/09/12(月) 22:24:32.01

ZFSのverあげたい時はOS再インストール？

**名無しさん＠お腹いっぱい。** · 2011/09/12(月) 23:31:36.43

>>183
>書き込みはzilを外だししてなかったら、多分すげー遅くなりますがｗ

な、なるほど。zilとか全然考えてなかったですが、これからNFS or iSCSIでVMイメージも格納しようと思ってるので検討しようかと。

>resilveredは、業務で使うならraidz/raidz2の台数を少なめの5台とか6台にし、

いまんとこ業務でそんな大容量ストレージを使う予定が無いですが、必要になったら参考にさせてもらいます～

>Xeonの方はCPU直結のPCIe x16のスロットの方へHBA使っての接続だったりしますし。
>今回自宅の環境のSANのアーキテクチャを変更してるんですが、1GbE->InfiniBand

あ、あのどんだけ金かけてるんですか？（汗回答不要

ウチの環境については、ちゃんと書いてなかったですがメインはセレ430、メモリ8GB、WDの2TB×5。
Express5800 110GeにメモリとHDD換装しただけの物ですね。もちろんセレ430がすんごいボトルネックでネットワーク越しにCrystalDiskMark使ってみた。

　　　　　 Sequential Read :　　51.228 MB/s
　　　　　Sequential Write :　　38.991 MB/s
　　　　 Random Read 512KB :　　47.131 MB/s
　　　　Random Write 512KB :　　40.691 MB/s

上でread100MB/s出るとか書いてたけど勘違いだったみたい。
リアルタイムで見てると、瞬間的に出る程度。

で、検証用でCore2DuoE7400(2.8GHz×2)、メモリ8GB、zpool用で寒村640GB×3を積んでるのがあるんだけど、
こっちでもIdleが0に張り付くって話でした。
しかしローカルと、ネットワーク越しの速度測ろうとして起動したら、何故かIdleが20前後のまま・・・
prstatで見てもCPU食ってる原因わからず。

時間のある時に試してみますわ～

**名無しさん＠お腹いっぱい。** · 2011/09/12(月) 23:31:57.96

>>185
OS自体がサポートしているバージョンが、あげたいバージョンをサポートしてない、という意味ならyes

**名無しさん＠お腹いっぱい。** · 2011/09/13(火) 00:17:23.37

>>185
NexentaCoreでsyspoolのバージョン上げるって意味だったらNO
grubをバージョンアップ後にリブートするまでにローダをバージョンアップしないと駄目。
うちは、これに気づくまでえらいはまりました。

NexentaStorの方だったらどうなるんだろう？
今は使ってないのでよくわからないです。

どっちでも、外部公開用のプールなら問題なし。
>>187さんが答えてる前提だけど

**名無しさん＠お腹いっぱい。** · 2011/09/13(火) 01:03:14.76

>>186
NFS or iSCSIですと、多分ZIL Diskがないと逆にIOPS稼げないかと
iSCSIでの書き込み見てると細かいブロック単位でのIOが頻発するので、
zilが別になってないと、単純にDiskIOSPに引っ張られて遅くなります。
なので、小さいIOが速いSSDが推奨なんですわ
zil diskに分離しちゃうと上のベンチででてますけど、書き込み速度が
SSDの速度で律速されちゃいます。
逆に zil offって手段もありますけど、まだそのテストまでたどり着いてません

ネットワーク環境はヤフオクなりebayなりで安い中古・新品で揃えてるんで、
たぶん想像されてる金額とは桁が一つ以上違うと思いますｗ

サーバ関係は、ML110G6とかのいわゆる安鯖で組んでるので、そっちもそんなに
所詮、給料やっすいサラリーマンなんでｗ

セレ430 だと完全にCPUがボトルネックですねｗ
うちのベンチ中のintrstatですけど、複数CPUあると割り込みを各CPUにわけて
くれるのでCPUをQuadなりに変更をお勧めします
device | cpu0 %tim cpu1 %tim cpu2 %tim cpu3 %tim
-------------+------------------------------------------------------------
ahci#0 | 0 0.0 0 0.0 0 0.0 134 0.2
hermon#0 | 0 0.0 0 0.0 0 0.0 0 0.0
igb#0 | 0 0.0 1 0.0 1 0.0 0 0.0
mpt_sas#0 | 0 0.0 5334 4.1 0 0.0 0 0.0
mpt_sas#13 | 0 0.0 0 0.0 6534 4.9 0 0.0

C2Dの方は
https://defect.opensolaris.org/bz/show_bug.cgi?id=12799
の感じかなー？
/etc/power.confのcpupmをcpupm enable poll-modeへ変更して pmconfig実行してみるとどうでしょう？

**名無しさん＠お腹いっぱい。** · 2011/09/13(火) 02:21:33.83

この前のベンチの続き
(量があるのは勘弁してください)
raidほげほげdiskの何も付いてないのはzil diskなしのsync=standardです。

raid0 1disk
34359738368 bytes (34 GB) copied, 458.454 seconds, 74.9 MB/s
34359738368 bytes (34 GB) copied, 297.087 seconds, 116 MB/s
raid0 1disk sync=standard
34359738368 bytes (34 GB) copied, 463.082 seconds, 74.2 MB/s
34359738368 bytes (34 GB) copied, 297.507 seconds, 115 MB/s
raid0 1disk zil sync=always
34359738368 bytes (34 GB) copied, 471.431 seconds, 72.9 MB/s
34359738368 bytes (34 GB) copied, 296.483 seconds, 116 MB/s
raid0 2disk
34359738368 bytes (34 GB) copied, 233.72 seconds, 147 MB/s
34359738368 bytes (34 GB) copied, 151.109 seconds, 227 MB/s
raid0 2disk sync=standard
34359738368 bytes (34 GB) copied, 237.421 seconds, 145 MB/s
34359738368 bytes (34 GB) copied, 150.979 seconds, 228 MB/s
raid0 2disk zil sync=always
34359738368 bytes (34 GB) copied, 249.648 seconds, 138 MB/s
34359738368 bytes (34 GB) copied, 148.128 seconds, 232 MB/s
raid0 3disk
34359738368 bytes (34 GB) copied, 152.936 seconds, 225 MB/s
34359738368 bytes (34 GB) copied, 100.948 seconds, 340 MB/s
raid0 3disk sync=standard
34359738368 bytes (34 GB) copied, 154.478 seconds, 222 MB/s
34359738368 bytes (34 GB) copied, 101.407 seconds, 339 MB/s
raid0 3disk zil sync=always
34359738368 bytes (34 GB) copied, 208.019 seconds, 165 MB/s
34359738368 bytes (34 GB) copied, 98.7654 seconds, 348 MB/s

**名無しさん＠お腹いっぱい。** · 2011/09/13(火) 02:22:24.28

raid0 4disk
34359738368 bytes (34 GB) copied, 114.403 seconds, 300 MB/s
34359738368 bytes (34 GB) copied, 76.7184 seconds, 448 MB/s
raid0 4disk sync=standard
34359738368 bytes (34 GB) copied, 120.013 seconds, 286 MB/s
34359738368 bytes (34 GB) copied, 77.2663 seconds, 445 MB/s
raid0 4disk zil sync=always
34359738368 bytes (34 GB) copied, 207.679 seconds, 165 MB/s
34359738368 bytes (34 GB) copied, 74.1959 seconds, 463 MB/s

raid0 5disk
34359738368 bytes (34 GB) copied, 99.9385 seconds, 344 MB/s
34359738368 bytes (34 GB) copied, 63.9826 seconds, 537 MB/s
raid0 5disk sync=standard
34359738368 bytes (34 GB) copied, 101.852 seconds, 337 MB/s
34359738368 bytes (34 GB) copied, 64.6448 seconds, 532 MB/s
raid0 5disk zil sync=always
34359738368 bytes (34 GB) copied, 207.193 seconds, 166 MB/s
34359738368 bytes (34 GB) copied, 62.2817 seconds, 552 MB/s

raid0 6disk
34359738368 bytes (34 GB) copied, 81.4244 seconds, 422 MB/s
34359738368 bytes (34 GB) copied, 55.0418 seconds, 624 MB/s
raid0 6disk sync=standard
34359738368 bytes (34 GB) copied, 84.7693 seconds, 405 MB/s
34359738368 bytes (34 GB) copied, 54.275 seconds, 633 MB/s
raid0 6disk zil sync=always
34359738368 bytes (34 GB) copied, 207.767 seconds, 165 MB/s
34359738368 bytes (34 GB) copied, 52.2964 seconds, 657 MB/s

**名無しさん＠お腹いっぱい。** · 2011/09/13(火) 02:23:13.48

raid0 7disk
34359738368 bytes (34 GB) copied, 72.3546 seconds, 475 MB/s
34359738368 bytes (34 GB) copied, 47.5575 seconds, 722 MB/s
raid0 7disk sync=standard
34359738368 bytes (34 GB) copied, 73.1588 seconds, 470 MB/s
34359738368 bytes (34 GB) copied, 47.1805 seconds, 728 MB/s
raid0 7disk zil sync=always
34359738368 bytes (34 GB) copied, 206.957 seconds, 166 MB/s
34359738368 bytes (34 GB) copied, 44.9982 seconds, 764 MB/s

raid0 8disk
34359738368 bytes (34 GB) copied, 63.6645 seconds, 540 MB/s
34359738368 bytes (34 GB) copied, 42.4252 seconds, 810 MB/s
raid0 8disk zil sync=standard
34359738368 bytes (34 GB) copied, 63.5911 seconds, 540 MB/s
34359738368 bytes (34 GB) copied, 42.2853 seconds, 813 MB/s
raid0 8disk zil sync=always
34359738368 bytes (34 GB) copied, 207.937 seconds, 165 MB/s
34359738368 bytes (34 GB) copied, 40.0296 seconds, 858 MB/s

raid0 9disk
34359738368 bytes (34 GB) copied, 56.2284 seconds, 611 MB/s
34359738368 bytes (34 GB) copied, 38.4057 seconds, 895 MB/s
raid0 9disk zil sync=standard
34359738368 bytes (34 GB) copied, 56.7143 seconds, 606 MB/s
34359738368 bytes (34 GB) copied, 37.5948 seconds, 914 MB/s
raid0 9disk zil sync=always
34359738368 bytes (34 GB) copied, 207.622 seconds, 165 MB/s
34359738368 bytes (34 GB) copied, 35.6792 seconds, 963 MB/s

**名無しさん＠お腹いっぱい。** · 2011/09/13(火) 02:25:09.81

raid0 10disk sync=standard
34359738368 bytes (34 GB) copied, 49.5412 seconds, 694 MB/s
34359738368 bytes (34 GB) copied, 35.3997 seconds, 971 MB/s
raid0 10disk zil sync=standard
34359738368 bytes (34 GB) copied, 50.1924 seconds, 685 MB/s
34359738368 bytes (34 GB) copied, 35.551 seconds, 966 MB/s
raid0 10disk zil sync=always
34359738368 bytes (34 GB) copied, 207.413 seconds, 166 MB/s
34359738368 bytes (34 GB) copied, 32.6684 seconds, 1.1 GB/s

raid0 11disk sync=standard
34359738368 bytes (34 GB) copied, 45.0803 seconds, 762 MB/s
34359738368 bytes (34 GB) copied, 32.3663 seconds, 1.1 GB/s
raid0 11disk zil sync=standard
34359738368 bytes (34 GB) copied, 45.9531 seconds, 748 MB/s
34359738368 bytes (34 GB) copied, 31.5008 seconds, 1.1 GB/s
raid0 11disk zil sync=always
34359738368 bytes (34 GB) copied, 207.854 seconds, 165 MB/s
34359738368 bytes (34 GB) copied, 29.9955 seconds, 1.1 GB/s

raid0 12disk sync=standard
34359738368 bytes (34 GB) copied, 41.6123 seconds, 826 MB/s
34359738368 bytes (34 GB) copied, 31.4201 seconds, 1.1 GB/s
raid0 12disk zil sync=standard
34359738368 bytes (34 GB) copied, 42.2312 seconds, 814 MB/s
34359738368 bytes (34 GB) copied, 29.9809 seconds, 1.1 GB/s
raid0 12disk zil sync=always
34359738368 bytes (34 GB) copied, 207.171 seconds, 166 MB/s
34359738368 bytes (34 GB) copied, 28.2279 seconds, 1.2 GB/s

**名無しさん＠お腹いっぱい。** · 2011/09/13(火) 02:34:27.64

貼り付けてとんでもない量になることに気がついたので、アップローダに上げました。
興味ある方はそちらから落としてください。
一部重複してる部分があります。
http://www1.axfc.net/uploader/File/so/69008

**名無しさん＠お腹いっぱい。** · 2011/10/09(日) 07:04:25.62

う～ん、syspoolがディスク全量食っちゃうのは何とかならんのかな＞インストーラー
ディスク2台にミラー構成でinst出来るのはよいのだが、せめてパーティション切って欲しい。
そんな大量にディスク載っけられるわけでも無し。

**名無しさん＠お腹いっぱい。** · 2011/10/12(水) 21:48:50.73

ZILをSSDに設定する方法を教えて下さい。
先週触り始めたばかりです。あとパフォーマンス上こういう点に注意しろみたいなのがあったら
教えてください。

**名無しさん＠お腹いっぱい。** · 2011/10/13(木) 00:23:47.13

>>195
パーティション切れるようにって要望が上がってたような。
たしかに、1Disk1パーティションは無駄になっちゃう容量が大きくて嫌よね。

>>196

NexentaCoreかStoreか解らないけど、Coreの方なら
# zpool add <pool名> log <ssd device>
の指定で行けるかと。
Storeの方は、今環境ないのでちょっとすぐには解らないな。
前にSotreを使ってたときは、特に悩む事なくWebUIから設定した気がする。

パフォーマンス的なのは、どういう用途で使うかによってチューニング変ってくるから
具体的な構成書くと良いと思う。
ただ、使ってる感じチューニングしなくても、他のSolarisOSのものに比べてもスピード
でてるから、あんまり弄らなくていいと思う。

**名無しさん＠お腹いっぱい。** · 2011/10/13(木) 08:04:24.66

>197
ありがとうございます。Storの方です。キャッシュでSSDに組み込むというは見つけたんですが。
もう少し探してみます。

StorからCoreに移行したのはGUIよりCUIってことでしょうか？

**名無しさん＠お腹いっぱい。** · 2011/10/13(木) 22:25:28.09

>>198

あー、もしかしてzfs触るのは初めてかな？

log -> ZIL (書込キャッシュ)
cache -> L2ARC (読込キャッシュ)

なので、用語知らなかったら解らないかも。
マニュアルで画面確認したら、Volumeの作成の画面とかにある、
Add to log >>
ってボタンがZILの追加です。

Stor辞めたのは、StorがInfiniBandのサポートしてなかった為ですね。
WebUIがあっても設定出来なければ意味ないので。
あとは、元々Debian使ってるので単純に自分で解りやすかったってのもあります。

**名無しさん＠お腹いっぱい。** · 2011/10/15(土) 16:02:54.00

>>197
StorはOSやOIより何もしなくてもパフォーマンス出るよね
どの辺いじってあるのか差分取ってみたいけど時間無いわ

Storもadminでsshから入ればdebianそのものだと思うんだがStorだと出来ないこととかあるっけ？
ま構成をいじりすぎるとweb UIとずれが生じるけども。

**名無しさん＠お腹いっぱい。** · 2011/10/16(日) 00:01:23.53

>>200
Storだけじゃなくて、Coreもパフォーマンスでてるのよね。
Coreと他の比べたけど、zfs関連のパラメータの違いが有ったのはSolaris 11 EAだけだった。

InfiniBandのSRPの管理とかがweb UIからできなった。
Web UIはSRP以外はいけるんだけどねー。FCとかiSCSIとか
結局手作業になるので、うちはNexentaCore + napp-itでおちついた

**名無しさん＠お腹いっぱい。** · 2011/10/16(日) 08:13:02.90

>>201
なるほ

そうなのか、なんぞチューニングパラメータかと思ったが、カーネル部分でいじってあるのかな
ぶっちゃけOIが出るまでOSよりよほどメンテされてた感があるので細部に手が入ってるのかも

**名無しさん＠お腹いっぱい。** · 2011/11/01(火) 01:27:20.05

Nexentastor+iSCSI
Fedoraからマウントしてベンチ取ってみた（4k random write)
（Disk statsに複数あるのはmultipathだから）

fio --filename=/store/benchmark/benchfio -rw=randwrite -bs=4k -size=5G -numjobs=4 -runtime=10 -group_reporting -name=file1
file1: (g=0): rw=randwrite, bs=4K-4K/4K-4K, ioengine=sync, iodepth=1
...
file1: (g=0): rw=randwrite, bs=4K-4K/4K-4K, ioengine=sync, iodepth=1
fio 1.55
Starting 4 processes
file1: Laying out IO file(s) (1 file(s) / 5120MB)
Jobs: 4 (f=4): [wwww] [100.0% done] [0K/419.8M /s] [0 /105K iops] [eta 00m:00s]
file1: (groupid=0, jobs=4): err= 0: pid=10719
write: io=3978.5MB, bw=407349KB/s, iops=101837 , runt= 10001msec
clat (usec): min=4 , max=600085 , avg=36.50, stdev=729.01
lat (usec): min=4 , max=600085 , avg=36.59, stdev=729.01
bw (KB/s) : min= 447, max=230968, per=26.01%, avg=105959.17, stdev=26963.27
cpu : usr=3.02%, sys=43.23%, ctx=884074, majf=0, minf=107
IO depths : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%
submit : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
complete : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
issued r/w/d: total=0/1018475/0, short=0/0/0
lat (usec): 10=8.55%, 20=85.36%, 50=5.84%, 100=0.12%, 250=0.03%
lat (usec): 500=0.01%, 750=0.01%, 1000=0.01%
lat (msec): 2=0.01%, 4=0.01%, 10=0.03%, 20=0.03%, 50=0.02%
lat (msec): 100=0.01%, 250=0.01%, 500=0.01%, 750=0.01%

**名無しさん＠お腹いっぱい。** · 2011/11/01(火) 01:27:42.96

続き
Run status group 0 (all jobs):
WRITE: io=3978.5MB, aggrb=407349KB/s, minb=417125KB/s, maxb=417125KB/s, mint=10001msec, maxt=10001msec

Disk stats (read/write):
dm-5: ios=0/146166, merge=0/0, ticks=0/1516756, in_queue=1518373, util=60.93%, aggrios=0/83296, aggrmerge=0/65438, aggrticks=0/821096, aggrin_queue=821516, aggrutil=61.32%
dm-2: ios=0/83296, merge=0/65438, ticks=0/821096, in_queue=821516, util=61.32%, aggrios=0/20824, aggrmerge=0/0, aggrticks=0/200813, aggrin_queue=200917, aggrutil=22.44%
sdc: ios=1/20665, merge=0/0, ticks=0/200678, in_queue=201615, util=17.42%
sdf: ios=1/20632, merge=0/0, ticks=0/217119, in_queue=216605, util=22.44%
sdm: ios=0/21000, merge=0/0, ticks=0/209421, in_queue=209418, util=18.46%
sdl: ios=1/21000, merge=0/0, ticks=0/176034, in_queue=176030, util=15.81%

**名無しさん＠お腹いっぱい。** · 2011/11/01(火) 01:43:17.54

>>203
速いな～、今の構成だとローカルでもうちはそんなに出ない。
NexetaStor側のハード構成とかpoolの構成はどんな感じなんでしょ？

**名無しさん＠お腹いっぱい。** · 2011/11/01(火) 02:15:35.25

poolは1TBx10(raidz2)+SSD(ZIL)

nmc@nexenta:/$ zpool list
NAME SIZE ALLOC FREE CAP DEDUP HEALTH ALTROOT
dset 9.06T 878G 8.21T 9% 1.00x ONLINE -

CPU Xeon(R) CPU E31240 @ 3.30GH
Memory size: 16109 Megabytes

ストレージを集約しようとしてるので、少々オーバースペック気味になってます。

**名無しさん＠お腹いっぱい。** · 2011/11/02(水) 01:07:36.82

詳細ありがとうございます。
うちと似たような構成なんだけどこの差は何なんだろう。
Diskが10台のRaidZ2+ZILで、CPUがX3460とメモリが32GBくらいの差なんですが・・・。
環境の違いはvolblocksizeが4kなのとシンプロビジョニング使ってる所がネックなのか

**名無しさん＠お腹いっぱい。** · 2011/11/02(水) 07:53:07.17

sataカードはどこのですか？ > お二方

**名無しさん＠お腹いっぱい。** · 2011/11/02(水) 15:40:27.83

>>208
自分はスピード出てない方ですが、LSIのLSI 9211-8i x2ですね。

安いカード探してるならIBMのM1015とかが同等品にできますよ。
http://lime-technology.com/forum/index.php?PHPSESSID=3ab9b2dd7ce6b95864de400b6829fb0f&topic=12767.msg124393#msg124393
この辺を参考にすれば簡単かと

**名無しさん＠お腹いっぱい。** · 2011/11/04(金) 14:02:52.26

>>209
LSI9211-8iのカードは初期状態でRAID対応Firmwareが入ってたと思うんですが
ZFS的には非RAIDなFirmwareに上書きした方がいいのでしょうか。

ちなみに私の環境
NEC GT110b
MEM : 1GB ECC x4
SATA1 : 160GB (GT110b標準) : NexentaStor C.E. 3.1.1
9211-8i : Port1-6 : TOSHIBA MK3265GSX 2.5/320GB/5400rpm
9211-8i : Port7 : ANS-9010 16GB (ZIL)
9211-8i : Port8 : 無し (L2ARC用に東芝SSDを予定)

**名無しさん＠お腹いっぱい。** · 2011/11/05(土) 04:31:22.70

>>210

うちはIT(HBA)Firmに書換はしてます。

RAIDファームではないのは以下のサイトの記述みたので。
http://ftp-admin.blogspot.com/2009/10/zfsraid.html
あと、海外のサイトとかでもIT Firmに書換してる事例が多かったのもあります。

そちらの環境のZILがANS-9010って速そうなんですが、実際どの位速度でてます？

**206** · 2011/11/06(日) 20:03:38.32

9211-8iとIntelのオンボードSATAを混ぜてます。
ファームは書き換えてませんね。

他のマシンから9260-8iをひっぺがしてみようかと考えましたが、MSMとか使えませんよね。
9201-16iの方がいいかな。

**名無しさん＠お腹いっぱい。** · 2011/11/07(月) 07:49:34.42

カードは同じなんですね。
オンボードだけで sata6Gが6個もあるへんなITXがあったので使ってますが、
早くない。 3Tx3と最小構成なのでしょうがないかなあ。
3Tもう一本くらい買いたいけど今はムリだ～～～～～

**名無しさん＠お腹いっぱい。** · 2011/11/08(火) 21:33:06.45

>>212
NexentaでもMSMは動きそうな気はしますが、必要な物入れるのが大変そうです。
楽なのは9201-16iだと思いますよ。もしくは、SASエクスパンダー入れるかですね。

>>213
J&WのAMDのITXですかね？
うちは拡張カード刺すつもりだったので、最初からATXにしました。
速くないって、どのくらいなんでしょ？ ZIL用のSSD追加すると結構パフォーマンス
変りますよ－。

**名無しさん＠お腹いっぱい。** · 2011/11/09(水) 20:20:22.72

>214
asusの E35M1-I です。deluxなしのやつ。
速度はのちほど。
ZILは手持ちのを一度つけたんですが腐ってたみたいで時々挙動不審になるので
別のを注文中です。

**名無しさん＠お腹いっぱい。** · 2011/11/09(水) 21:40:27.51

CDMなので、比較にならないでしょうが、こんなもんです。
raidz1 WDC 3Tx3 syspoolは Crucial M4 128G 圧縮なし。 cacheなし、
-----------------------------------------------------------------------
CrystalDiskMark 3.0.1 x64 (C) 2007-2010 hiyohiyo
Crystal Dew World : http://crystalmark.info/
-----------------------------------------------------------------------
* MB/s = 1,000,000 byte/s [SATA/300 = 300,000,000 byte/s]

Sequential Read : 59.181 MB/s
Sequential Write : 65.651 MB/s
Random Read 512KB : 58.378 MB/s
Random Write 512KB : 39.962 MB/s
Random Read 4KB (QD=1) : 7.255 MB/s [ 1771.3 IOPS]
Random Write 4KB (QD=1) : 6.275 MB/s [ 1532.1 IOPS]
Random Read 4KB (QD=32) : 61.498 MB/s [ 15014.2 IOPS]
Random Write 4KB (QD=32) : 2.126 MB/s [ 519.1 IOPS]

Test : 1000 MB [X: 11.6% (631.1/5454.7 GB)] (x2)
Date : 2011/11/09 21:28:31
OS : Windows 7 SP1 [6.1 Build 7601] (x64)

**名無しさん＠お腹いっぱい。** · 2011/11/10(木) 00:32:00.64

214(207)ですが、うちでCDM取るとこんな感じです。
Nexentaとの接続がInfiniBandのうえにARC上に乗っかってるので、読込はこれくらいでます。
書込はスペックからするとおっっっそいっすね。これでもZILにPX-128M2P使ってるんですが。

-----------------------------------------------------------------------
CrystalDiskMark 3.0.1 x64 (C) 2007-2010 hiyohiyo
Crystal Dew World : http://crystalmark.info/
-----------------------------------------------------------------------
* MB/s = 1,000,000 byte/s [SATA/300 = 300,000,000 byte/s]

Sequential Read : 1154.275 MB/s
Sequential Write : 123.507 MB/s
Random Read 512KB : 968.508 MB/s
Random Write 512KB : 113.761 MB/s
Random Read 4KB (QD=1) : 66.573 MB/s [ 16253.1 IOPS]
Random Write 4KB (QD=1) : 17.650 MB/s [ 4309.0 IOPS]
Random Read 4KB (QD=32) : 899.634 MB/s [219637.1 IOPS]
Random Write 4KB (QD=32) : 36.698 MB/s [ 8959.5 IOPS]

Test : 1000 MB [D: 41.7% (4273.6/10239.9 GB)] (x5)
Date : 2011/11/10 0:26:01
OS : Windows Server 2008 R2 Datacenter Edition (Full installation) SP1 [6.1 Build 7601] (x64)

**名無しさん＠お腹いっぱい。** · 2011/11/10(木) 23:17:00.44

高速化したいときはZILとL2ARC？
どの程度速くなるものなんでしょう

**名無しさん＠お腹いっぱい。** · 2011/11/11(金) 02:28:56.61

>>218
用途はiSCSIのTargetでしょうか？用途によって変ってくるので何とも言えないです。
ZILをSSDへ独立させてやると、SSDの最高書込速度の7～8割くらいの速度はでます。
細かいブロックサイズ(4KBとか)になると、SSDのそのブロックサイズでの速度くらいまで落ちますが。

一般的な話だと、読込高速化(L2ARC)か書込高速化(ZILデバイス追加)って感じです。
通常、読込高速化はメモリを増やしまくればL2ARCはいらない気がしますけど。
DB系を動かすとなると、L2ARCがあった方が断然速くなると思います。

書込はZILをdisableにすると速くはなりますよ。
標準設定だと、ZILはstandard設定なのでそれをdisabledにするとパフォーマンスはでます。
電源断が起こると、下手すると巻き戻りが起こりますけど。

あと、自分が弄ってきた経験上は、最終的に書込むDiskの速度が遅いとZILのデバイスがいくら速くとも、
Diskの速度に引っ張られます。

現行のzilの動作ですけど、どーなってるんだろうと思って一回テストしてみたんですが、
sync = always (常にZILを書く)
sync = standard (同期書込時だけZILを書く)
sync = disabled (同期書込時もZILを書かない)
になってるっぽいです。

**名無しさん＠お腹いっぱい。** · 2011/11/15(火) 16:44:49.43

あら。スレあったんだ。前探したときは見つけられなかったんだが

NexentaStor community edition で 1Tx3 で RaidZ を組んで１年半。

NexentaStor　は場違いであればお許しを。

**名無しさん＠お腹いっぱい。** · 2011/11/15(火) 22:04:39.18

>>220
全然スレ違いじゃないと思うよｗ
このスレはNexentaStor使ってる人の方が多いしｗ

Coreの方を使ってるのは、自分以外は誰かいるんだろうかｗ

そういや、illimosベースの4.0のベータテスターの募集してたけど、
誰か突撃した人はいるんだろうか？

**名無しさん＠お腹いっぱい。** · 2011/11/16(水) 17:43:11.99

FreeBSD の ZFS と nexenta の ZFS の性能的な違いとかって
両方使っている人がいたら感想を教えてもらえるとありがたいです

**名無しさん＠お腹いっぱい。** · 2011/11/16(水) 19:41:09.48

>>222
以前FreeBSD(ZFSGuru)とnexentaで比較やったんだけど、結果が残ってない orz
GbE+iSCSIのサーバとかで使うんだったら、差は殆どないかと。

**名無しさん＠お腹いっぱい。** · 2011/11/17(木) 05:24:33.15

Nexenta の一時バックアップを、VM 上に作った FreeBSD 9RC でとってみたが、
ZFS としての使い勝手は当たり前だが同等。
ハードが異なるので比較はできないがメモリをたっぷり割り当てている分には違いは出なかった

Nexenta のほうで、Dedup ON にしているとメモリが足りないと警告が出るが、
FreeBSD では出なかった。出ないからと言って、メモリが足りないわけではないだろうけど

**名無しさん＠お腹いっぱい。** · 2011/11/17(木) 10:02:20.18

FreeBSD側の枯れ具合いくらいなのかな，違いは．

当方は，えんたーぷらいずってわけでもないので
あとはスピードとかだったのだけどまあ
zfsにあまりスピードを求めるというのも違うきもする…

**名無しさん＠お腹いっぱい。** · 2011/11/21(月) 06:27:34.98

206です。
出勤前にCDMでベンチ取ってみました。
遅いですねえ、>>217にはとても及ばず。
1GbなiSCSIじゃこんなものですかね。
-----------------------------------------------------------------------
CrystalDiskMark 3.0.1 x64 (C) 2007-2010 hiyohiyo
Crystal Dew World : http://crystalmark.info/
-----------------------------------------------------------------------
* MB/s = 1,000,000 byte/s [SATA/300 = 300,000,000 byte/s]

Sequential Read : 175.891 MB/s
Sequential Write : 89.339 MB/s
Random Read 512KB : 125.079 MB/s
Random Write 512KB : 52.436 MB/s
Random Read 4KB (QD=1) : 7.264 MB/s [ 1773.4 IOPS]
Random Write 4KB (QD=1) : 9.104 MB/s [ 2222.6 IOPS]
Random Read 4KB (QD=32) : 165.056 MB/s [ 40296.8 IOPS]
Random Write 4KB (QD=32) : 23.892 MB/s [ 5833.0 IOPS]

Test : 1000 MB [D: 0.1% (0.1/100.0 GB)] (x5)
Date : 2011/11/21 5:36:02
OS : Windows Server 2008 R2 Enterprise Edition (Full installation) SP1 [6.1 Build 7601]