トップページ⇒unix
983コメント275KB

[次世代] ZFS Part2 [ﾌｧｲﾙｼｽﾃﾑ]

■ このスレッドは過去ログ倉庫に格納されています
0001名無しさん＠お腹いっぱい。2007/06/13(水) 15:28:31
64ビットのチェックサム、128bitアドレッシング、RAID、ホットスペア、
スナップショット、ストレージプールなどの豊富な機能を備え、
次世代のファイルシステムとして期待されるZFSについて語るスレです。

○前スレ
[次世代] ZFS [ﾌｧｲﾙｼｽﾃﾑ]
http://pc11.2ch.net/test/read.cgi/unix/1146631270/

○関連スレ
/**ファイルシステム総合スレ その7**/
http://pc11.2ch.net/test/read.cgi/linux/1173530292/

○関連リンク
Solaris ZFS
ttp://www.sun.com/software/solaris/zfs.jsp

OpenSolaris
ttp://www.opensolaris.org/os/

ソース
ttp://opensolaris.org/os/community/zfs/source/
0735名無しさん＠お腹いっぱい。2008/05/03(土) 21:56:33
cpioはoption名が覚えにくい。
Solarisのパッケージはcpio使ってたな。
0736名無しさん＠お腹いっぱい。2008/05/03(土) 23:38:31
>>727
今どういう問題があって、どのような環境で、どういう風にパフォーマンスアップしたいのかしら？
0737名無しさん＠お腹いっぱい。2008/05/04(日) 00:13:59
cpio は互換性高いだろ。オプションが覚えにくいのと SysV 方面というイメージが敬遠要因と思うけど。
ま、昔の話だな。
0738名無しさん＠お腹いっぱい。2008/05/04(日) 19:36:33
ところで
disk fullになったときにrmでファイルを消せなくなる（かもしれない）というのはFAQですが
そのときの対処方法は？


0739名無しさん＠お腹いっぱい。2008/05/05(月) 00:48:48
知らないなあ…
0740名無しさん＠お腹いっぱい。2008/05/05(月) 18:06:27
各自が注意してdisk fullにしなければいいだけの話だろう。
あたかもFSの欠陥みたいに大騒ぎしてる奴は一体何が目的なんだ。
0741名無しさん＠お腹いっぱい。2008/05/05(月) 18:12:52
なんだそれ
0742名無しさん＠お腹いっぱい。2008/05/05(月) 18:16:21
disk fullに注意するのはいいが、なった時にファイルを消さないのは不具合でないの？
0743名無しさん＠お腹いっぱい。2008/05/05(月) 19:09:57
>>738
truncate
07447432008/05/05(月) 19:35:48
発掘した
ttp://lists.freebsd.org/pipermail/freebsd-current/2008-January/082615.html
0745名無しさん＠お腹いっぱい。2008/05/06(火) 10:48:33
クライアントのIPを指定してsharenfsってどうしたらいいのでしょうか?
0746名無しさん＠お腹いっぱい。2008/05/06(火) 18:29:55
ZFSと言うより、shareコマンドのオプションの問題。
0747名無しさん＠お腹いっぱい。2008/05/07(水) 01:20:30
>>745
ホスト名にする
or
/255.255.255.255 をつける
0748名無しさん＠お腹いっぱい。2008/05/07(水) 20:51:53
ZFS上でMySQL使ってる人っていないかな？

FreeBSD 7.0-RELEASE
MySQL 5.0.51a

で、試してるんだけど、INSERTが
ufs2の上に置いたときと比べて、8倍くらい遅いんだ。

recordsizeは、16kにしてみてる(´･ω･`)
0749名無しさん＠お腹いっぱい。2008/05/07(水) 23:28:19
大切な情報を忘れていました。
ディスク3本をraidzで組んでいます。
これから、raidzせずに変わるか試してみるよ！
0750名無しさん＠お腹いっぱい。2008/05/08(木) 00:22:01
RAIDの原理的に考えれば、
RDBから書き込むブロックサイズをRAIDのトータルブロックサイズ
にあわせないと、書き込みの度に読み出しが必要になって
遅くなるわな。
ディスク安いんだからRAID1がいいんじゃね。
0751名無しさん＠お腹いっぱい。2008/05/08(木) 00:46:50
RAID（のレイヤ）にブロックなんてあるの？
0752名無しさん＠お腹いっぱい。2008/05/08(木) 02:37:55
>>746
すみません、shareコマンドの無いFreeBSDユーザは /etc/exports
の形式をそのまま指定すれば良かったみたいです。

zfs set sharenfs='-maproot=root 192.168.0.1 192.168.0.10' tank/src
0753名無しさん＠お腹いっぱい。2008/05/08(木) 14:35:10
http://www.solarisinternals.com/wiki/index.php/ZFS_for_Databases
結論から言えば、database用途にはzfsは向かない。中でもRAID-Zは相性最悪。
0754名無しさん＠お腹いっぱい。2008/05/08(木) 16:00:27
容量拡張的には魅力あるんじゃない? 速度的にはともかくとしても。
ヘマしたら悲惨だとは思うがw
0755名無しさん＠お腹いっぱい。2008/05/08(木) 16:29:24
まあ、RAWつかえってことだわな。
0756名無しさん＠お腹いっぱい。2008/05/08(木) 16:49:31
追記型のPostgreSQLなら、zfsによるパフォーマンスの劣化は少ないかもね。
常にパフォーマンス優先というシチュエーションだけでもないので、
zfsが許容されるなら、recordsizeだけ気をつければいいのかも。
0757名無しさん＠お腹いっぱい。2008/05/08(木) 17:16:35
>>753
やっぱそうかw
まさしくRAID-Zで組んで何か遅いと思ったw
開発用DBの一つだから試験的に、と思ってたけどマシン性能に比べて遅いよなぁと思ってた・・・
0758名無しさん＠お腹いっぱい。2008/05/08(木) 17:44:57
>>753
DBの上にDB乗っけるようなものだからかなぁ
0759名無しさん＠お腹いっぱい。2008/05/08(木) 23:56:54
RDBMS用途では、ファイルシステム云々より、write cacheの有無が
性能を左右するんじゃないかな。
と言う事で、そこそこのwrite cache積んでいるハードウェアRAID上に
ZFS組めば、使えるのでは？
0760名無しさん＠お腹いっぱい。2008/05/09(金) 03:03:23
Oracleってzfsの上のソリューション紹介ってやってた記憶があるけど
おすすめってわけじゃないのかなぁ
0761名無しさん＠お腹いっぱい。2008/05/09(金) 09:05:35
>>759
正味 write back なとこに DB 置くの? チャレンジャーだな。
0762名無しさん＠お腹いっぱい。2008/05/09(金) 09:46:09
>>761
大型ストレージは例外なくWrite Backですｗ
0763名無しさん＠お腹いっぱい。2008/05/09(金) 09:59:13
ディスクキャッシュと言っても、大型ストレージのは普通SRAMだしね。
0764BBWC2008/05/09(金) 13:36:25
えぇぇぇぇぇ〜〜〜
0765名無しさん＠お腹いっぱい。2008/05/09(金) 15:38:43
ここに書いてある通りの展開でワラタ
http://blogs.sun.com/bonwick/entry/raid_z

> Once again, expensive hardware offers a solution: a RAID array can
> buffer partial-stripe writes in NVRAM while it's waiting for the
> disk reads to complete, so the read latency is hidden from the
> user. Of course, this only works until the NVRAM buffer fills up. No
> problem, your storage vendor says! Just shell out even more cash for
> more NVRAM. There's no problem your wallet can't solve.
0766名無しさん＠お腹いっぱい。2008/05/10(土) 22:42:48
>>761
外付けのハードウェアRAID装置にDBを格納していない
事の方が驚く。
多くの「重要な」DBはHAクラスタで組んでいると思う。
HAクラスタには共有Diskが必要であり、SAN接続の
ハードウェアRAID装置が主流だ。
こうしたハードウェアRAID装置にはwrite cacheが
ついていると思うんだが、わざわざ殺しているのかい？
0767名無しさん＠お腹いっぱい。2008/05/11(日) 01:14:01
>>766
うん。殺してますよ。もちろん。
0768名無しさん＠お腹いっぱい。2008/05/11(日) 01:28:27
>>767
HDD のライト・キャッシュは普通に殺すだろうけど、
RAID 装置のまでもか。
つか、バッテリ・バックアップがついてても、なのか？
0769名無しさん＠お腹いっぱい。2008/05/11(日) 01:34:37
バッテリつきならwrite (back) cache有効でも
目くじら立てることはないと思う。

07707692008/05/11(日) 01:37:22
>>769は >>768 への回答みたいになってるけど >>768 は見ずに書いてた。
ってか俺>>768〜>>769は6分以上あるのに, その間何やってたんだろう。記憶がない…
誰か俺に不揮発性記憶をくれ。
0771名無しさん＠お腹いっぱい。2008/05/11(日) 01:40:33
バッテリ・バックアップのない RAID 装置なんかを
使ってる時点でダメだと思うんだが。ｗ
0772名無しさん＠お腹いっぱい。2008/05/11(日) 01:47:20
・DACボードにバックアップバッテリー
・外付けＵＰＳ装置

以上2つがあってWriteBackにしてもいいと思う
まぁ、それでも飛ぶときはとぶがな

去年は1Ｔぐらい飛ぶのみてきたぜ！
俺は保守する人なのでまぁ別にいいんだけど
0773名無しさん＠お腹いっぱい。2008/05/11(日) 11:30:52
RAIDカードに信頼性がないんだよ。

一般論として、信頼性をあげるためにハードウェアレイヤを追加
しても、部品点数の増加(による信頼性低下)で大部分相殺されてしまう。

zfsのraid-zと同じ発想で、DBのRAIDによる冗長性確保は
特殊なハードウェアなしにRDBMS自身がやるのが一番望ましい。
0774名無しさん＠お腹いっぱい。2008/05/11(日) 11:37:08
RAIDカードて。
それは冗談で言ってるのか？
0775名無しさん＠お腹いっぱい。2008/05/11(日) 12:00:16
>>773
SAN 接続の RAID ストレージの話だと思ってみてたんだが
RAIDカードっているのか？
0776名無しさん＠お腹いっぱい。2008/05/11(日) 20:40:31
>>773
RAIDというとPromiseのゴミみたいなRAIDカードしか知らない人ですか
0777名無しさん＠お腹いっぱい。2008/05/11(日) 22:23:33
NetAppやEMCだってコントローラのトラブルで死ぬときは
死ぬけどな
0778名無しさん＠お腹いっぱい2008/05/11(日) 22:35:44
それよりはドライブ吹っ飛んで泣きを見るよりは救いようがあるし
確率も高いから、ということでみんな使ってるんだよな
0779名無しさん＠お腹いっぱい。2008/05/13(火) 15:18:11
MySQLって、ストレージエンジンを複数もてるから
ZFSに最適化されたストレージエンジンをSun作ってくれないかな？
そしたら、MySQL＋Solarisが使いやすくなる。
0780名無しさん＠お腹いっぱい。2008/05/13(火) 15:29:14
当然しないとまずいわな
0781名無しさん＠お腹いっぱい。2008/05/13(火) 16:26:18
というか、まだしていないのが不思議だ。
0782名無しさん＠お腹いっぱい。2008/05/13(火) 16:56:19
下手に肩入れしすぎると、Oracleと仲が悪くなって困るんじゃね？
0783名無しさん＠お腹いっぱい。2008/05/13(火) 17:26:16
そんなのPostgreSQLに手を出す前から仲悪いでしょ。
Oracle 1強という状況はSun的にも嬉しくないはず。
0784名無しさん＠お腹いっぱい。2008/05/14(水) 01:40:27
Oracleは自前(笑)のLinuxも持ってるしな。
0785名無しさん＠お腹いっぱい。2008/05/14(水) 11:36:23
ClusterwareやASMとかも全く持っておせっかいだしな。
Linuxをメインターゲットにしちゃったせいで必要になったんだろうがｗ
0786名無しさん＠お腹いっぱい。2008/05/14(水) 13:47:18
あんだけハズレ製品連発してんのに儲かってんだよな。不思議でしょうがない。
なんで Oracle なんか買うの? 9割以上 PostgreSQL で十分だろ。
0787名無しさん＠お腹いっぱい。2008/05/14(水) 13:55:09
なんでSolarisなんか使うの？(ry
0788名無しさん＠お腹いっぱい。2008/05/14(水) 14:14:30
Solaris の代替はないよ。Oracle の代替はほんと特殊な場合除いてありまくり。不要。
0789名無しさん＠お腹いっぱい。2008/05/14(水) 14:43:28
Oracle+VERITAS決め打ちの案件があるから
0790名無しさん＠お腹いっぱい。2008/05/14(水) 15:41:24
>>789
確かにあるなぁ。
本当にOracleの必要があるのかって思う事もあるけど
Oracleばっかりだと運用も開発もOracle決めうちできて便利といえば便利
なのでまあいいけどね。
0791名無しさん＠お腹いっぱい。2008/05/14(水) 16:02:46
>>788
信者としての意見ありがとう。
0792名無しさん＠お腹いっぱい。2008/05/14(水) 16:19:40
よく、ネーミングポリシーでOracleに引きずられて
30文字未満というのがある。
いい加減、30byte制限なんとかして欲しい・・・・
余計な手間が増えるんだよ・・・・

あれ？ここOracleスレじゃなかったのか・・・
0793名無しさん＠お腹いっぱい。2008/05/18(日) 22:29:11
>>776
RAIDカード使うのはシステムDisk位だろ。
あまりにも予算が限られていたり、どうでも良い用途のサーバには
内蔵Disk 8本位搭載してRAID組んだりするけど。
普通は外付け使う罠。

>>786
開発者や運用側の要請でOracleになる。
DBにMySQLとかPostgreSQLとかSybaseとか、人が集まらん。
多くの技術者は保守的で、勉強する事を嫌がる。仕方ない罠。
0794名無しさん＠お腹いっぱい。2008/05/18(日) 23:55:30
>>793
まぁOracle使ってるからって勉強しなくっていいわけじゃないけどね。
バージョンが上がってもだいたい同じカンで使えるのがありがたいっていう部分はあるけど。
0795名無しさん＠お腹いっぱい。2008/05/19(月) 02:58:06
http://blogs.sun.com/bonwick/entry/casablanca

なんじゃこら
0796名無しさん＠お腹いっぱい。2008/05/19(月) 07:49:04
リーナスかわゆすなぁ
0797名無しさん＠お腹いっぱい。2008/05/19(月) 11:14:14
その気色の悪いしゃべり方をやめてくれ。
0798名無しさん＠お腹いっぱい。2008/05/19(月) 20:22:11
仮にしゃべり方に問題があるとしてもだ、
事の本質には何も影響がない。
0799名無しさん＠お腹いっぱい。2008/05/19(月) 20:30:19
Linux がダメ、ってことか?
0800名無しさん＠お腹いっぱい。2008/05/20(火) 19:52:00
ZFS載らないLinuxなどいらん。
0801名無しさん＠お腹いっぱい。2008/05/20(火) 20:43:51
つーか、ファイルシステム全滅って話がww
0802名無しさん＠お腹いっぱい。2008/05/21(水) 14:45:23
ストレージを使わなければどうということはない!
0803名無しさん＠お腹いっぱい。2008/05/22(木) 11:31:32
なるほど。じゃ、それで。w
0804名無しさん＠お腹いっぱい。2008/05/22(木) 11:34:51
全部メモリ空間にリニアにマッピングするんですね
わかります
0805名無しさん＠お腹いっぱい。2008/05/24(土) 02:15:35
500GB x8 のRAID-Z組んでsambaで共有したら死ぬほど遅くて泣いた；；
0806名無しさん＠お腹いっぱい。2008/05/24(土) 02:25:10
>>805
それはさすがにZFSの問題ではなかろう。
0807名無しさん＠お腹いっぱい。2008/05/24(土) 02:32:14
>>806
今切わけちゅ。
　CPU利用率 問題なし
　ネットワーク利用率問題なし
0808名無しさん＠お腹いっぱい。2008/05/24(土) 03:52:42
>>805

zfs set sharesmb=onとかは？


0809名無しさん＠お腹いっぱい。2008/05/24(土) 12:11:52
>>808
ほほー。そんなのあるんですね。
しかしながらやってみましたが、状況変わらずといった感じでした。
samba, sharesmb=onの両方で 何パターンか試してみたんですが、

100MB x 100 の転送 → 平均転送速度 30MB/sec
10MB x 1000 の転送 → 平均転送速度 10MB/sec
1MB x 10000 の転送 → 平均転送速度 0.8MB/sec
0.1MB x100000 の転送 → 平均転送速度 0.1MB/sec

どうもファイルが小さく、細かくなるほど遅くなるようです。

NAME STATE READ WRITE CKSUM
sharepool ONLINE 0 0 0
raidz1 ONLINE 0 0 0
c2t0d0 ONLINE 0 0 0
c2t1d0 ONLINE 0 0 0
c3t0d0 ONLINE 0 0 0
c3t1d0 ONLINE 0 0 0
c4t0d0 ONLINE 0 0 0
c4t1d0 ONLINE 0 0 0

シングルのufs領域をsambaで共有してためしたところ、
0.1MB x100000 の転送 → 平均転送速度 14MB/sec
でした。

うーむ。
0810名無しさん＠お腹いっぱい。2008/05/24(土) 13:33:09
CIFS servicesとsambaで同じようなパフォーマンスってことは
実はローカルアクセスでも同じなんじゃね?
0811名無しさん＠お腹いっぱい。2008/05/24(土) 13:59:08
ZFSでHDD3台のRAID-XでWebサーバー作る予定
しかも慣れてるからと言う理由でFreeBSD7
がんばります
0812名無しさん＠お腹いっぱい。2008/05/24(土) 15:01:54
RAID-XじゃなくてRAID-Zだった
先行き不安だ
0813名無しさん＠お腹いっぱい。2008/05/24(土) 19:52:14
>>809 興味深い実験だなあ。
その後何か分かったらまた報告よろ。
0814名無しさん＠お腹いっぱい。2008/05/25(日) 02:12:47
うーん、FreeBSD 7-STABLE amd64でメモリ4GBつんでるんだけど
1GBのファイルを
$ cat test > /dev/null
みたいにやると、UFS上だと2回目は1秒で終わるけど
ZFS上だと何回やってもHDDにアクセスして15秒ぐらいかかる

キャッシュしてくれないのかな
0815名無しさん＠お腹いっぱい。2008/05/25(日) 13:37:07
>>809

面白い結果ですねえ・・・・

ちなみにOSはSX[CD]Eですか？生Solaris？

小さいファイルほど遅いのはditto blockが効いてるからなのかな？


全然、関係ないですが、compression=onでアホみたいに速くなることがありますよ。

0816名無しさん＠お腹いっぱい。2008/05/26(月) 01:38:53
初歩的な話で申し訳ないが

solaris10でzpoolでcreateした場合そのままマウントされてファイルシステムとして使用できるけど

zfs create erocg/紐パンツ
zfs create erocg/縞々パンツ
zfs create erocg/純白パンツ

とzfsで分けたほうが、ファイル大量になってもフラグメンテーションおきにくかったり
アクセスが遅くなりにくいとか利点ってありますか？
0817名無しさん＠お腹いっぱい。2008/05/26(月) 01:51:48
>>816

紐パンツと、縞々パンツと、純白パンツと、黒レースのパンツで、
それぞれパラメタを変えられるというメリットはありますよ。

zfs get all プール名

で、どんなのが設定できるか見てみると良いですよ。

0818名無しさん＠お腹いっぱい。2008/05/26(月) 14:29:57
純白パンツだけcompression=onでアホみたいに速くなったりとか?
0819名無しさん＠お腹いっぱい。2008/05/26(月) 14:52:30
世界のZFSアツか
0820名無しさん＠お腹いっぱい。2008/05/26(月) 15:20:08
>>818
黒レース以外は圧縮率高そうだな。

俺は、バックアップ単位を分ける観点から、分けてるかな。タンスを・・・
い、いや、普通にファイルのバックアップです。
0821名無しさん＠お腹いっぱい。2008/05/26(月) 15:29:59
erocg/紐パンツ 内でのファイルの移動は大きさに関係なく一瞬で終わるけど
erocg/紐パンツ から erocg/純白パンツ への移動はコピーになっちゃうんだよね
どうせ場所は共有してるんだからなんとかならないのかな
0822名無しさん＠お腹いっぱい。2008/05/26(月) 15:41:35
>>821
それこそフラグメントのもとじゃないか
0823名無しさん＠お腹いっぱい。2008/05/26(月) 20:22:35
ZFSとはまったく関係ないのだが、
縞パンでかつ紐パンの場合はどちらに分類されるんだろう？
ハードリンクとかでどうにかするのか？
0824名無しさん＠お腹いっぱい。2008/05/26(月) 21:39:58
>>823
んーよくわからんな。
絵で頼む。
0825名無しさん＠お腹いっぱい。2008/05/26(月) 22:41:35
紐縞パン
0826名無しさん＠お腹いっぱい。2008/05/26(月) 23:57:14
紐パンスレからみつけてきました、こうですか？
わかりません＞＜

ttp://mio.servequake.com/~upload/himo/src/511095640817036afbef84702cf6ef8b.jpg
0827名無しさん＠お腹いっぱい。2008/05/27(火) 02:46:49

zfs的にはですね。

zfs snapshot erocg/紐パン@今はらりと落ちる瞬間

zfs clone erocg/紐パン2

と、cloneできるわけです。

「紐パン@今はらりと落ちる瞬間」と、「紐パン2」には依存関係があるのですが、
このときの「紐パン2」がアクセスされて、どうなるか？
技術的に興味深いと思いませんか？


0828名無しさん＠お腹いっぱい。2008/05/27(火) 22:17:27
ｚｆｓは色々と便利なんだぜ

ある一定以上おおきくしたくないときなんかは

zfs set quota=72cm movie/chihaya

ってやればＯＫだ
0829名無しさん＠お腹いっぱい。2008/05/27(火) 23:09:55
>>828
こんなところで、B72を見るとは思わなかったｗ
0830名無しさん＠お腹いっぱい。2008/05/27(火) 23:58:38
zfsって/に使えないのか
0831名無しさん＠お腹いっぱい。2008/05/28(水) 00:20:25
>>830

SX[CD]Eでは、Nevada89からつかえるようになって、
OpenSolaris 2008.05でも使える。

SolarisではU6からではないかという話ですよ。
0832名無しさん＠お腹いっぱい。2008/05/28(水) 00:34:06
色々とありがとうございました。

とりあえず erocg/純白パンツ

zfs set compresson=on erocg/純白パンツ

とやって、80GBほどのPNG(ファイル数で６万ちょっと）をコピーしてみたところ
開き領域が18Ｇほど増えました！！

クライアントのｗｉｎｄｏｗｓからACD SEEで見ても圧縮を感じさせない速度・・逆に早くなってる？
で大変満足しております。




0833名無しさん＠お腹いっぱい。2008/05/28(水) 01:17:44
>>831
ありがとう！
0834名無しさん＠お腹いっぱい。2008/05/28(水) 01:18:04
http://blog.ninth-nine.com/diary/20071103.txt
08358142008/05/28(水) 01:22:48
キャッシュするメモリの場所が違うんですね。
上のほうで既出でした。サーセン。
カーネルメモリを1.5GBまで大きくしました。
本当は3GBにしたかったんですが、出来ない模様。AMD64なのに。
http://pc11.2ch.net/test/read.cgi/unix/1097460062/886

4GBの目的はディスクキャッシュだったんで
ちょっと失望ですが、experimentalだと言ってるし、
イヤならおとなしくSolaris使えってことですね。
■ このスレッドは過去ログ倉庫に格納されています