トップページunix
983コメント275KB

[次世代] ZFS Part2 [ファイルシステム]

■ このスレッドは過去ログ倉庫に格納されています
0001名無しさん@お腹いっぱい。2007/06/13(水) 15:28:31
64ビットのチェックサム、128bitアドレッシング、RAID、ホットスペア、
スナップショット、ストレージプールなどの豊富な機能を備え、
次世代のファイルシステムとして期待されるZFSについて語るスレです。

○前スレ
[次世代] ZFS [ファイルシステム]
http://pc11.2ch.net/test/read.cgi/unix/1146631270/

○関連スレ
/**ファイルシステム総合スレ その7**/
http://pc11.2ch.net/test/read.cgi/linux/1173530292/

○関連リンク
Solaris ZFS
ttp://www.sun.com/software/solaris/zfs.jsp

OpenSolaris
ttp://www.opensolaris.org/os/

ソース
ttp://opensolaris.org/os/community/zfs/source/
0228名無しさん@お腹いっぱい。2007/07/13(金) 11:37:43
>>225
UPSがいかれる可能性も考えといたほうがいい
0229名無しさん@お腹いっぱい。2007/07/13(金) 11:51:08
隕石でなく小惑星(直径数百キロ)激突なら、地球全体クライシスだから
鯖とかもう余計な心配しなくて済むぞ。

参考資料
ttp://www.youtube.com/watch?v=hu-iYG-mgpo
0230名無しさん@お腹いっぱい。2007/07/13(金) 12:16:59
小惑星はともかく火事とか考えるとデータを建物外に退避保存しておくしかないわけで
zfs(のsnapshot)とはまるきり関係なく必要になる話だな。
0231名無しさん@お腹いっぱい。2007/07/13(金) 12:59:18
おいおい、UPS のサージ対策って.... よく資料あたった方がいいぞ。
気休めもはなはだしいんだけど。そんなことも知らないの?
Unix Magazine に落雷の話いくつか載っただろ??
0232名無しさん@お腹いっぱい。2007/07/13(金) 13:01:57
ひょっとして、おまえら全員雷サージは導体部分しか伝わらないと
思ってんのか? めでた過ぎる...www
0233名無しさん@お腹いっぱい。2007/07/13(金) 13:44:21
雷サージによる被害は建物の構造によっても左右される。
特にS,SRC造は被害が少ないかも。
逆にRC造は被害が広範囲に及ぶ。

おまえら少しは勉強しる。
0234名無しさん@お腹いっぱい。2007/07/13(金) 14:23:23
http://ja.wikipedia.org/wiki/%E9%9B%B7%E3%82%B5%E3%83%BC%E3%82%B8
そんな話書いてないぞ
誰か書き足してくれ
0235名無しさん@お腹いっぱい。2007/07/13(金) 14:51:22
クソスレだな、ここ。読む価値なし
0236名無しさん@お腹いっぱい。2007/07/13(金) 17:31:58
>>232
>思ってんのか? めでた過ぎる...www
問うた直後に勝手に結論付けてる奴も、めでたいよな
0237名無しさん@お腹いっぱい。2007/07/13(金) 17:45:15
いやいや、ここでめでたいのは昇天したハードディスク目の前にして
途方にくれている未来のあなたなのだよwww
0238名無しさん@お腹いっぱい。2007/07/13(金) 17:55:59
>>237
これも勝手に結論付けてない?

やっぱりめでたい?
0239名無しさん@お腹いっぱい。2007/07/13(金) 18:01:38
www ←これ流行ってるの?
0240名無しさん@お腹いっぱい。2007/07/13(金) 18:07:24
俺はWinnyでデータ分散させてるから
核戦争で地球全土で人類が滅亡しない限りはいつでもデータを取り出せるよ。
0241名無しさん@お腹いっぱい。2007/07/13(金) 18:30:14
ZFSの書き込みって早いの?
最高どのくらいでるもん?
0242名無しさん@お腹いっぱい。2007/07/13(金) 19:26:23
自分で試せばいいじゃん
肝はメモリ量な
0243名無しさん@お腹いっぱい。2007/07/13(金) 19:38:47
>>241
前スレにbonnie++でのベンチ結果が載ってる。

基本的に大量のファイルやディレクトリを読込、作成、変更、削除しない限りは
どのFSでも速度は変わらない。HDDやRAIDの速度に比例する。

Maildirを使うようなサーバだと、FSで速度が変わってくるけど、
前スレの結果だと、ZFSは他のFSと同等かちょっと早いぐらいのパフォーマンスだった。
0244名無しさん@お腹いっぱい。2007/07/14(土) 00:44:06
>>228
CVCF が原因といえば、こんなこともあったしなぁ・・・Yahoo が珍しく落ちた事件。
ttp://ir.bbtower.co.jp/ja/PressRelease/PressRelease-8781465334010784382.html
ここのデータセンタ使ってた他の客も落ちてて、がんばって fsck かなんかしたらしい。
0245名無しさん@お腹いっぱい。2007/07/14(土) 03:40:32
>>239
一部のアホ儲が使っているだけです。流行っていません。
0246名無しさん@お腹いっぱい。2007/07/14(土) 07:51:30
たとえばpdumpfsで一年分バックアップとって
その膨大なファイルの中からファイルを一つ検索すると言うことをやる場合
超高速に検索できるFSってある?
そういうのは今後も別途アプリレベルでインデックス作ってやるしかないのかね。
0247名無しさん@お腹いっぱい。2007/07/14(土) 08:23:03
全文検索にFSは関係ない。
0248名無しさん@お腹いっぱい。2007/07/14(土) 08:28:23
ああでもファイルの更新その他のイベントをuserlandで一括して受け取れるなら
インデクスの更新やウィルス監査に便利かも。ファイルシステムというよりOSの機能だけど。
0249名無しさん@お腹いっぱい。2007/07/14(土) 09:35:18
ほのかな疑問
プール作った後にデバイス名が変わった場合でも追いかけてくれるのかな
もしくは別のデバイスとデバイス名が入れ替わった場合は壊れてると判断されるんだろうか
今度試してみよう
0250名無しさん@お腹いっぱい。2007/07/14(土) 10:02:40
LinuxベースのNAS売ってるメーカはいっぱいあるのに
未だにSolaris+ZFSベースのNASがないのは何故なんだぜ?
0251名無しさん@お腹いっぱい。2007/07/14(土) 10:03:37
>LinuxベースのNAS売ってるメーカはいっぱいあるのに
これってFS何使ってるの?
ext3とかだったら怖くて使えないな。
0252名無しさん@お腹いっぱい。2007/07/14(土) 10:57:13
>>251
当然ext3
0253名無しさん@お腹いっぱい。2007/07/14(土) 11:28:20
XFSもある
0254名無しさん@お腹いっぱい。2007/07/14(土) 15:48:56
かといってWindows Storage Server搭載機は高いんだよなぁ……
0255名無しさん@お腹いっぱい。2007/07/14(土) 16:27:13
>>254
論外。話にならん
0256名無しさん@お腹いっぱい。2007/07/14(土) 16:34:56
x4500 買え。いま買えすぐ買え。じゃなきゃもうここへ来るな。
0257名無しさん@お腹いっぱい。2007/07/14(土) 20:50:01
ext3が怖いとかNTFSが論外とかx4500とか謎すぎ
ファイルサーバー使ったことあるやつの発言とは思えんが
ってか、数十TBぐらいなら別になんでもいいか
0258名無しさん@お腹いっぱい。2007/07/14(土) 22:13:29
お前はUPS無しでext3を使ったことがないからそんなことが言えるのだ。
0259名無しさん@お腹いっぱい。2007/07/14(土) 22:27:29
ファイルシステムはなんでもいいから、UPSくらい買えよ。
0260名無しさん@お腹いっぱい。2007/07/14(土) 23:07:55
ZFS使った事も無いくせに使えないとか。痛すぎる奴多すぎ。
シーケンシャルアクセスやバックアップデバイス用途(D2D)には最適なんだがな。
X4500だと、ソフトウェアRAID6+SATA Diskなのにも関わらずwriteで400MB/sの
性能を叩きだしていた。
インテリジェントな先読みのせいか、findで更新ファイル抽出すんのも異常に
速い。1000万ファイルの差分バックアップもあまり心配いらない感じだ。
# おれはsnapshot+send/recvで差分同期させているが

もちろん、ZFSにも向かない分野はある。OracleでHA構成みたいなやつだ。
VCSがZFSサポートしていないんだよな。SunClusterならZFSを共有Diskに
設定できるんだけどさ。
0261名無しさん@お腹いっぱい。2007/07/15(日) 00:05:07
使えるか使えないかなんてことは、
1000台ぐらいHDD並べて最低一ヶ月は負荷テストやってから言ってくれ。
ファイルシステムの堅牢性以前にX4500なんてハードウェアの信頼性がどうなのよ。
そこで使ってるSATAはSAS並みの保証がある品物なのか?
FCや10Gのネットワーク接続の保証はあるのか?
故障したら原因まで調べてレポート出してくれるのか?
そのあたり専業ディスクアレイ屋並みにやってくれなきゃ、怖くて使えねえ。
0262名無しさん@お腹いっぱい。2007/07/15(日) 00:09:07
買える立場になりそうもないやつに何言われたところでww
0263名無しさん@お腹いっぱい。2007/07/15(日) 00:17:45
X4500個人で買うやついるの? 羨ましい。
0264名無しさん@お腹いっぱい。2007/07/15(日) 00:22:38
私用ならいるわけない.
0265名無しさん@お腹いっぱい。2007/07/15(日) 01:12:36
257はLinuxのfsスレにときどき湧いて出てくる、extをけなされると
技術が云々とわめくわりに、本人まるで技術的知識どころかそれ以前に
知能がまったくないキチガイさんでしょ。放置推奨。
0266名無しさん@お腹いっぱい。2007/07/15(日) 01:19:03
おまえそこでいじめられたからって、ここで自己紹介しなくても。
0267名無しさん@お腹いっぱい。2007/07/15(日) 01:20:52
いるわけないと断言するのは危険
0268名無しさん@お腹いっぱい。2007/07/15(日) 01:48:31
Linux は ext3 どころかそれ以前に問題が山(以下略)
0269名無しさん@お腹いっぱい。2007/07/15(日) 03:32:59
>>265
「いつもの人」が一人いるという妄想乙
by いつもの人
0270名無しさん@お腹いっぱい。2007/07/15(日) 04:47:06
それでも世界のファイルサーバーのFSのシェアでext3が上位に来る現実
0271名無しさん@お腹いっぱい。2007/07/15(日) 05:56:01
うちさえちゃんと動けばいいんで、シェアはどうでも
0272名無しさん@お腹いっぱい。2007/07/15(日) 06:36:49
ちゃんと動くか動かないかなんてことは、
1000台ぐらいHDD並べて最低一ヶ月は負荷テストやってから言ってくれ。
0273名無しさん@お腹いっぱい。2007/07/15(日) 09:44:22
>>272
発狂するのってどんな気分?
0274名無しさん@お腹いっぱい。2007/07/15(日) 10:08:51
こんなので発狂とか言ってる馬鹿がいるがいるのか
0275名無しさん@お腹いっぱい。2007/07/15(日) 10:13:39
ext3はシェアで上位だろうね
NTFSも上位だろうね
それが何か
0276名無しさん@お腹いっぱい。2007/07/15(日) 13:10:16
1000台ではないけど、300台くらいのHDDをいくつかの構成で半年
くらい使っている。
いくつか小さなはあったけどトラブルちゃんと動いている。
これまでLinux+XFS/ReiserFSだったけど今後はZFSにしそう。

0277名無しさん@お腹いっぱい。2007/07/15(日) 13:23:20
送信する前に読み直そうよ
0278名無しさん@お腹いっぱい。2007/07/15(日) 15:13:22
260 >>261
>ファイルシステムの堅牢性以前にX4500なんてハードウェアの信頼性が
X4500をプライマリストレージとして使う事は、メーカだって推奨していない。
それなりの用途に使うって事だ。良くあるのはファイルサーバのレプリ
ケーション先やD2Dのバックアップストレージ。

>FCや10Gのネットワーク接続の保証はあるのか?
X4500になんでFCつなげるの?
それはともかくとして、X4500は単なるPCサーバ(X4100がベース)であり
10Gも普通に使える。InfinibandもLinuxでは使われているね(TSUBAME)

>故障したら原因まで調べてレポート出してくれるのか?
Sunがそれを行わないとでも?

>そのあたり専業ディスクアレイ屋並みにやってくれなきゃ、怖くて使えねえ。
X4500はサーバだからねぇ。でも、ストレージもやっているんで、対応は可能。
ちなみに、専業ディスクアレイ屋って何?
IBM、hp、日立、NEC、富士通、東芝はダメって事かな?
EMC、NetAppくらいしか認めないって意味?
0279名無しさん@お腹いっぱい。2007/07/15(日) 15:23:26
>1000台ぐらいHDD並べて最低一ヶ月は負荷テスト
メーカーでは普通にやっているだろう。OEM/SIerレベルでは、ここまでは
やらんのではないか? 1000台の基準も良く分からん。
通常は、Diskシェルフ1-2本分(Disk 14-28本位)で動作検証・機能検証・
負荷試験だわな。それくらいなら、ZFSに限らず、新製品出るたびに
1ヶ月はやっているぞ。
0280名無しさん@お腹いっぱい。2007/07/15(日) 15:38:52
Googleが採用しないようなFSは糞。これ定説。
0281名無しさん@お腹いっぱい。2007/07/15(日) 17:59:49
>>279
やってるようでやってない。特に非国産メーカー。
しかもSunのIAじゃねえ。
0282名無しさん@お腹いっぱい。2007/07/15(日) 20:25:05
>>281 出荷検査の事言っているの?
開発→リリースまでの間には入念な試験をしているよ?
0283名無しさん@お腹いっぱい。2007/07/17(火) 11:42:58
>>280
まるで Google が採用する FS 全部知ってるようないい草だなwww
バカまるだしw
0284名無しさん@お腹いっぱい。2007/07/17(火) 15:35:14
zpool iostat でどのくらいでます?
0285名無しさん@お腹いっぱい。2007/07/17(火) 22:16:36
ext3の採用が多いって、当たり前じゃん。Linuxの標準ファイルシステムなんだから。
ext3が優れているから使うって言うメーカやユーザなんて皆無に近いだろう。
ちなみに、LinuxのソフトウェアRAID5の書き込み。どの位の性能?
VxVMやSVMなんかは、単体Diskの1/5以下。使い物にならなかった。
ZFSだとRAID6でも、Disk数によっては単体Diskの数倍の性能が出る。
意外と性能劣化少ないんだよな。何が違うんだろう。
0286名無しさん@お腹いっぱい。2007/07/17(火) 23:29:00
いやいや、Linux の FS は性能よりはるか以前の(略)激ダメ(略)
0287名無しさん@お腹いっぱい。2007/07/17(火) 23:41:33
板違いになるけど、LinuxはI/O回りのリファクタリングをするって話は出ているね。
まあ、たとえリファクタリングしたところで、いままでのLinuxのアレっぷりを
見せつけられていると、どうにも信用できないけど。
0288名無しさん@お腹いっぱい。2007/07/18(水) 00:10:35
どうでもいいけど、このスレから出てこないでね。
他のスレや板に迷惑かけるのはやめてくれ。
0289名無しさん@お腹いっぱい。2007/07/18(水) 00:24:55
>>287
オレが知ってる限りで既に 5回は根本的な見直しをかけてる。悪化してるだろ。
そういうのは大勢でやることじゃないんだよ。もう抜け出すことはないだろね。
0290名無しさん@お腹いっぱい。2007/07/18(水) 01:19:00
>>287
5回の変更点を軽くまとめてくれないか?
0291名無しさん@お腹いっぱい。2007/07/18(水) 09:04:01
2.0, 2.2, 2.4, 2.6 と、2.6 の途中。どれも根本的な見直し。
1.0 の時もそう言ってたかも。本質的にはなんも直っとらん。
0292名無しさん@お腹いっぱい。2007/07/18(水) 09:17:34
コンポーネント単位で見直しはしてるんだけど、コンポーネント間のインタフェースが
ごちゃごちゃだったり、そもそもコンポーネント多すぎで見通しは悪いままなんだよね。
0293名無しさん@お腹いっぱい。2007/07/18(水) 10:02:08
>>291
中身のない報告するなって言われなかったか?
0294名無しさん@お腹いっぱい。2007/07/18(水) 10:21:23
リファクタリングでは仕組みは改善しないだろ。改善の準備にはなっても。
0295名無しさん@お腹いっぱい。2007/07/18(水) 10:25:48
290=293=例の人
0296名無しさん@お腹いっぱい。2007/07/18(水) 19:46:43
>>285
linuxのsoftware raid5、 玉10発で read=630,write=460くらい
0297名無しさん@お腹いっぱい。2007/07/18(水) 22:18:19
単位がわからない。
0298名無しさん@お腹いっぱい。2007/07/19(木) 00:05:52
bytes/century
0299名無しさん@お腹いっぱい。2007/07/19(木) 00:37:49
gigabyko/chan
0300名無しさん@お腹いっぱい。2007/07/19(木) 01:16:28
vmware上のsolaris10(x64)でzpool createしたプールをexportしてから
vmwareのfreebsd current(x64)にimportしようとしたんだが
zpool importしても候補にすら出てこない
これはvmwareだからなのかな
それともFreeBSD←→Solarisは元々できない?
試せる実機がないからわからん
0301名無しさん@お腹いっぱい。2007/07/19(木) 19:57:39
今、手元の環境であいているパーティションが無いので試せないんで
誰かやったことある人がいたら教えて欲しいなぁ、と思うこと。

zfs creat e-V ほげほげ で、emulated volumeを使えますが
これって、実際の生のraw(?)デバイスに比べてどれくらいのオーバーヘッドがあるんでしょう?
0302名無しさん@お腹いっぱい。2007/07/21(土) 22:54:39
>>285
おすすめベンチ教えろ。
もちlinuxでも動く香具師な。
0303名無しさん@お腹いっぱい。2007/07/21(土) 22:59:01
>>302
bonnie++, iozone, dd
0304名無しさん@お腹いっぱい。2007/07/22(日) 14:39:40
/bin/time dd if=/dev/zero of=/zone/hoge bs=1024 count=1000

で適当にサイズでかくしてやってくれw
0305名無しさん@お腹いっぱい。2007/07/23(月) 02:15:14
>>304
bs=1だと劇遅だった
0306名無しさん@お腹いっぱい。2007/07/23(月) 18:22:40
そらそうよ
0307名無しさん@お腹いっぱい。2007/07/25(水) 08:25:06
>>306
UFSと比較して数倍遅い
なんで?
0308名無しさん@お腹いっぱい。2007/07/25(水) 10:44:27
ブロックサイズが小さいと ZFSで得られる利点よりも
オーバーヘッドのほうが多いのかもね!
0309名無しさん@お腹いっぱい。2007/07/26(木) 15:04:10
bs=1が速くて困ることはないが、現実にはそんなシチュエーションはないんだから
遅くても何のデメリットもないだろう、常識的に考えて。
0310名無しさん@お腹いっぱい。2007/07/27(金) 21:33:09
スチュワーデスに欲情したのか。
0311名無しさん@お腹いっぱい。2007/08/13(月) 02:37:59
ZILを別デバイス持つのを試してみたけど、あんまり効果が出ない。
どういう状況で差が出るんだろう。
0312名無しさん@お腹いっぱい。2007/08/26(日) 01:12:39
FreeBSDにポーティングされたzfsって安定してんのかしら。

明日新しいマシンがくるんですけど新しいマシンでzfs使いたいんす。
が、今までLinuxしか使ったことが無いためにSolarisは不安で
FreeBSDならまだ敷居は低いかな、とヘタレな考えにとらわれてます。
実際にFreeBSDで使われてる方、使用感などいかがでしょうか。
LinuxのFUSE実装はまだ個人ユースでも実用的ではなさそうですし。。
0313名無しさん@お腹いっぱい。2007/08/26(日) 01:28:42
「不安」の内容にもよるが、Solaris にすべきだろうな、たぶん。
03143122007/08/26(日) 01:50:39
>>313
ありがとうございます。
ファイルサーバを立ち上げるのですが、クライアントにMacがいるので
AFPで提供したいと思ってます。ファイル名に日本語が入るので
システム側のデフォルトの文字コ−ドとWindowsクライアントから見た場合の
文字コードの整合性をうまく保てるか、とか
メールサーバも移行するので今溜まってるスプールがうまく移行できるか、とかです。

やってみたら意外とすんなりうまくいったりするんですかね。。。
ついでに仮想化もやりたいです。

今ちょっと調べてたら Nexenta がかなりいい感じで心揺れてます。
zfsでインストール/ブートもできるようですし。
0315名無しさん@お腹いっぱい。2007/08/26(日) 02:23:32
そんなにいっぺんに変えるの? 他人に使わせる環境を?
03163122007/08/26(日) 02:35:50
>>315
いえ、ほとんど自分でメールのみ数人で使ってるという
影響範囲のちっさいサーバです。
HDDがこの夏の暑さが原因かエラーを吐き出したので
この際マシンごと買い替えて、ついでに前から気になってたzfsを試したい、
という流れです。
0317名無しさん@お腹いっぱい。2007/08/26(日) 22:35:27
>>312(>>314, >>316)
そんだけ大規模に変えるなら
Linux→FreeBSD も Linux→Solaris も移行の手間はたいして変わらんと思う。

で、zfsが主目的ならSolarisにした方がいいだろな。

なんにしろ今のマシンを延命させてからの方が。

#Solarisでのzfsについては、「zfsにしたから〜」的なトラブルがないので
#つまらないと思います(苦笑
#ブートデバイスまでzfsにしたことはないので、その辺はわかりませんが。
03183122007/08/28(火) 00:37:25
>>317
返事が遅くなりました。すみません。

アドバイス含めいろいろ考えてSolarisに挑戦してみることにしました。
afpを提供するnetatalkも動きそうですし、文字コードの変換問題も
Linuxでの経験を生かしつつ試行錯誤してみようと思います。
http://www003.upp.so-net.ne.jp/hat/netatalk/solaris10.html

LinusはSunに対してzfsのGPL化をツンデレ風味の素直じゃない熱烈なラブコールを送っていますが
もし実現することになったらLinuxユーザはこぞって移行するんでしょうね。
自分は早漏なんで待てませんでしたがw

じゃあ新しいマシンも届いたんで早速試してみたいと思います。
0319名無しさん@お腹いっぱい。2007/08/28(火) 01:39:24
俺のマシンスペックじゃSolarisは無理だろうな
0320名無しさん@お腹いっぱい。2007/08/28(火) 09:35:18
>>319
kwsk
0321名無しさん@お腹いっぱい。2007/08/29(水) 21:25:19
>>318
いや、むしろSolarisに使いやすいパッケージ管理システムが載るのを待っている。
0322名無しさん@お腹いっぱい。2007/08/29(水) 22:36:05
>>321
結局、Solarisを捨てたくなる最大の理由ってそれなんだよなぁ。
03233212007/08/29(水) 23:55:48
なので
ttp://japan.internet.com/busnews/20070713/11.html
これに期待している。
0324名無しさん@お腹いっぱい。2007/08/30(木) 00:48:12
パッケージ管理システムとパッケージ配布システムを混同しているように思える…
rpmやdebとかが前者、up2dateやaptが後者。
で、配布システムはともかく、管理システムはそんなに使いにくいか?
0325名無しさん@お腹いっぱい。2007/08/30(木) 01:24:23
スレ違いになるけど

>>324
ユーザーインターフェースがなぁ。
0326名無しさん@お腹いっぱい。2007/08/30(木) 12:35:40
rpm/deb=pkg
aptないしyum=smpatch
synapticなど=アップデートマネージャ

アップデートがjarなんで時間がかかることがあるのが難点かなw
それにrpmはsolaris10で使えたはず(メインには出来ないけど)
0327名無しさん@お腹いっぱい。2007/08/31(金) 00:50:36
>>325
dpkgやdselectしかなかった時代でさえDebianのパッケージングシステムは高く評価されていたわけで、
UIの使いやすさはまた別の尺度じゃないかなあ。
0328名無しさん@お腹いっぱい。2007/08/31(金) 00:55:12
>>311
ZIL自体、O_DSYNCでopenしたりしないと書かれないし、
DBとかで使ったりしない限りほとんど効果は無いと思う。

あと、Bug Database見ると、Make ZIL use NVRAM when available.ってのがあるから、
たとえば、i-ramみたいなのを使うとか。
■ このスレッドは過去ログ倉庫に格納されています