[次世代] ZFS Part2 [ファイルシステム]
■ このスレッドは過去ログ倉庫に格納されています
0001名無しさん@お腹いっぱい。
2007/06/13(水) 15:28:31スナップショット、ストレージプールなどの豊富な機能を備え、
次世代のファイルシステムとして期待されるZFSについて語るスレです。
○前スレ
[次世代] ZFS [ファイルシステム]
http://pc11.2ch.net/test/read.cgi/unix/1146631270/
○関連スレ
/**ファイルシステム総合スレ その7**/
http://pc11.2ch.net/test/read.cgi/linux/1173530292/
○関連リンク
Solaris ZFS
ttp://www.sun.com/software/solaris/zfs.jsp
OpenSolaris
ttp://www.opensolaris.org/os/
ソース
ttp://opensolaris.org/os/community/zfs/source/
0548名無しさん@お腹いっぱい。
2008/01/21(月) 02:30:080549名無しさん@お腹いっぱい。
2008/01/21(月) 07:57:17乙でした。
職業ライターさんかな?
だとしたら、スレ違いだけどVT -d、IOV特集とかお願い。
0550名無しさん@お腹いっぱい。
2008/02/03(日) 14:00:286本同時接続自体が無謀な気もするんだが・・・
0551名無しさん@お腹いっぱい。
2008/02/05(火) 21:03:20ハブをバスパワーにしなければ無問題ではないかと
0552名無しさん@お腹いっぱい。
2008/02/05(火) 21:13:340553名無しさん@お腹いっぱい。
2008/02/06(水) 09:52:49他人に頼るな。自分でなんとかしてみろ
0554名無しさん@お腹いっぱい。
2008/02/06(水) 10:00:37まあ、6月ぐらいになったら暇になるから勉強のつもりで挑戦してみるか
0555名無しさん@お腹いっぱい。
2008/02/06(水) 10:50:44ZFS オンリーな環境で MS-Windows がまともに動いたらちょっと爽快かもな。
0556名無しさん@お腹いっぱい。
2008/02/06(水) 12:58:56いや機能だけでいうなら全然足りない。
0557名無しさん@お腹いっぱい。
2008/02/06(水) 13:34:230558名無しさん@お腹いっぱい。
2008/02/06(水) 19:26:050559名無しさん@お腹いっぱい。
2008/02/06(水) 20:21:520560名無しさん@お腹いっぱい。
2008/02/06(水) 21:09:430561名無しさん@お腹いっぱい。
2008/02/06(水) 21:12:54re-parse file は symbolic link、sparse file は hole。
multiple stream は extended attributes (fsattr)だろうな。
以上なら UFS にもあるぞ。
extended attributes は Solaris 9 以降だったと思うが。
暗号化が実装途上だというのはすでに言及されてるからいいとして、
トランザクションとか他の事項については中身を知らんから何とも。
556や558は知ってるならちゃんと説明してくれ。
0562名無しさん@お腹いっぱい。
2008/02/06(水) 21:46:10問題ないんでないの?
NTFSと同等の機能が必要かどうかは、OS上で何を動作させるか次第だと思うんだけど。
0563名無しさん@お腹いっぱい。
2008/02/06(水) 21:48:43その機構を利用してジャンクションやシンボリックを実現しているだけで、
本質はもっと汎用的な動的再解析のための枠組み。
Windowsでは階層化ストレージのために使っていたりするが、
独自の再解析のアルゴリズムを追加してリパースさせることもできる。はず。
寡聞にして聞いたことがないが。
0564名無しさん@お腹いっぱい。
2008/02/06(水) 22:02:30ZFS に sparse file(hole) ってあったっけ?
あと junction 相当の directory hardlink とかどうだっけ。
まあ機能制限ありなら FAT 上でだって XP は動くわけで、
そういうのでいいなら ZFS 上で Win 動かすのに問題はないんじゃない?
あと Win Server の Volume Shadow Copy って、これ snapshot 相当なの?
誰か使ったことある?
0565名無しさん@お腹いっぱい。
2008/02/06(水) 22:04:16無いというだけで十分ではないか。
0566名無しさん@お腹いっぱい。
2008/02/06(水) 22:06:060567名無しさん@お腹いっぱい。
2008/02/07(木) 03:21:190568名無しさん@お腹いっぱい。
2008/02/07(木) 10:20:14ACL カバーしてりゃ問題なかろ。
0569名無しさん@お腹いっぱい。
2008/02/07(木) 22:22:54[質問] スライドでは、NTOSKRNL はデバイスドライバコードを一切含んでいないということだったが、では ntfs.sys や scsi.sys、disk.sys などのハードディスクを読み書きするデバイスドライバはどうやって読み込まれるのか?
NTOSKRNL を呼び出す PreLoader (恐らくブートセクタプログラムおよび ntldr のこと) に NTFS などのファイルシステムドライバが特別なコードとして組み込まれている。
[質問] では、サードパーティの開発者が例えば新しいファイルシステムを開発してそれ用のデバイスドライバを書いたとしても、そのファイルシステムのドライブ上に NT カーネルを置いてブートすることは不可能ということか?
現在のところ不可能である。
0570名無しさん@お腹いっぱい。
2008/02/07(木) 22:24:560571名無しさん@お腹いっぱい。
2008/02/09(土) 10:24:38コマンド叩いて、すぐに完成。
Disk 46本全て使ったので、完了するまでに待たされるかと思ったよ。
やっぱり、いいな。ZFS。
でも、細かな所で機能やユーティリティが不足しているので、以下の機能を
早く正式に取り込んで欲しいな。
・send -r ZFSプールの中の全ファイルシステムを再帰的にsend
・snapshot/send/recvのスケジューリング機能
・scrubをバックグラウンドで定期的には知らせる機能
X4500はバックアップ用ストレージとして使っている。
1000T 1本にNFS writeして、50MB/sec位。
ストレージの性能はもうちょっと上なので、10Gの時の書き込み性能を
試してみたいな。だれか10GでNFSシーケンシャルwrite性能計った事無い?
0572名無しさん@お腹いっぱい。
2008/02/09(土) 17:17:30バックアップが格段に楽になる。
経路の暗号化付きで。
0573名無しさん@お腹いっぱい。
2008/02/10(日) 13:10:05周辺のかゆい所に手を入れて、早いところSVM/UFSやVxVM/VxFS捨てて欲しいわ。
夏あたりに出てくるというSolaris10+ZFSベースのNASにも期待。
ZFSはNetApp ONTAPの機能の大半をカバーしているからな。NetApp買わなくても
良くなるかもしれない。
0574名無しさん@お腹いっぱい。
2008/02/10(日) 14:39:54zpool の RAID はどういう風に組みました?
6 本の RAID-Z を複数かな
0575名無しさん@お腹いっぱい。
2008/02/10(日) 14:57:390576名無しさん@お腹いっぱい。
2008/02/11(月) 11:06:23最近のSunサーバは、ハードウェアRAID搭載なので、SVMにお世話になる頻度は
減ったが。X4500みたいな未搭載機もあるしな。
あと、/ からZFSになっていると管理上楽
0577名無しさん@お腹いっぱい。
2008/02/11(月) 13:15:050578名無しさん@お腹いっぱい。
2008/02/11(月) 18:25:35OpenBootの変更が必要ない方法で進められてると思ったが。
0579名無しさん@お腹いっぱい。
2008/02/11(月) 19:19:510580名無しさん@お腹いっぱい。
2008/02/11(月) 19:47:38Case Materials for PSARC 2006/525 new-boot sparc
ttp://www.opensolaris.org/os/community/arc/caselog/2006/525/final-materials/spec/
x86同様、多段階ブートになる。
早くにOBPから切り離されるため、場合によってはブートが速くなるらしい。
そもそもNVRAMに大きなコードが入るとは思えないわけだが。
0581名無しさん@お腹いっぱい。
2008/02/11(月) 21:56:030582名無しさん@お腹いっぱい。
2008/02/11(月) 22:13:52既に Project Indianaの成果物は
http://www.opensolaris.org/jive/thread.jspa?messageID=169793&tstart=0#169793
ZFSオンリーの構成でインストールされますよ。
0583名無しさん@お腹いっぱい。
2008/02/11(月) 22:15:230584名無しさん@お腹いっぱい。
2008/02/12(火) 01:17:460585名無しさん@お腹いっぱい。
2008/02/12(火) 13:51:260586名無しさん@お腹いっぱい。
2008/02/12(火) 20:04:54ZFSサポートしているHAはSunClusterのみだからなぁ。
FirstWatchからずっとVERITASを支持してきた俺だが、
SunClusterを検討する時期に来ているんだろうか。
0587名無しさん@お腹いっぱい。
2008/02/12(火) 20:53:330588名無しさん@お腹いっぱい。
2008/02/16(土) 17:57:28階層的に作成したファイルシステムを一撃でバックアップ取れて、復元も可能。
http://docs.sun.com/app/docs/doc/817-2271/gfwqb?a=view
# zfs snapshot -r users@today
# zfs list
NAME USED AVAIL REFER MOUNTPOINT
users 187K 33.2G 22K /users
users@today 0 - 22K -
users/user1 18K 33.2G 18K /users/user1
users/user1@today 0 - 18K -
users/user2 18K 33.2G 18K /users/user2
users/user2@today 0 - 18K -
users/user3 18K 33.2G 18K /users/user3
users/user3@today 0 - 18K -
# zfs send -R users@today > /snaps/users-R
# zfs destroy -r users
# zfs receive -F -d users < /snaps/users-R
# zfs list
NAME USED AVAIL REFER MOUNTPOINT
users 196K 33.2G 22K /users
users@today 0 - 22K -
users/user1 18K 33.2G 18K /users/user1
users/user1@today 0 - 18K -
users/user2 18K 33.2G 18K /users/user2
users/user2@today 0 - 18K -
users/user3 18K 33.2G 18K /users/user3
users/user3@today 0 - 18K -
0589名無しさん@お腹いっぱい。
2008/02/16(土) 17:58:20すごく楽になったぜ。
0590名無しさん@お腹いっぱい。
2008/02/16(土) 18:04:42# zpool create pool mirror c0t2d0 c0t4d0 cache c0t0d0
# zpool status pool
pool: pool
state: ONLINE
scrub: none requested
config:
NAME STATE READ WRITE CKSUM
pool ONLINE 0 0 0
mirror ONLINE 0 0 0
c0t2d0 ONLINE 0 0 0
c0t4d0 ONLINE 0 0 0
cache
c0t0d0 ONLINE 0 0 0
errors: No known data errors
0591名無しさん@お腹いっぱい。
2008/02/21(木) 00:10:38RAID 6+2+0相当で、そこまで出来るなら鯖管に真面目に検討させたいなぁ。
0592名無しさん@お腹いっぱい。
2008/02/21(木) 23:00:54ってどう言う意味?
あと、RAID6+2+0ってどんなメリットが? しかもRAID2 ??
と言うか、そんなの構成可能なHW RAIDやSW RAIDがあるわけ?
0593名無しさん@お腹いっぱい。
2008/02/23(土) 11:40:15ナ ナンダッテー!!
Ω ΩΩ
っていうw
0594名無しさん@お腹いっぱい。
2008/02/23(土) 13:18:260595名無しさん@お腹いっぱい。
2008/02/23(土) 13:59:04Infrant の ReadyNAS みたいなイメージなのかな?
0596名無しさん@お腹いっぱい。
2008/02/23(土) 20:34:15お薦めできない。RAID-Z 4+1分の容量を追加とか。そんな感じでやるべき。
0597名無しさん@お腹いっぱい。
2008/03/27(木) 09:27:16組み合わせで導入してみたけど、いまいち使い物にならない。
http://wiki.freebsd.org/ZFSTuningGuide にあるとおり、
vm.kmem_size="512M"
vm.kmem_size_max="512M"
としたけど、クライアントのVista SP1マシンから数GBのデータをコピー
しようとしたらkmem_map too smallで落ちる。設定を640MBまで増やして
みてもダメ。どこまで増やせば安定するのかな。
というかそもそもメインメモリ1GBじゃファイルサーバにZFS使うのには
ぜんぜん足りないのか。
0598名無しさん@お腹いっぱい。
2008/03/27(木) 09:51:12sysctl -a | grep vfs.zfs.prefetch_disable
デフォルト値0を1に変えてみたらどうだろう。
他にも設定できる箇所は沢山あるけど、個人的には簡単に動く印象は無いな。
0599名無しさん@お腹いっぱい。
2008/03/27(木) 11:25:05amd64でメモリ4GB オーバー当り前,とかが実質の前提なのかな?
0600598
2008/03/27(木) 11:52:53zfsをマウントしてFreeBSD使うだけなら、そう苦労は無いね。
他と絡めてなにかすると、簡単にボロが出る。といった方が正しかった。
細かい仕様まで追ってないので外してるかも知れないけど、
>>597のケースは、zfsがキャッシュ(即ちメモリ)を開放するタイミングの問題だと思う。
zfsに食わせるメモリを超えるサイズのファイル(zfsのパリティ込み)を他のシステム(ここではsamba)から渡すと、
最大でファイルサイズの倍以上メモリが必要だと思う。
0601名無しさん@お腹いっぱい。
2008/03/27(木) 12:31:52安心して使えるメモリ量がわからないことには、ファイルサーバには使えないな。
本家であるSolarisのZFSも同じ挙動するのかなぁ。
0602名無しさん@お腹いっぱい。
2008/03/27(木) 13:22:26http://unix.derkeiler.com/Mailing-Lists/FreeBSD/current/2007-08/msg00601.html
自分の経験では、ZFSなSamba公開dirにWinXPからちょっと多目のファイル(1000個とか)
の入ったフォルダをコピーすると、コピー先でファイルの数がおかしくなったり
そのフォルダが1回で消せなくなったりした。
FreeBSDに加え、Solaris、LinuxのZFS-FUSE、3つともメモリ256MB割り当てのVMwareで試したが
Solaris、LinuxのZFS-FUSEは問題起きなかった。
0603名無しさん@お腹いっぱい。
2008/03/27(木) 13:28:29i386の項目も見るんだ
options KVA_PAGES=512 としてから再コンパイルが必要。
vm.kmem_size は 1 GB にしないとダメとあるね。
0604597
2008/03/27(木) 13:52:14カーネルの再構築は後で試してみます。
でもメインメモリ1GBしかないのにvm.kmem_sizeを1GBも取っちゃっても
大丈夫でしょうか。。。
でもそもそも598=600氏の指摘されている問題が本当だとすれば、CDの
isoイメージ1枚分の転送すら1GBじゃ足らないということになりますね。
たとえ8GB積んだとしてもDVDイメージが転送できない、と。
0605名無しさん@お腹いっぱい。
2008/03/27(木) 14:10:15>でもメインメモリ1GBしかないのにvm.kmem_sizeを1GBも取っちゃっても
>大丈夫でしょうか。。。
もちろん大丈夫じゃないので、とりあえずメインメモリを増設しては。
4GBでも今二束三文でしょ。
>>600の話は初耳だけれど、とりあえずAMD64メモリ4GBで、
Samba経由での3GBのファイルのやり取りはできたよ。
0606名無しさん@お腹いっぱい。
2008/03/27(木) 14:53:464.7GB のエロデータわんさかってのをゲシゲシしようとすると
どうなっちゃうの?
死ぬほど遅いとか? エラー? ぱにっく?
0607名無しさん@お腹いっぱい。
2008/03/27(木) 15:11:030608名無しさん@お腹いっぱい。
2008/03/27(木) 18:22:530609名無しさん@お腹いっぱい。
2008/03/27(木) 18:26:050610名無しさん@お腹いっぱい。
2008/03/29(土) 13:54:59kmem_sizeを8Gとか1Gより大きくする方法をおしえてくれ
0611名無しさん@お腹いっぱい。
2008/03/29(土) 16:26:200612名無しさん@お腹いっぱい。
2008/03/30(日) 02:04:53でも、今回は特別におしえてあげてもよくってよ
ほんと、たったまたま気分がいいだけなんだから
いつもなら、こんな質問にわたしがこたえるわけないでしょ!
0613名無しさん@お腹いっぱい。
2008/03/30(日) 16:26:530614名無しさん@お腹いっぱい。
2008/03/31(月) 23:08:440615名無しさん@お腹いっぱい。
2008/03/31(月) 23:16:36kmem_size がでかくなると何か幸せなんですか?
kernel + user page table サイズが載ればええもんとちゃいますか?
0616名無しさん@お腹いっぱい。
2008/04/06(日) 10:20:440617名無しさん@お腹いっぱい。
2008/04/06(日) 11:02:08それが安定しているOSを選ぶなんて、
そんな時代が来るとは思わなかった。
0618名無しさん@お腹いっぱい。
2008/04/06(日) 11:27:17と思ったらここはZFSスレなのを忘れていた\(^o^)/
0619名無しさん@お腹いっぱい。
2008/04/06(日) 13:04:22いや、それほど珍しくないとおもうよ
0620名無しさん@お腹いっぱい。
2008/04/06(日) 13:07:550621名無しさん@お腹いっぱい。
2008/04/06(日) 16:21:52特定のOSが好きだから、そのOS上で要件を満足すべく頑張るのもいいことだけど。
0622名無しさん@お腹いっぱい。
2008/04/06(日) 16:23:010623名無しさん@お腹いっぱい。
2008/04/06(日) 16:34:220624名無しさん@お腹いっぱい。
2008/04/07(月) 13:22:580625名無しさん@お腹いっぱい。
2008/04/07(月) 22:42:39kmem_sizeでデータキャッシュの量が決まっているような感触
たとえば2GBのファイルを2度readすると2度ともディスクアクセスに行く
ffsならそんなことはなくてtopでみているとinactiveが増えfreeが減る
0626名無しさん@お腹いっぱい。
2008/04/08(火) 00:25:24ページサイズ以上はどうせちゃんとページアラインされるんだろうけど、
mallocで得た領域をバッファに使ってるって……考えにくいけど……
0627名無しさん@お腹いっぱい。
2008/04/08(火) 00:37:18過去レス読め。
0628名無しさん@お腹いっぱい。
2008/04/08(火) 02:07:07Mem: 611M Active, 154M Inact, 3293M Wired, 73M Cache, 214M Buf, 6788M Free
>>626
ARCというシーケンシャルアクセスにつよいキャッシュアルゴリズムをつかっているらしいので
ページの再利用を自分で管理したいってことじゃないかと想像
Solarisではどうなっているかしらん
>>627
?
0629名無しさん@お腹いっぱい。
2008/04/08(火) 17:34:020630名無しさん@お腹いっぱい。
2008/04/08(火) 17:55:04既存のファイルシステムとリンクと振り分けアプリでしょ
0631名無しさん@お腹いっぱい。
2008/04/08(火) 22:43:530632名無しさん@お腹いっぱい。
2008/04/09(水) 11:08:00それ系の速度最優先のFSって何があるんだろ。
FAT32は単純な分軽そうではあるが。
0633名無しさん@お腹いっぱい。
2008/04/09(水) 11:20:330634名無しさん@お腹いっぱい。
2008/04/09(水) 13:01:03内部にファイルシステムは持ってないでしょ。
DroboShareはLinuxなんじゃないかな。
0635名無しさん@お腹いっぱい。
2008/04/09(水) 14:28:27そんなことして、mmap()とかどうしてるんだろ?とか思ってソース見てみた。
同じファイルにmmap()してる奴がいる場合とそうでない場合で、ちゃんと場合わけして
read/writeの処理してるっぽいwww
で、現状ではたしかにデータの領域はmalloc(9)で確保してるように見える。
vmstat -mだとsolarisの欄で見えることになるのかな。
バッファ以外にいろいろまざってそうだけど。
0636名無しさん@お腹いっぱい。
2008/04/10(木) 11:37:42コアマイクロのNetFiler ZFS
http://www.cmsinc.co.jp/news/2008/netfiler_zfs.html
0637名無しさん@お腹いっぱい。
2008/04/10(木) 13:52:030638名無しさん@お腹いっぱい。
2008/04/11(金) 01:55:590639名無しさん@お腹いっぱい。
2008/04/11(金) 03:20:31FAT16にデータをためるのが好きそうだな
0640名無しさん@お腹いっぱい。
2008/04/11(金) 08:04:50あーでもメモリの要求が厳しそうだな
0641名無しさん@お腹いっぱい。
2008/04/11(金) 08:41:57FreeBSD のこと?
0642名無しさん@お腹いっぱい。
2008/04/11(金) 08:42:36枯れてないと思わないと精神が不安定になるんですか?ww
0643名無しさん@お腹いっぱい。
2008/04/11(金) 08:54:07やっぱSolarisがいいかな。FreeBSDは過去に使ったことがあって親しんでるからいいかなと思ったけど。
0644名無しさん@お腹いっぱい。
2008/04/11(金) 09:58:58ぜひFreeBSD+ZFSで人柱になってくれ。
それでダメならSolarisにすればいい。
0645名無しさん@お腹いっぱい。
2008/04/11(金) 10:05:48つhttp://www.olix0r.net/bitbucket/index.cgi/netbsd/zfs
0646名無しさん@お腹いっぱい。
2008/04/11(金) 12:09:25これ SoC のやつ? 影くらいはあったか。
0647名無しさん@お腹いっぱい。
2008/04/11(金) 12:39:41■ このスレッドは過去ログ倉庫に格納されています