[次世代] ZFS Part2 [ファイルシステム]
■ このスレッドは過去ログ倉庫に格納されています
0001名無しさん@お腹いっぱい。
2007/06/13(水) 15:28:31スナップショット、ストレージプールなどの豊富な機能を備え、
次世代のファイルシステムとして期待されるZFSについて語るスレです。
○前スレ
[次世代] ZFS [ファイルシステム]
http://pc11.2ch.net/test/read.cgi/unix/1146631270/
○関連スレ
/**ファイルシステム総合スレ その7**/
http://pc11.2ch.net/test/read.cgi/linux/1173530292/
○関連リンク
Solaris ZFS
ttp://www.sun.com/software/solaris/zfs.jsp
OpenSolaris
ttp://www.opensolaris.org/os/
ソース
ttp://opensolaris.org/os/community/zfs/source/
0121名無しさん@お腹いっぱい。
2007/07/02(月) 20:47:53ありがとうございまず
0122名無しさん@お腹いっぱい。
2007/07/02(月) 21:13:580123名無しさん@お腹いっぱい。
2007/07/02(月) 21:23:300124名無しさん@お腹いっぱい。
2007/07/02(月) 21:40:200125名無しさん@お腹いっぱい。
2007/07/02(月) 22:40:210126名無しさん@お腹いっぱい。
2007/07/02(月) 23:38:35ネット分散を言ってる連中は、100TB〜10PBとかの話では。
数TBぐらいでは分散する意味ないかと。あと、クライアントが千〜万台とか。
やったことがないから分からないが、そこまでNFSはスケールする??
0127名無しさん@お腹いっぱい。
2007/07/02(月) 23:49:550128名無しさん@お腹いっぱい。
2007/07/02(月) 23:50:290129名無しさん@お腹いっぱい。
2007/07/03(火) 00:46:40もうちょいマシなネタ/話題はないのか。
0130名無しさん@お腹いっぱい。
2007/07/03(火) 02:03:110131名無しさん@お腹いっぱい。
2007/07/03(火) 02:39:03ほとんど食いつかないね。
まー、ファイルシステム総合スレ とかでクラスタファイルシステムの話題を振っても
反応するのは2〜3人だけだから、やはり無理があるか…。
そもそもGFSとかを使ってみたことある人間が
日本にいったい何人いるのかって感じだしね。
0132名無しさん@お腹いっぱい。
2007/07/03(火) 04:05:09OCFSやCXFS、それこそGFSあたりは普通にベンダー案件で見かけるような。
でも最近はIsilon OneFS強いな。実際良いと思うけどさ。アプライアンスのハードウェア自体は普通のPCサーバだし。
lustreとかGlusterFSとかは構築してみたこと一度も無いね。たしかに。
0133名無しさん@お腹いっぱい。
2007/07/03(火) 04:50:48数年間前にGFSを導入してから、しばらく調べてなかったけど、
だいぶクラスタファイルシステムが増えたね。
昔は日本語の情報すらほとんど無かったのに。
それでもまだ完璧と言えるほどのFSは出来てないみたいだね。
このサイトとかまとまってて分かりやすい。
http://d.hatena.ne.jp/viver/20070624/p1
しかし普通の人だと以下の区別をつけるのも大変そう。
・ネットワーク共有ファイルシステム
あるサーバのディレクトリを、他のホストからマウントして読み書き。
NFSなど。
・ネットワーク分散並列型ファイルシステム(グリッドファイルシステム)
ネットワーク上のノードがデータを少しずつ持ち合い、
全体で一つのボリュームを構成。
Gfarm、Lustre、pvfs2など。
・ネットワークミラーリングファイルシステム?
一つのボリュームの全データを複数のサーバが同時に持つ。
DRBDなど。
・クラスタファイルシステム
ブロックデバイスを複数のサーバで同時にマウントして読み書き。
GFS、OCFSなど。
それぞれのFSでbonnie++のベンチ比較とかやってみたら面白そう。
0134名無しさん@お腹いっぱい。
2007/07/03(火) 06:23:570135名無しさん@お腹いっぱい。
2007/07/03(火) 06:27:07Google File System はグリッドファイルシステムかな。
0136名無しさん@お腹いっぱい。
2007/07/03(火) 06:37:330137名無しさん@お腹いっぱい。
2007/07/03(火) 06:50:35まさか富士通が出してたとは…。
PRIMECLUSTER GFSでググっても20件ヒット…。
0138名無しさん@お腹いっぱい。
2007/07/03(火) 07:18:250139名無しさん@お腹いっぱい。
2007/07/03(火) 07:35:180140名無しさん@お腹いっぱい。
2007/07/03(火) 08:05:47VxVM、VxFS、SVM、UFSを置き換えるもので、なおかつ使い勝手が良く、
ソフトウェアRAIDなのに相当速いんで、いいな!って言っているだけ。
0141名無しさん@お腹いっぱい。
2007/07/03(火) 09:44:09副題は「--ボクほど経験をつんだやつはいません--」とでもして。ゴミどもが。
0142名無しさん@お腹いっぱい。
2007/07/03(火) 10:35:58自己紹介
http://life8.2ch.net/intro/
0143名無しさん@お腹いっぱい。
2007/07/03(火) 12:31:170144名無しさん@お腹いっぱい。
2007/07/03(火) 12:35:100145名無しさん@お腹いっぱい。
2007/07/03(火) 12:59:42なに興奮してるのかシランが、話の流れ読めてる?
>>95が振った将来のZFSのネットワーク対応のネタに食いついてるんだが。
今の発展途上のZFSマンセーしたいだけならMacスレでやれば?
0146名無しさん@お腹いっぱい。
2007/07/03(火) 13:13:48ネットワーク分散を謳っていて、Kernelで標準サポートされている可能性があって、
かつ多数の実績があるのはAFSぐらいしか知らない。
LusterやGFSは実運用に使っている組織がほとんどないはず。
サーバーが〜百台、クライアントが〜万台の大学や研究所によっては、
AFS領域をWorld Readableで公開しているところもあって、
アカウントがない部外者もmountして様子見できたりするね。
0147名無しさん@お腹いっぱい。
2007/07/03(火) 13:29:510148名無しさん@お腹いっぱい。
2007/07/03(火) 14:01:09Luster なら TSUBAME じゃないの?
0149名無しさん@お腹いっぱい。
2007/07/03(火) 14:08:420150名無しさん@お腹いっぱい。
2007/07/03(火) 15:29:58東工大のLustreは実運用っつうより人柱運用ぎみって聞いたけど。
大学じゃなくて企業の業務だったら速攻捨て捨てとも。
0151名無しさん@お腹いっぱい。
2007/07/03(火) 16:09:00大学が完成品買って安心みたいに保守的になってどうすんだか。
むしろ、大学は自分たちで足りないものを作るべき。
東工大生は、これを見たらZFSを分散システム用に拡張してくれ。
0152名無しさん@お腹いっぱい。
2007/07/03(火) 16:14:34研究室の備品(おもちゃ)とは違うぞ。
0153名無しさん@お腹いっぱい。
2007/07/03(火) 16:21:42LinuxとBSDユーザではあるけど、Solarisは勉強中。
>>146
AFSってそんなに実績があったのか。
ただググると切断時動作とかが問題になって業務で使うのは難しそうね。
0154名無しさん@お腹いっぱい。
2007/07/03(火) 16:22:4395の記事だとZFSをネイティブクラスタファイルシステムに
するって書いてあるけど、果たしてどういう仕組みになるのか…。
ローカルデバイスが含まれるストレージプールの中に
SAN上の共有してるデバイスを追加って形はなさそう。
ローカルデバイスを含むストレージプールを、
ネットワークを介して複数のサーバで共有って形?
ただこれだとAFSとかの考え方に近くて、
ネイティブクラスタファイルシステムとは表現しないかも。
SAN上の共有してるデバイスだけで構成されたストレージプールを、
複数のサーバで共有って形になるのか?
この場合、ストレージプールの構成情報をマスタサーバで管理して、
さらにファイルロック情報もマスターサーバで管理?
ひょっとしたら、Sunの技術力があれば、マスタサーバ不要で、
構成情報やファイルロック情報もネットワークプロトコルに巧く載せて、
それぞれがローカルでキャッシュということも可能かもしれない。
そうすれば、マスタサーバがボトルネックにならずに、
今までのクラスタファイルシステムより大きくパフォーマンスが伸びるかもしれない。
逆にZFSの中に構成情報やファイルロック情報を埋め込むというのも考えてみたけど、
ファイルロック情報をいちいちストレージから読み込んでたら、
そこにアクセスが集中して、パフォーマンスが落ちるから無理そう。
0155名無しさん@お腹いっぱい。
2007/07/03(火) 23:26:29そこで開発されたのがAFSの流れを汲んだCodaですよ。
でもCodaって使ってるとこあるのか?
>>154
まあ単なるNFSv4の拡張程度のものじゃ、Isilonでいいやってことになりかねず。
クライアント側でもネットワークファイルシステムの処理にCPU 1コア使うぐらいの
割りきりができるようになれば、妄想も膨らむんだが。
0156名無しさん@お腹いっぱい。
2007/07/04(水) 11:30:00なんでファイルシステムをネットワーク分散したがるんだぜ?
0157名無しさん@お腹いっぱい。
2007/07/04(水) 15:35:55ファイルシステムがボトルネックだから
データセンターが1カ所じゃないから
0158名無しさん@お腹いっぱい。
2007/07/04(水) 22:49:05更に、SAM-FSの機能を持てば無敵。
それよか、Sun純正のNASをSolarisベースにしてZFS積んでくれるだけでいい。
0159名無しさん@お腹いっぱい。
2007/07/04(水) 22:55:24その次あたりにQFSと統合。
QFSも新Versionでは、サポートできる最大ノード数が3桁になるそうで
0160名無しさん@お腹いっぱい。
2007/07/06(金) 21:52:55データセンターの中でも、
NFSだとNFSサーバに負荷が集中するから、
負荷を分散させるためにSANやグリッドファイルシステムを使う
ってことかと。
>>158
SunならQFSと統合するより、
グリッドファイルシステムのメリットを取り入れた
クラスタファイルシステムを開発してきそうな気がする。
あとこんな記事発見。
この記事だけじゃどんなFSなのかよく分からないけど。
PNFS(Parallel Network File System)
http://www.itmedia.co.jp/enterprise/articles/0707/04/news059_2.html
0161名無しさん@お腹いっぱい。
2007/07/07(土) 11:24:530162名無しさん@お腹いっぱい。
2007/07/07(土) 11:25:59あんまりかんけいないんじゃない?
0163名無しさん@お腹いっぱい。
2007/07/07(土) 14:45:14Windows Server 20xx で ZFS サポート!
ってなるんじゃね?w
0164名無しさん@お腹いっぱい。
2007/07/07(土) 16:37:00あり得るかも知れない。
今すでにディスクレスで動くようにはなってる(んだよね?)んだから。
0165名無しさん@お腹いっぱい。
2007/07/07(土) 22:31:410166名無しさん@お腹いっぱい。
2007/07/07(土) 22:36:310167名無しさん@お腹いっぱい。
2007/07/07(土) 23:01:53たとえZFSが動いても、FATと同程度の意義しかないんじゃないかなあ。
0168名無しさん@お腹いっぱい。
2007/07/08(日) 04:39:250169名無しさん@お腹いっぱい。
2007/07/08(日) 05:25:39ZFSも暗号化取り組んでるらしいけど。
ttp://www.sun.com/bigadmin/hubs/multilingual/japanese/content/zfs_part1.scalable.jsp
ttp://www.sun.com/bigadmin/hubs/multilingual/japanese/content/zfs_part2_ease.jsp
> ZFS はまた、ネットワーク上および物理メディア上での安全性についても取り組んでいます。
> OpenSolaris における ZFS のディスク上暗号化サポートプロジェクトでは、ZFS に対する
> ディスク上の暗号化と復号化、および キー管理サポートを提供する取り組みが進行中です。
> Darren Moffat は opensolaris.org 向けの ZFS 暗号化プロジェクトの草案の中で、
> 計画されている実装のさまざまな局面について詳しく述べています。
> 目標は、信頼できないパス経由で SAN から提供されたデータを保護し、
> 物理的なストレージの盗難からデータを保護し、安全な削除のメカニズムを提供することです。
0170名無しさん@お腹いっぱい。
2007/07/08(日) 08:57:580171名無しさん@お腹いっぱい。
2007/07/08(日) 09:01:21defragできることがメリットのようにいうのはやめてください。
0172名無しさん@お腹いっぱい。
2007/07/08(日) 09:03:14デフラグはFSの機能というより、
ユーティリティソフトの仕事なのでは?
HFS+みたいに、オンライン常時デフラグするFSもあるけど、
それもFSの機能と言うよりOSの機能って感じだし。
0173名無しさん@お腹いっぱい。
2007/07/08(日) 11:02:25例えばLinuxで、オンラインのままdefragできるのって、
XFS(xfs_fsr)ぐらいしか、私は知らない。
JFSは、AIXだと可能らしいけど。
0174名無しさん@お腹いっぱい。
2007/07/08(日) 11:37:56フラグメント発生しないってすごいなww
0175名無しさん@お腹いっぱい。
2007/07/08(日) 12:19:34フラグメントが発生しないんじゃなくて、デフラグする必要がないんじゃまいか。
詳しい話は忘れたが。
0176名無しさん@お腹いっぱい。
2007/07/08(日) 12:28:570177名無しさん@お腹いっぱい。
2007/07/08(日) 15:01:16使用頻度の高いファイルをディスクの先頭に自動再配置とか。
0178名無しさん@お腹いっぱい。
2007/07/08(日) 15:04:190179名無しさん@お腹いっぱい。
2007/07/08(日) 15:05:560180名無しさん@お腹いっぱい。
2007/07/08(日) 15:12:45まず、複数ストリーム、リパースポイント、スパースファイル。
この3つが無いとVistaや2008はフルスペックでは動かないはず。
一部の人には、複数の暗号化とトランザクション。圧縮はZFSもサポートしてたっけ?
ドメインを構築しているような人には、
分散トラッキング系のネットワーク的機能の恩恵がいくつかNTFSのサポートがあったはず。
とりあえず思いつくのは、これぐらいかな。
0181名無しさん@お腹いっぱい。
2007/07/08(日) 15:15:04ヘッドのシッピング時間が短い場所が「先頭」
セクタ割当はシッピング時間が最短になる最外周から始まる
平均転送速度も最内周と最外周では倍ぐらい違う
0182名無しさん@お腹いっぱい。
2007/07/08(日) 15:51:43組み込み、クライアント、サーバーの全方向対応が身上のNTFSに対して、
どうみてもZFSはサーバー用。
0183名無しさん@お腹いっぱい。
2007/07/08(日) 16:39:35セクタ割り当ての順番と物理的位置に関係ないよ。
基本的にはどこにでも最短距離な中央トラックが先頭。
0184名無しさん@お腹いっぱい。
2007/07/08(日) 17:12:03なんで
http://www.hdtune.com/results/Western_Digital_WD740GD.gif
こうなるのか考えてみるといいよ
0185名無しさん@お腹いっぱい。
2007/07/08(日) 17:24:16つ hardware RAID
0186名無しさん@お腹いっぱい。
2007/07/08(日) 17:39:41再提出
0187名無しさん@お腹いっぱい。
2007/07/08(日) 17:40:44(FFS 族の場合退避して newfs ね)必要性を感じたことは一切ないね。
それに比べると、MacOS X で HFS+ も使ってるが、こいつは状況によって
えらい足引っぱる場合がある。
FAT は論外。空飛ぶ絨毯必須w NTFS は使い込む前に MS-Windows がイヤで
一定期間以内に必ず環境から逃避するので知らないwww
0188名無しさん@お腹いっぱい。
2007/07/08(日) 18:07:28もし外周から順番に割り当てられていたら、そんな減衰のしかたはしないよ。
0189名無しさん@お腹いっぱい。
2007/07/08(日) 18:14:220190名無しさん@お腹いっぱい。
2007/07/08(日) 18:34:51------------------------------------------------------------
Part1 ハードディスク・ドライブの内部構造:ITpro
http://itpro.nikkeibp.co.jp/article/lecture/20061220/257410/?ST=lecture&P=2
データ転送速度は内周と外周で大差あり
データ転送速度は,比較的大きなデータを読み書きする場合に大きく影響する。
基本的に,記録密度が高く,ディスクの回転数が高いほどデータ転送速度は
高くなる。記録密度が高ければトラックを1周する間に読めるデータ量は増え,
回転数が高ければその時間も短くなるからだ。
ただし,定記録密度方式により,ディスクの外側と内側で速度が変化する。
最高速となるのは,1トラック上のセクター数が最も多い最外周のゾーンである。
逆に最も低速なのは最内周のゾーンで,最外周と比べて40%以上の差が出る
(図6)。カタログなどに掲載されているデータ転送速度(最大サステインド
転送速度)は,最外周を基準とした値である。
------------------------------------------------------------
続・分速15000のセカイ
http://www.yoshidakai.com/pc/15k_rpm_hdd_2.html
「Beginning」は始点。つまり最外周部のことですね。これは41300ですから、
転送速度が41.3Mバイト/秒ということになり、「End」は終点。最内周部で、
32400ですから転送速度が32.4Mバイト/秒ということになります。
------------------------------------------------------------
XPの起動時間の短縮-2 / TuneXPは何をするのか? 電子頭脳の実験室/ウェブリブログ
http://denshizuno.at.webry.info/200506/article_1.html
Windows 標準のデフラグツールは、最外周部のセクタから順番にシステム
ファイルを置いていきますので、起動時に読み込まれる bootvid.dll、kdcom.dll、
HAL.DLL などはいつでも最外周部にあります。TuneXP の場合、これらの
ファイルは最外周部よりちょっと手前に置かれます。
0191名無しさん@お腹いっぱい。
2007/07/08(日) 18:37:200192名無しさん@お腹いっぱい。
2007/07/08(日) 18:38:32いやまずここから話をせんといかんだろ
0193名無しさん@お腹いっぱい。
2007/07/08(日) 22:09:45CDROMなんかと一緒ってことだな。
0194名無しさん@お腹いっぱい。
2007/07/08(日) 23:25:13いまどきっていうか
かなり昔から
0195名無しさん@お腹いっぱい。
2007/07/09(月) 00:07:13そうだったんかw
0196名無しさん@お腹いっぱい。
2007/07/09(月) 01:24:13それってXPのprefetchじゃね?
0197名無しさん@お腹いっぱい。
2007/07/09(月) 04:50:470198名無しさん@お腹いっぱい。
2007/07/09(月) 08:01:30N88BASICのFAT配置じゃあるまいし
0199名無しさん@お腹いっぱい。
2007/07/09(月) 09:16:02なので、外周が先頭?
0200名無しさん@お腹いっぱい。
2007/07/09(月) 10:22:09メタデータやそのファイルを収容するディレクトリのデータ・メタデータとの
相対位置も考える必要がある。
0201名無しさん@お腹いっぱい。
2007/07/09(月) 10:37:06そう。
ちゃんとしたHDDベンチマークソフトは内周と外周分けて計るよ
0202名無しさん@お腹いっぱい。
2007/07/09(月) 14:58:09さらっとCDの知識を混ぜるな危険
0203名無しさん@お腹いっぱい。
2007/07/09(月) 19:26:36ラックのネジ加工が物凄い事になるぞ
0204名無しさん@お腹いっぱい。
2007/07/10(火) 02:13:480205名無しさん@お腹いっぱい。
2007/07/10(火) 19:47:25外周に配置するってのあるじゃない。外が速いのは、今の常識。
フロッピーは1周のセクタ数は、変えないフォーマットを使ってたから(別に独自にはできたけど)
HDDのフォーマットを気づいていない人はいるかもしれないけど。
0206名無しさん@お腹いっぱい。
2007/07/10(火) 21:06:38ランダムでは大差ないような
0207名無しさん@お腹いっぱい。
2007/07/11(水) 18:20:07ZFS はネコに小判w
0208名無しさん@お腹いっぱい。
2007/07/11(水) 22:02:24Snapshotもほぼ無限に使えるんで、バックアップの仕方の常識も変わる。
Snapshotのスケジューラとレプリケーション系のバックアッププログラムに
磨きをかけてくれればと思う。膨大な数のファイルシステムやSnpahotを
扱えるだけに、管理系がちょっと弱いと思う。
0209名無しさん@お腹いっぱい。
2007/07/11(水) 23:45:070210名無しさん@お腹いっぱい。
2007/07/12(木) 09:36:460211名無しさん@お腹いっぱい。
2007/07/12(木) 09:39:220212名無しさん@お腹いっぱい。
2007/07/12(木) 10:05:350213名無しさん@お腹いっぱい。
2007/07/12(木) 20:05:01>Snapshotもほぼ無限に使えるんで、バックアップの仕方の常識も変わる。
変わるって言うほど変わらないだろ。
だいたい馬鹿(と書いてマカと読む)でも使えるようにするにはまともなGUIクライアント作らないといけないしな。
0214名無しさん@お腹いっぱい。
2007/07/12(木) 22:57:20スナップショットが取れるFSを以前から使っているけど、
バックアップの仕方の常識なんて全く変わらないよ。
どれだけスナップショットが取れようが、バックアップはバックアップ。
スナップショットはバックアップの代わりにはならないし、
バックアップはスナップショットと独立して完結しないと意味がない。
違いがあるとしたら、ライブではなくスナップショットをバックアップ元にできて、
バックアップ中のファイル更新の心配をしなくていいだけ。
でもそれって気の効いたバックアップシステム使ってるなら、
もともとユーザーが心配することじゃないし。
0215名無しさん@お腹いっぱい。
2007/07/13(金) 02:21:20最近はDiskが安いから、5分単位で1年分のスナップショットを取るなんて芸当も可能に
なってきた。5分といわず、ほぼリアルタイムでデータが保持されて、巻き戻せると
いいと思った事無いの?
0216名無しさん@お腹いっぱい。
2007/07/13(金) 07:24:350217名無しさん@お腹いっぱい。
2007/07/13(金) 08:02:570218名無しさん@お腹いっぱい。
2007/07/13(金) 08:14:11スナップショットだけでは、ディスク装置が故障したらどうにもならない。
0219名無しさん@お腹いっぱい。
2007/07/13(金) 08:15:290220名無しさん@お腹いっぱい。
2007/07/13(金) 09:41:56まともなバックアップなんてやったことない人間としか思えない。
ハードディスク多数つないだってサージ一発で全滅ですぜ? 正気とは思えんねw
■ このスレッドは過去ログ倉庫に格納されています