ファイルシステム総合スレその15

**login:Penguin;** · 2012/06/30(土) 08:36:00.10

●前スレファイルシステム総合スレその14
http://engawa.2ch.net/test/read.cgi/linux/1326613113/
●関連スレ
ジャーナリングファイルシステム
http://toro.2ch.net/test/read.cgi/unix/979408065/
OpenSolaris/Illumos (OpenIndiana, etc.) 6
http://toro.2ch.net/test/read.cgi/unix/1337411922/
FS関連スレ
http://kohada.2ch.net/test/read.cgi/os/1137387538/l50
過去スレ、関連リンクは >>2-10 あたりで。

**login:Penguin** · 2012/11/29(木) 18:36:14.17

同一内容を検索・識別するんじゃなくて、
ファイルコピー動作とかを認識して重複排除するとかできないんだろうか？
最近読みだしたデータに限って同一判定するとか。

**login:Penguin** · 2012/11/29(木) 18:54:19.39

>>619
よく意味が分からんけど
書き込みが発生したときにブロック単位で同じのがあるかどうかを見るんじゃないの
そのテーブルがメモリをバカ食いするってことだと思うけど

**login:Penguin** · 2012/11/29(木) 18:55:27.61

それただのCoWじゃねーか？

NAS上で完結する世界ならそれでもいいけど、実際に求められてるものとは違う

**login:Penguin** · 2012/11/29(木) 19:48:42.51

重複判定できるってことは、そのぶん余計なメタデータを読み書きしないといけないんだから性能落ちるよね

**login:Penguin** · 2012/11/29(木) 20:48:15.45

重複排除によって無くなった行われるはずだったユーザーデータの書き込み量のほうが多いかもしれない

**login:Penguin** · 2012/11/29(木) 20:57:57.56

>>623
クラウド、VPSの仮想HDDの中の/bin以下のファイルみたいなかなり特殊な用途？

**login:Penguin** · 2012/11/29(木) 23:13:38.69

XFSを褒め殺しにしていると疑われているオレ様がやってきましたよ

褒め殺しではない
純粋に褒めているし実際に使っている

叩いた事など神に誓ってない
ZFSなら叩きたい

**login:Penguin** · 2012/11/29(木) 23:19:38.18

そっか　よかったね

**login:Penguin** · 2012/11/30(金) 07:52:53.99

XFSとZFSの良いとこ取りの新ファイルシステム YFS

**login:Penguin** · 2012/11/30(金) 11:19:43.24

>>619
特定の状況だけ適用してもらいたいんならその状況時にユーザーモード側でioctl発行しろと返されんのがオチ

**login:Penguin** · 2012/11/30(金) 13:06:34.15

>>618
HDD増やした方がコスパよくね？業務に使うならともかく個人ならな

**login:Penguin** · 2012/11/30(金) 13:20:22.58

同じ形式のファイルをテラ単位で扱うような用途じゃないとあまり恩恵はないだろうな
少なくても自分は容量食ってるのは動画とか音楽とか写真だから全く意味無い

**login:Penguin** · 2012/11/30(金) 14:41:02.44

仮想マシンのファイルはほとんど同じなので、
重複排除でバンザーイと思って、Virutalboxと
ZFSの組み合わせを試してみた事がある。

ほとんど重複排除の効果は無く、一時停止で保存した
ファイルでゲストOSが再開できないとか、逆の意味で
バンザーイの結果だった。

**login:Penguin** · 2012/11/30(金) 14:45:50.73

世代バックアップとか

**login:Penguin** · 2012/11/30(金) 19:14:17.65

ハードリンクで済むような

**login:Penguin** · 2012/11/30(金) 20:43:12.76

大きいファイルの世代バックアップには有効そうなんじゃない?
何ギガもあるsqliteファイルとか。

**login:Penguin** · 2012/11/30(金) 20:46:57.15

バックアップになってるのかそれ
前にもそんな議論があったような

**login:Penguin** · 2012/11/30(金) 20:50:49.19

まあ核攻撃に耐えられなければバックアップとは言えないからなあ
バックアップでないものをバックアップと言う人が多いよ
まったく

**login:Penguin** · 2012/11/30(金) 20:56:39.55

前の議論もそうだけど
勝手にバックアップのハードル上げてるだけだと思うが

**login:Penguin** · 2012/11/30(金) 21:21:07.01

月面データセンターだと万全のバックアップできる

応答時間に数秒要するからバックアップにしか使えないけど

**login:Penguin** · 2012/12/01(土) 11:06:30.84

月は出ているか？
ってガンダムXごっこができるな。

スペースデブリの月面DCへの影響は無視してもいいよね。

**login:Penguin** · 2012/12/01(土) 11:11:57.60

電磁波って宇宙だと減衰しないから
宇宙に向けて全データを電磁波の形で発信しておけば
少なくともこの宇宙がなくなるまでは保存されるな。

**login:Penguin** · 2012/12/01(土) 11:43:54.49

>>640
その発信したデータを読みたければ、電磁波より速く飛んで先回りして受信しなければならないのでは

**login:Penguin** · 2012/12/01(土) 12:13:10.05

え？ｗ突っ込むとこそこかよｗｗ
文系かよｗ

**login:Penguin** · 2012/12/01(土) 15:37:17.27

ZFSの重複排除ってメモリに蓄えるから、
不意の電源OFFだと全部破壊されちゃうんだよね
それだとバックアップに使うのは怖いな

**login:Penguin** · 2012/12/01(土) 15:39:14.11

んなわけない

**login:Penguin** · 2012/12/01(土) 16:17:37.35

>>643みたいな幼稚な人が作ってるファイルシステムあったら教えて下さい。

**login:Penguin** · 2012/12/02(日) 11:30:19.75

>>640
波長によって激しく減衰する、宇宙は完全な真空ではなく万年やら億年
経過したそれが何も影響しないというのはアフォ。

**login:Penguin** · 2012/12/02(日) 19:04:34.13

>>645
ZFS

**login:Penguin** · 2012/12/02(日) 23:00:00.47

ファイルシステムとバックアップは分けて考えなければいけない

**login:Penguin** · 2012/12/03(月) 00:59:53.94

分けて考えないのが近年の高機能ファイルシステムでしょ！

**login:Penguin** · 2012/12/03(月) 02:01:26.58

>>649
って誰が言ってるの？

**login:Penguin** · 2012/12/03(月) 07:50:17.46

俺だよ。この俺が言ってんだし間違いない。

**login:Penguin** · 2012/12/03(月) 09:12:19.30

この前、自分定義のバックアップって言葉使って馬鹿にされた馬鹿が
粘着してるなぁ。

**login:Penguin** · 2012/12/03(月) 19:51:06.32

>>651
ソースは2ch (笑)

**login:Penguin** · 2012/12/03(月) 20:16:29.29

その時馬鹿にした連中の方が勝手な定義してたな

**login:Penguin** · 2012/12/04(火) 02:47:31.73

しつこいよ

**login:Penguin** · 2012/12/04(火) 11:58:42.03

>>654
お前、本当に馬鹿なんだな…

**login:Penguin** · 2012/12/04(火) 12:10:59.15

定義なんて話の都度擦り合わせればいいのよ。

**login:Penguin** · 2012/12/04(火) 12:19:44.14

はいはいビールジョッキ思想

**login:Penguin** · 2012/12/07(金) 03:38:12.68

zfs-win - ZFS for Windows
http://code.google.com/p/zfs-win/

あるにはあるんやな

**login:Penguin** · 2012/12/11(火) 10:48:11.30

ZFSのファイルシステムにMysqlのデータを置いた環境があり、
某システムの評価で圧縮して400MバイトのMysqlのダンプファイルを
インポートしてみた。

平時はあまり使われない、Logsの領域にも激しく書き込みがあり、
Logsのallocの領域がみるみる増えて行く。raidz1のディスクで30MB/sec
Logsの30MB/secと合計で60MB/secの書き込みが出来て、ZFSの
実力の一部が判った。

**login:Penguin** · 2012/12/11(火) 20:46:17.33

XFSが3.7でinode64がデフォルトになるから3.6以前に持ってく時は気を付けろー
http://kernelnewbies.org/Linux_3.7

**login:Penguin** · 2012/12/24(月) 22:27:48.15

なんでext4には作成日時のタイムスタンプがないの？

**login:Penguin** · 2012/12/24(月) 22:40:45.97

>>662
いや、あるよ。

**login:Penguin** · 2012/12/24(月) 23:08:00.12

ctime無いのはFAT位でないかい

**login:Penguin** · 2012/12/25(火) 00:49:11.63

ctimeってリンク数増やしたりとかしたら変わらないかい

**login:Penguin** · 2012/12/25(火) 01:24:41.49

それはmtime

**login:Penguin** · 2012/12/25(火) 10:35:35.06

ZFS Linux Native RC13が出てました。
いろいろ直っているみたいだが、ウチの
自宅サーバでは何の問題無く動いているので、
違いが判らん。

**login:Penguin** · 2012/12/25(火) 11:38:28.45

ctimeとcrtimeは混同してはいけない

**login:Penguin** · 2012/12/25(火) 11:43:42.21

birth time があるよ

**login:Penguin** · 2012/12/25(火) 12:05:30.52

>>666
誤り
mtimeが変わるのはファイルの内容を書き換えた時
リンクカウントの増減はメタデータだけの変更に当たる

**login:Penguin** · 2012/12/25(火) 15:42:44.80

ctime をファイル作成日時だと勘違いしてるやつがいるのか?

**login:Penguin** · 2012/12/28(金) 05:03:18.35

NTFS ボリューム上で新規ファイルが作成できない現象について
http://blogs.technet.com/b/askcorejp/archive/2010/04/26/ntfs.aspx

$Secure のデータは少しずつ登録される事が多く、非常にフラグメントが発生しやすい環境です。
$Secure のフラグメントが解消される事で、登録できるセキュリティ記述子の数が増える事が期待できます。
Windows7 / Windows Server 2008 R2 以降の環境で発生した場合には、まずはデフラグの実施をご検討ください。

※ 現在、Windows 7 / Windows Server 2008 R2 環境でデフラグを実施したところ、反対に $Secure の File Record 数が増えてしまったという報告を受けています。
詳細が確認出来次第この記事をアップデートいたしますので、それまで $Secure の ATTRIBUTE_LIST を減らす事を目的としたデフラグの実施はお待ちください。

;(；ﾞﾟ'ωﾟ');

**login:Penguin** · 2012/12/31(月) 04:28:13.37

raidz や raidz2 で、玉を増やすほうの grow が出来るようにならないかなあ。

**login:Penguin** · 2013/01/01(火) 21:53:27.45

>>672
その地雷を最初に踏んだ人がどれだけ悩んだか
話を聞いてみたい

**login:Penguin** · 2013/01/06(日) 23:12:39.85

重複排除と透過圧縮とファイルのチェックサムの機能がある
ファイルシステムってZFSだけでしょうか?
調べてみるとlessfsは重複排除と圧縮機能があるみたいですがチェックサムはなさそうで
ext4とbtrfsは圧縮とチェックサムがあって重複排除はない(btrfsは実装予定?)みたいです

**login:Penguin** · 2013/01/06(日) 23:35:38.20

>>675
http://en.wikipedia.org/wiki/Comparison_of_file_systems

**login:Penguin** · 2013/01/07(月) 10:19:35.98

ext4のチェックサムってメタデータだけでしょ

**login:Penguin** · 2013/01/07(月) 12:19:52.72

データが化けてもメタデータさえOKならファイルシステムの整合性は完璧だからな。

**login:Penguin** · 2013/01/07(月) 20:13:16.34

ファイルが壊れてもファイルシステムが壊れなければ意味があるっ

**login:Penguin** · 2013/01/07(月) 21:30:47.50

raid5+xfsでデータ化けするて聞いたんだけど
raid5で1ディスクの1ブロックだけ化けた場合でも修復できないんだっけ？

**login:Penguin** · 2013/01/07(月) 22:40:40.63

釣りか？ソフトウェアRAID だろうが、ハードウェアRAID だろうが、RAID5 と
ファイルシステムではレイヤーが違うから「RAID5+xfsでデータ化ける」なんてことはない。
データが化けるのは別の原因で xfs 以外のファイルシステムにしたときに、たまたまその
ブロックを踏まなかったってだけだろ。

この場合ハードウェアRAID が何らかの故障を抱えているんだと思う。
ただ、アクセス速度を上げるために、パリティチェックしない製品／設定がある
(ハードディスクに全くアクセスできない場合のみパリティから修復)らしいので、
「raid5で１ディスクの１ブロックだけ化けた場合でも修復できない」事はありえるが。

**login:Penguin** · 2013/01/07(月) 22:57:19.54

ディスク3台で A,B,パリティになってる所で
パリティ部分がデータ化けしたらそのブロックは修復できんの？

**login:Penguin** · 2013/01/07(月) 23:57:05.50

RAID5ではどっちみち化けたら修復できない。どっちが正しいか判別できないからだ。
RAID-Zなら別だがな。

**login:Penguin** · 2013/01/08(火) 00:00:55.60

なるほどね、勉強になった

**login:Penguin** · 2013/01/08(火) 00:28:39.57

1ビットのパリティは1ビット以内の誤りを検出できるだけだからな。
化けられたらどうしようもない。
運を天に任せて1台切り離せば読めるかもしれないぞ。

**login:Penguin** · 2013/01/08(火) 10:29:38.66

エラーにならずにデータ化けってありうるの？
HDDにCRCが付いてるだろ。

**login:Penguin** · 2013/01/08(火) 19:40:17.92

何もせずとも、いつの間にかデータが書き換わってしまうことはありうる。
そのため最近の RAID 装置は、「書き直し」ジョブが定期的に走るようになってる。

**login:Penguin** · 2013/01/10(木) 16:11:44.04

HDDは10^-13から10^-16。RAMは10^-10から10^-17。NWは10^-12。
なので1[PB]とか読み出したら、上位（RAMならECCとか）でチェックしない限り確実に誤データが入り込むんでない？

**login:Penguin** · 2013/01/10(木) 23:26:59.15

>>683
btrfsのRAID5も、実装されたら修復できるようになるんじゃないかな。
出る出るといわれ続けてもうすぐ4年経つんだっけかw

btrfsではデータブロックのチェックサム(CRC)を記録してるから、
化けたブロックは特定できるはず。

どのデバイス上のブロックが化けているかが分かれば、
残りのデバイス上のブロックからXORでブロックの中身を計算して
書き戻せば修復できるはず。

もっとも、RAID5以前に「読み」「書き」以外のことをすると
高頻度であっさりハングする不安定さをどうにかすべきだと思うが。

**login:Penguin** · 2013/01/11(金) 15:26:03.19

brtfs捨てて、ZFSのライセンスを見直すだけでいいんだけどなぁ

**login:Penguin** · 2013/01/11(金) 17:49:24.05

ZFSはクローズドソースになっちゃったんじゃないの? FreeBSDは、オープンソースの最終版からフォークしたような…

**login:Penguin** · 2013/01/11(金) 23:01:57.29

Linuxファイルシステムの進化ももZFSがクローズドでは、もう期待出来ないね。
真剣にNTFSライセンスの購入を検討した方がいいんじゃないの？

**login:Penguin** · 2013/01/11(金) 23:07:04.30

>>692
ZFSはlinux界隈じゃなくてUNIX界隈だから関係ないよ。

**login:Penguin** · 2013/01/11(金) 23:48:58.03

クローズドからオープンになった事例は結構ある。
ってかオラクルは何でクローズドにしたんだろ。

**login:Penguin** · 2013/01/12(土) 00:16:46.64

>>694
ライバルを買収して相手製品を死蔵して潰す場合と、
ライバルを買収して相手製品を自社で売る場合がある。

オラクルには独自のFSがあるんで、死蔵させて潰す選択をしただけ。

**login:Penguin** · 2013/01/12(土) 00:46:35.27

>>695
> オラクルには独自のFSがあるんで、死蔵させて潰す選択をしただけ。

何言ってんだ? Solarisで使ってるだろ。
まさかbtrfsのことじゃないか?

**login:Penguin** · 2013/01/12(土) 04:13:36.30

ZFS Storage Applianceとか全然売れてねぇけどな
遅すぎるわ

**login:Penguin** · 2013/01/12(土) 10:26:25.88

商用ファイルサーバなら既にIsilonがあるしなあ。

**675** · 2013/01/12(土) 15:01:50.21

調べてみるとbtrfsも重複排除はできるようでした
https://btrfs.wiki.kernel.org/index.php/Deduplication
でもこれWindows 2012のNTFSのデータ重複除去と同じく
書き込み時に重複排除してくれるものではなさそうです

**login:Penguin** · 2013/01/12(土) 15:42:52.09

btrfsでその手の付加機能使うのは、まだ怖すぎる。。。

やっぱFSみたいな物は、昔から言われてるけど、企業がお金かけて作らないと
厳しいねぇ。
ドッグフードをガシガシ食って、主要部分だけでもバグ潰ししないと、いつまで経っても、
ドッグフードのまま・・・

**login:Penguin** · 2013/01/12(土) 16:22:29.70

zfsでいいからgrowつけてー

**login:Penguin** · 2013/01/12(土) 16:36:35.20

btrfsの重複排除は使ってるっていう情報が見当たらないですね

重複排除と透過圧縮とファイルのチェックサムがあって
わりと使われていそうなのはZFSだけみたいなんでZFSを使ってみることにします

**login:Penguin** · 2013/01/12(土) 17:43:29.86

なんでみんなZFSなんだよ！
Linuxには、ext4っていう最先端技術が一杯盛り込まれた優れたファイルシステムがあるだろう？

**login:Penguin** · 2013/01/12(土) 20:28:12.35

ORACLE様ならbtrfsやZFSなんての無視してASMでいいやん

**login:Penguin** · 2013/01/12(土) 21:07:33.39

>>677
ext4 のチェックサムはメタデータに対してなんですね
何か勘違いしてました

ZFSでもファイルデータの修復ができるのはRAIDZとかで冗長化している場合だけですよね
ファイルのデータに対してチェックサムじゃなくて誤り訂正符号が
付けられるファイルシステムは聞いたことないですし
もしかして3-way mirrorかRAID6なら(そんな頻繁に起こると思いませんが)データ化けが起ころうが訂正できるのかな

いずれにせよlessfsってのとbtrfsの重複排除機能の情報は少ないのでZFSにしてみます

**login:Penguin** · 2013/01/12(土) 21:28:17.87

そんなに誤り訂正欲しきゃ
RAID5+0でもRIDE6+0ででも組めばいいのに

**login:Penguin** · 2013/01/12(土) 21:33:42.79

>>703
zlib圧縮すらstableでないfsじゃぁねぇ…。

**login:Penguin** · 2013/01/12(土) 21:43:08.44

RAID6も故障Diskが既知でないと訂正できないみたい。
正直、データの整合性はHWに任せてOKと思うんだけど…

**login:Penguin** · 2013/01/12(土) 21:44:47.86

>>707
stableじゃない事がなんなんだ！
皆でドッグフードの不味い部分をもっとガツガツ食べようぜ

**login:Penguin** · 2013/01/12(土) 22:54:07.82

誤り訂正はできたら良いなってところで
透過的圧縮と特に重複排除が優先して使いたい機能です
lessfsで良いじゃないかってところなんですが情報が少なくて躊躇してます・・・

よく考えたら3-way mirrorやRAID6にしようがファイルの読み出しで
きっと毎回全部のディスクからデータを読んで比較なんかしてないですよね
mdadm はそんな設定があるのかな?
ZFSはファイルを読んだときにチェックサムが合ってなければ
RAID-Zから復旧してくれるんだろうと思います

**login:Penguin** · 2013/01/13(日) 02:46:29.73

>>710
おまえがそもそもRAIDがなんなのかすら理解できていないことは理解できた

**login:Penguin** · 2013/01/13(日) 07:41:59.28

面倒くせーな…
だったらEMCでも買えよ

**login:Penguin** · 2013/01/13(日) 09:20:57.78

>>710
RH系だとraid-checkってスクリプトがスケジュールに登録されてて
週一でアレイの整合性チェックが実行されるはず
mdが内部でどんな処理してるのかまでは知らないけど
確かにRAID6なんかでデータ部の修復までしてくれたら嬉しいわな

**login:Penguin** · 2013/01/13(日) 10:11:21.77

気にしすぎなんじゃないかと思うが

**login:Penguin** · 2013/01/13(日) 10:16:16.87

>>710
mdadmにそんな仕組みはないみたいだぞ
http://serverfault.com/questions/391922/linux-mdadm-software-raid-6-does-it-support-bit-corruption-recovery
http://www.spinics.net/lists/raid/msg32814.html

もしディスク間で書かれているデータが異なっていたら
checkでmismatch_cntが増える
http://tkyk.name/blog/page/10/
で >>682-683 のとおりRAID1(2-way mirror)やRAID5なら
どちらが正しいか分からない

3-way mirrorやRAID6なら修復できるのかは知らないけど

重複排除を使いたいならZFSで良いんじゃないか？

**login:Penguin** · 2013/01/13(日) 10:42:31.20

どんだけ大容量のファイル使ってんだかしらんが
数世代前でも無い限りRawデータだってCRCぐらい付いてるだろ

**login:Penguin** · 2013/01/13(日) 14:26:41.53

まず、HDDにはセクタ単位でECCがついている。
このため、かなりの数のbitが同時に都合よく化けない限り、エラー訂正できる。
(もちろんエラーが、検出は出来ても訂正は出来ない場合にはリードエラーとなる)
そして、これは推測だけど「訂正可能なレベルのエラー」の中で、ある程度の回数だとかbit数だとかの規定値を超えたら
それはファームにより「不良セクタ」としてマークされ、代替処理が行われると思われる(OSからは見えない)。

一方、RAID456で使われているのは「パリティ」で、これは誤り訂正も出来ないし
エラー検出能力もきわめて低い。
しかし、「欠損」つまりどこのbitでエラーが起きたのか確実にわかるケースに限定すれば
正確に補完する能力があり、容量効率も良い。
これの欠損が、物理的な故障にぴたりとあてはまる。

**login:Penguin** · 2013/01/13(日) 14:27:24.11

というのが俺の認識。

ファイルシステム総合スレ その15

ファイルシステム総合スレその15