ファイルシステム総合スレその15

**login:Penguin;** · 2012/06/30(土) 08:36:00.10

●前スレファイルシステム総合スレその14
http://engawa.2ch.net/test/read.cgi/linux/1326613113/
●関連スレ
ジャーナリングファイルシステム
http://toro.2ch.net/test/read.cgi/unix/979408065/
OpenSolaris/Illumos (OpenIndiana, etc.) 6
http://toro.2ch.net/test/read.cgi/unix/1337411922/
FS関連スレ
http://kohada.2ch.net/test/read.cgi/os/1137387538/l50
過去スレ、関連リンクは >>2-10 あたりで。

**login:Penguin** · 2012/12/24(月) 22:27:48.15

なんでext4には作成日時のタイムスタンプがないの？

**login:Penguin** · 2012/12/24(月) 22:40:45.97

>>662
いや、あるよ。

**login:Penguin** · 2012/12/24(月) 23:08:00.12

ctime無いのはFAT位でないかい

**login:Penguin** · 2012/12/25(火) 00:49:11.63

ctimeってリンク数増やしたりとかしたら変わらないかい

**login:Penguin** · 2012/12/25(火) 01:24:41.49

それはmtime

**login:Penguin** · 2012/12/25(火) 10:35:35.06

ZFS Linux Native RC13が出てました。
いろいろ直っているみたいだが、ウチの
自宅サーバでは何の問題無く動いているので、
違いが判らん。

**login:Penguin** · 2012/12/25(火) 11:38:28.45

ctimeとcrtimeは混同してはいけない

**login:Penguin** · 2012/12/25(火) 11:43:42.21

birth time があるよ

**login:Penguin** · 2012/12/25(火) 12:05:30.52

>>666
誤り
mtimeが変わるのはファイルの内容を書き換えた時
リンクカウントの増減はメタデータだけの変更に当たる

**login:Penguin** · 2012/12/25(火) 15:42:44.80

ctime をファイル作成日時だと勘違いしてるやつがいるのか?

**login:Penguin** · 2012/12/28(金) 05:03:18.35

NTFS ボリューム上で新規ファイルが作成できない現象について
http://blogs.technet.com/b/askcorejp/archive/2010/04/26/ntfs.aspx

$Secure のデータは少しずつ登録される事が多く、非常にフラグメントが発生しやすい環境です。
$Secure のフラグメントが解消される事で、登録できるセキュリティ記述子の数が増える事が期待できます。
Windows7 / Windows Server 2008 R2 以降の環境で発生した場合には、まずはデフラグの実施をご検討ください。

※ 現在、Windows 7 / Windows Server 2008 R2 環境でデフラグを実施したところ、反対に $Secure の File Record 数が増えてしまったという報告を受けています。
詳細が確認出来次第この記事をアップデートいたしますので、それまで $Secure の ATTRIBUTE_LIST を減らす事を目的としたデフラグの実施はお待ちください。

;(；ﾞﾟ'ωﾟ');

**login:Penguin** · 2012/12/31(月) 04:28:13.37

raidz や raidz2 で、玉を増やすほうの grow が出来るようにならないかなあ。

**login:Penguin** · 2013/01/01(火) 21:53:27.45

>>672
その地雷を最初に踏んだ人がどれだけ悩んだか
話を聞いてみたい

**login:Penguin** · 2013/01/06(日) 23:12:39.85

重複排除と透過圧縮とファイルのチェックサムの機能がある
ファイルシステムってZFSだけでしょうか?
調べてみるとlessfsは重複排除と圧縮機能があるみたいですがチェックサムはなさそうで
ext4とbtrfsは圧縮とチェックサムがあって重複排除はない(btrfsは実装予定?)みたいです

**login:Penguin** · 2013/01/06(日) 23:35:38.20

>>675
http://en.wikipedia.org/wiki/Comparison_of_file_systems

**login:Penguin** · 2013/01/07(月) 10:19:35.98

ext4のチェックサムってメタデータだけでしょ

**login:Penguin** · 2013/01/07(月) 12:19:52.72

データが化けてもメタデータさえOKならファイルシステムの整合性は完璧だからな。

**login:Penguin** · 2013/01/07(月) 20:13:16.34

ファイルが壊れてもファイルシステムが壊れなければ意味があるっ

**login:Penguin** · 2013/01/07(月) 21:30:47.50

raid5+xfsでデータ化けするて聞いたんだけど
raid5で1ディスクの1ブロックだけ化けた場合でも修復できないんだっけ？

**login:Penguin** · 2013/01/07(月) 22:40:40.63

釣りか？ソフトウェアRAID だろうが、ハードウェアRAID だろうが、RAID5 と
ファイルシステムではレイヤーが違うから「RAID5+xfsでデータ化ける」なんてことはない。
データが化けるのは別の原因で xfs 以外のファイルシステムにしたときに、たまたまその
ブロックを踏まなかったってだけだろ。

この場合ハードウェアRAID が何らかの故障を抱えているんだと思う。
ただ、アクセス速度を上げるために、パリティチェックしない製品／設定がある
(ハードディスクに全くアクセスできない場合のみパリティから修復)らしいので、
「raid5で１ディスクの１ブロックだけ化けた場合でも修復できない」事はありえるが。

**login:Penguin** · 2013/01/07(月) 22:57:19.54

ディスク3台で A,B,パリティになってる所で
パリティ部分がデータ化けしたらそのブロックは修復できんの？

**login:Penguin** · 2013/01/07(月) 23:57:05.50

RAID5ではどっちみち化けたら修復できない。どっちが正しいか判別できないからだ。
RAID-Zなら別だがな。

**login:Penguin** · 2013/01/08(火) 00:00:55.60

なるほどね、勉強になった

**login:Penguin** · 2013/01/08(火) 00:28:39.57

1ビットのパリティは1ビット以内の誤りを検出できるだけだからな。
化けられたらどうしようもない。
運を天に任せて1台切り離せば読めるかもしれないぞ。

**login:Penguin** · 2013/01/08(火) 10:29:38.66

エラーにならずにデータ化けってありうるの？
HDDにCRCが付いてるだろ。

**login:Penguin** · 2013/01/08(火) 19:40:17.92

何もせずとも、いつの間にかデータが書き換わってしまうことはありうる。
そのため最近の RAID 装置は、「書き直し」ジョブが定期的に走るようになってる。

**login:Penguin** · 2013/01/10(木) 16:11:44.04

HDDは10^-13から10^-16。RAMは10^-10から10^-17。NWは10^-12。
なので1[PB]とか読み出したら、上位（RAMならECCとか）でチェックしない限り確実に誤データが入り込むんでない？

**login:Penguin** · 2013/01/10(木) 23:26:59.15

>>683
btrfsのRAID5も、実装されたら修復できるようになるんじゃないかな。
出る出るといわれ続けてもうすぐ4年経つんだっけかw

btrfsではデータブロックのチェックサム(CRC)を記録してるから、
化けたブロックは特定できるはず。

どのデバイス上のブロックが化けているかが分かれば、
残りのデバイス上のブロックからXORでブロックの中身を計算して
書き戻せば修復できるはず。

もっとも、RAID5以前に「読み」「書き」以外のことをすると
高頻度であっさりハングする不安定さをどうにかすべきだと思うが。

**login:Penguin** · 2013/01/11(金) 15:26:03.19

brtfs捨てて、ZFSのライセンスを見直すだけでいいんだけどなぁ

**login:Penguin** · 2013/01/11(金) 17:49:24.05

ZFSはクローズドソースになっちゃったんじゃないの? FreeBSDは、オープンソースの最終版からフォークしたような…

**login:Penguin** · 2013/01/11(金) 23:01:57.29

Linuxファイルシステムの進化ももZFSがクローズドでは、もう期待出来ないね。
真剣にNTFSライセンスの購入を検討した方がいいんじゃないの？

**login:Penguin** · 2013/01/11(金) 23:07:04.30

>>692
ZFSはlinux界隈じゃなくてUNIX界隈だから関係ないよ。

**login:Penguin** · 2013/01/11(金) 23:48:58.03

クローズドからオープンになった事例は結構ある。
ってかオラクルは何でクローズドにしたんだろ。

**login:Penguin** · 2013/01/12(土) 00:16:46.64

>>694
ライバルを買収して相手製品を死蔵して潰す場合と、
ライバルを買収して相手製品を自社で売る場合がある。

オラクルには独自のFSがあるんで、死蔵させて潰す選択をしただけ。

**login:Penguin** · 2013/01/12(土) 00:46:35.27

>>695
> オラクルには独自のFSがあるんで、死蔵させて潰す選択をしただけ。

何言ってんだ? Solarisで使ってるだろ。
まさかbtrfsのことじゃないか?

**login:Penguin** · 2013/01/12(土) 04:13:36.30

ZFS Storage Applianceとか全然売れてねぇけどな
遅すぎるわ

**login:Penguin** · 2013/01/12(土) 10:26:25.88

商用ファイルサーバなら既にIsilonがあるしなあ。

**675** · 2013/01/12(土) 15:01:50.21

調べてみるとbtrfsも重複排除はできるようでした
https://btrfs.wiki.kernel.org/index.php/Deduplication
でもこれWindows 2012のNTFSのデータ重複除去と同じく
書き込み時に重複排除してくれるものではなさそうです

**login:Penguin** · 2013/01/12(土) 15:42:52.09

btrfsでその手の付加機能使うのは、まだ怖すぎる。。。

やっぱFSみたいな物は、昔から言われてるけど、企業がお金かけて作らないと
厳しいねぇ。
ドッグフードをガシガシ食って、主要部分だけでもバグ潰ししないと、いつまで経っても、
ドッグフードのまま・・・

**login:Penguin** · 2013/01/12(土) 16:22:29.70

zfsでいいからgrowつけてー

**login:Penguin** · 2013/01/12(土) 16:36:35.20

btrfsの重複排除は使ってるっていう情報が見当たらないですね

重複排除と透過圧縮とファイルのチェックサムがあって
わりと使われていそうなのはZFSだけみたいなんでZFSを使ってみることにします

**login:Penguin** · 2013/01/12(土) 17:43:29.86

なんでみんなZFSなんだよ！
Linuxには、ext4っていう最先端技術が一杯盛り込まれた優れたファイルシステムがあるだろう？

**login:Penguin** · 2013/01/12(土) 20:28:12.35

ORACLE様ならbtrfsやZFSなんての無視してASMでいいやん

**login:Penguin** · 2013/01/12(土) 21:07:33.39

>>677
ext4 のチェックサムはメタデータに対してなんですね
何か勘違いしてました

ZFSでもファイルデータの修復ができるのはRAIDZとかで冗長化している場合だけですよね
ファイルのデータに対してチェックサムじゃなくて誤り訂正符号が
付けられるファイルシステムは聞いたことないですし
もしかして3-way mirrorかRAID6なら(そんな頻繁に起こると思いませんが)データ化けが起ころうが訂正できるのかな

いずれにせよlessfsってのとbtrfsの重複排除機能の情報は少ないのでZFSにしてみます

**login:Penguin** · 2013/01/12(土) 21:28:17.87

そんなに誤り訂正欲しきゃ
RAID5+0でもRIDE6+0ででも組めばいいのに

**login:Penguin** · 2013/01/12(土) 21:33:42.79

>>703
zlib圧縮すらstableでないfsじゃぁねぇ…。

**login:Penguin** · 2013/01/12(土) 21:43:08.44

RAID6も故障Diskが既知でないと訂正できないみたい。
正直、データの整合性はHWに任せてOKと思うんだけど…

**login:Penguin** · 2013/01/12(土) 21:44:47.86

>>707
stableじゃない事がなんなんだ！
皆でドッグフードの不味い部分をもっとガツガツ食べようぜ

**login:Penguin** · 2013/01/12(土) 22:54:07.82

誤り訂正はできたら良いなってところで
透過的圧縮と特に重複排除が優先して使いたい機能です
lessfsで良いじゃないかってところなんですが情報が少なくて躊躇してます・・・

よく考えたら3-way mirrorやRAID6にしようがファイルの読み出しで
きっと毎回全部のディスクからデータを読んで比較なんかしてないですよね
mdadm はそんな設定があるのかな?
ZFSはファイルを読んだときにチェックサムが合ってなければ
RAID-Zから復旧してくれるんだろうと思います

**login:Penguin** · 2013/01/13(日) 02:46:29.73

>>710
おまえがそもそもRAIDがなんなのかすら理解できていないことは理解できた

**login:Penguin** · 2013/01/13(日) 07:41:59.28

面倒くせーな…
だったらEMCでも買えよ

**login:Penguin** · 2013/01/13(日) 09:20:57.78

>>710
RH系だとraid-checkってスクリプトがスケジュールに登録されてて
週一でアレイの整合性チェックが実行されるはず
mdが内部でどんな処理してるのかまでは知らないけど
確かにRAID6なんかでデータ部の修復までしてくれたら嬉しいわな

**login:Penguin** · 2013/01/13(日) 10:11:21.77

気にしすぎなんじゃないかと思うが

**login:Penguin** · 2013/01/13(日) 10:16:16.87

>>710
mdadmにそんな仕組みはないみたいだぞ
http://serverfault.com/questions/391922/linux-mdadm-software-raid-6-does-it-support-bit-corruption-recovery
http://www.spinics.net/lists/raid/msg32814.html

もしディスク間で書かれているデータが異なっていたら
checkでmismatch_cntが増える
http://tkyk.name/blog/page/10/
で >>682-683 のとおりRAID1(2-way mirror)やRAID5なら
どちらが正しいか分からない

3-way mirrorやRAID6なら修復できるのかは知らないけど

重複排除を使いたいならZFSで良いんじゃないか？

**login:Penguin** · 2013/01/13(日) 10:42:31.20

どんだけ大容量のファイル使ってんだかしらんが
数世代前でも無い限りRawデータだってCRCぐらい付いてるだろ

**login:Penguin** · 2013/01/13(日) 14:26:41.53

まず、HDDにはセクタ単位でECCがついている。
このため、かなりの数のbitが同時に都合よく化けない限り、エラー訂正できる。
(もちろんエラーが、検出は出来ても訂正は出来ない場合にはリードエラーとなる)
そして、これは推測だけど「訂正可能なレベルのエラー」の中で、ある程度の回数だとかbit数だとかの規定値を超えたら
それはファームにより「不良セクタ」としてマークされ、代替処理が行われると思われる(OSからは見えない)。

一方、RAID456で使われているのは「パリティ」で、これは誤り訂正も出来ないし
エラー検出能力もきわめて低い。
しかし、「欠損」つまりどこのbitでエラーが起きたのか確実にわかるケースに限定すれば
正確に補完する能力があり、容量効率も良い。
これの欠損が、物理的な故障にぴたりとあてはまる。

**login:Penguin** · 2013/01/13(日) 14:27:24.11

というのが俺の認識。

**login:Penguin** · 2013/01/13(日) 17:12:42.97

CRCと言っても幾つもあって、訂正できるのもある。
訂正できるものでRAIDで使われているものもある。

**login:Penguin** · 2013/01/13(日) 17:22:37.59

なんでZFSスレすぐdat落ちしてしまうん？

**login:Penguin** · 2013/01/13(日) 22:28:03.82

>>717
つ http://ja.wikipedia.org/wiki/RAID#RAID_6:_.E3.83.96.E3.83.AD.E3.83.83.E3.82.AF.E5.8D.98.E4.BD.8D.E3.83.BB.E8.A4.87.E6.95.B0.E3.83.91.E3.83.AA.E3.83.86.E3.82.A3.E5.88.86.E6.95.A3.E8.A8.98.E9.8C.B2

**login:Penguin** · 2013/01/13(日) 22:31:47.15

RAID-5・6の欠点はパリティ更新時の障害によるサイレントクラッシュであって、
パリティの算出手法そのものには、まあ問題ない。

**login:Penguin** · 2013/01/13(日) 22:43:13.74

そこまでRAID5やRAID6に不満や疑義あるならEMCでも使えばいいじゃん

**login:Penguin** · 2013/01/13(日) 22:44:30.77

>>721
708でも書いたんだけど、エラー位置が既知の場合しか訂正できない様に
読めるんだけど。
普通はそういうのは誤り訂正符号とは言わないと思う。(個人的感想)
これを誤り訂正可能というなら、ただのパリティも誤り訂正可能だよ。
もちろん世の中すべてのRAID6の実装を知ってるわけでなく、wikipediaの
記述に関してだけ言っています。

**login:Penguin** · 2013/01/14(月) 13:16:39.96

>>724
それが所謂サイレントクラッシュな訳だが。
誤り訂正符号で治せないのと、破損位置が分からないのは、
別の問題じゃねーの。

**login:Penguin** · 2013/01/14(月) 15:29:49.71

>>724は、>>717に対する>>721の良く分からないコメントに(横から)レスしました。

ECCと呼ばれるものはエラー位置が未知の状態で訂正します。
(パンクチャ/デパンクチャしたりもしますが…)
ECCでは、エラー位置が分からないのと訂正不能なのは同じ問題です。

ECCを採用するのは符号化率や計算能力とのトレードオフになるので、
エラー位置が分かることになっているRAIDでは採用しないのも当然と思います。

**login:Penguin** · 2013/01/14(月) 17:06:21.54

> ZFSでもファイルデータの修復ができるのはRAIDZとかで冗長化している場合だけですよね

RAID Z でないものも zpool scrub かけてエラーがあった場合に
checksum からなんとかできる程度の修理はしてくれる > ZFS

限界はあるけど．
っていうかどの程度までリカバリしてくれるのかは良く知らないのだ

**login:Penguin** · 2013/01/14(月) 18:58:42.94

ZFSならmirrorからでも修復は可能

あと複数Diskで冗長化してなくても、zfs set copies=xでファイル書き込み時に同一Disk内の複数の箇所に分散コピーできる
素直にHDD増やした方がいいけどね

**login:Penguin** · 2013/01/15(火) 11:09:35.36

>>720
話すネタがないから。

**login:Penguin** · 2013/01/16(水) 08:46:39.55

zolってどーなってるの？

**login:Penguin** · 2013/01/16(水) 17:12:46.94

ReFSってもう一般向けでも使えるんだな
http://www.k-php.com/lib/uploda/src/file703.png

**login:Penguin** · 2013/01/16(水) 20:26:34.41

>>731
Windows Server 2012からね。
今のところWindows8とかのクライアントOSには載ってないよ。

重複除去使いたいからNTFS使ってるけど(´・ω・｀)

**login:Penguin** · 2013/01/16(水) 21:07:05.97

ZFSとbtrfsって比較してる奴は……勝負になると思ってんのかなぁ？
全然違うじゃない
……名前の格好良さが！
（SunとOracleの信頼の差というのと、初出の安定感とかもあるけどさ！使いたい技術ってまず名前で決めるじゃない！）

**login:Penguin** · 2013/01/16(水) 21:09:21.32

巣に帰ってどうぞ

**login:Penguin** · 2013/01/16(水) 21:11:17.91

Btrfsってあと何年でstableになるんだろう。

ZFSのRaidzは数増やせないから不便で不便で(´；ω；｀)

**login:Penguin** · 2013/01/17(木) 00:05:11.89

速度的には同じくらいなん？

**login:Penguin** · 2013/01/17(木) 00:07:52.99

ZFSと比較はしたことはないがスナップショット取るとIOが固まるとか
スナップショットを削除するとIOが固まるとか時々deadlockが発生するとか
速度以前の問題。着実に改善はされてるがまだまだ。

**login:Penguin** · 2013/01/17(木) 09:28:19.77

ext5のが先にくるよ

**login:Penguin** · 2013/01/17(木) 10:30:03.06

fedora18ででたファイルシステムってどうなの？

**login:Penguin** · 2013/01/17(木) 10:48:42.26

>>739
なんていうファイルシステム?

**login:Penguin** · 2013/01/17(木) 10:50:04.67

>740
btrfsでしょ
昨日やってみたよ

**login:Penguin** · 2013/01/17(木) 10:56:35.01

FedFS のことかな。

>>741
btrfs は前からなかったっけ。

**login:Penguin** · 2013/01/17(木) 13:21:54.21

dragonflyBSD hammerの方が着実に実績を積んでる

**739** · 2013/01/18(金) 00:42:49.27

>>741
ググってから発言してくれ頼む
>>742
うん、それ
うちではインストールが途中で止まったから諦めた

**login:Penguin** · 2013/01/18(金) 08:56:29.52

>744
そうですか
btrfsを選択してOSをインストール出来るようになったのはfc18からじゃない

**login:Penguin** · 2013/01/18(金) 09:54:36.26

>>744
ファイルシステム名くらい最初から書けよ……。

**login:Penguin** · 2013/01/18(金) 11:35:37.27

アホ二人

**login:Penguin** · 2013/01/18(金) 17:15:33.73

ReFS Activator for Windows 8
http://www.firstever.eu/en/refs-activator-for-windows-8/

;(；ﾞﾟ'ωﾟ');

**login:Penguin** · 2013/01/19(土) 10:57:58.65

Server 2012のシステムファイルをそのまま配布しているので真っ黒

**login:Penguin** · 2013/01/20(日) 10:10:02.22

そもそもボラクルにやる気があるのか

**login:Penguin** · 2013/01/20(日) 15:44:03.92

>>750
btrfsのことならメイン開発者はもうオラクルにはいないぞ

**363** · 2013/01/20(日) 20:51:21.82

なに！
ならもうBtrfsはオワコンなのか

**login:Penguin** · 2013/01/21(月) 07:14:24.40

始まってすらいなかったような・・・

**login:Penguin** · 2013/01/21(月) 13:06:17.13

早くbtrfs捨ててZFSを突っ込めばいいのに……

**login:Penguin** · 2013/01/21(月) 14:09:16.43

FreeBSD, OpenBSDと共同で、OpenZFSとか作れないものなのかしらん。
ライセンスは、GPLv2とBSDのデュアルライセンスで

**login:Penguin** · 2013/01/21(月) 14:34:32.36

また初めから実装するのは無駄だしBSDと共同はないだろ

**login:Penguin** · 2013/01/21(月) 16:28:38.22

その方向ならHAMMERとかどうなん。使ったことないからよく知らないけど。

**login:Penguin** · 2013/01/22(火) 00:32:05.83

HammerをOpenBSDやデフォルトにしてほしい

**login:Penguin** · 2013/01/22(火) 14:17:27.15

だからZOLどうなってンのよ。

**login:Penguin** · 2013/01/23(水) 01:06:06.96

>>759
一向にstable出ないけど1,2ヶ月にいっぺんくらいはrc更新されてるよ。

**login:Penguin** · 2013/01/23(水) 11:33:57.90

FUSEベースのMicrosoft「exFAT」実装、「fuse-exfat 1.0」がリリース
http://sourceforge.jp/magazine/13/01/22/0452214

**login:Penguin** · 2013/01/23(水) 17:31:15.42

>>760
返信ありがとう。気長にstable出るの待つかあ。

>>761
これでさらにexFAT/GPTで起動が出来れば、
USBメモリがより安全になり使い道広がるんだが。

ファイルシステム総合スレ その15

ファイルシステム総合スレその15