ファイルシステム総合スレその15

**login:Penguin;** · 2012/06/30(土) 08:36:00.10

●前スレファイルシステム総合スレその14
http://engawa.2ch.net/test/read.cgi/linux/1326613113/
●関連スレ
ジャーナリングファイルシステム
http://toro.2ch.net/test/read.cgi/unix/979408065/
OpenSolaris/Illumos (OpenIndiana, etc.) 6
http://toro.2ch.net/test/read.cgi/unix/1337411922/
FS関連スレ
http://kohada.2ch.net/test/read.cgi/os/1137387538/l50
過去スレ、関連リンクは >>2-10 あたりで。

**login:Penguin** · 2013/02/06(水) 13:04:19.10

>>797
一本に「見せる」ためにオーバーヘッドが発生してるわけで
ある程度のパフォーマンス低下は避けられないよ
しかもfuse実装だし
まあ倉庫用ととしては問題ない速度出るし、俺自身愛用している

**login:Penguin** · 2013/02/06(水) 14:48:45.14

>>798
そんなクリティカルな業務に利用するもんじゃなし
「ある程度」なんて適当なこと書かんでもw

**login:Penguin** · 2013/02/06(水) 20:01:26.86

> ZFSは、Raid1をやりつつオンラインで領域拡張をしたり、

RAID-Z系はオンライン拡張NG(FreeBSDしか知らないけど，
たぶんソラリスでも同じ?)．
ただしRAID1 が要求なら，RAID1じゃなくてRAID1類似の
「同じデータを複数記録する」モードなら
動的領域拡張含めて対応OK

> ボリュームを構成しているHDDの一台が壊れても、
> マシンを止めたりファイルシステムをアンマウントせずとも
> HDDの付け替えとかできるの

ZFSとしては楽勝．すでに出てるようにOS側・ドライバとかの
対応の問題．FreeBSDでは出来てるです

**login:Penguin** · 2013/02/06(水) 20:32:44.68

>>800
> > ZFSは、Raid1をやりつつオンラインで領域拡張をしたり、
>
> RAID-Z系はオンライン拡張NG(FreeBSDしか知らないけど，
> たぶんソラリスでも同じ?)．
> ただしRAID1 が要求なら，RAID1じゃなくてRAID1類似の
> 「同じデータを複数記録する」モードなら
> 動的領域拡張含めて対応OK

RAID-Z も大丈夫だよ。

> > ボリュームを構成しているHDDの一台が壊れても、
> > マシンを止めたりファイルシステムをアンマウントせずとも
> > HDDの付け替えとかできるの
>
> ZFSとしては楽勝．すでに出てるようにOS側・ドライバとかの
> 対応の問題．FreeBSDでは出来てるです

HBA でOS上のデバイス名の特定とエンクロージャーのスロット番号の特定って
どうやってる？

**login:Penguin** · 2013/02/06(水) 23:35:05.95

オンライン拡張はZFSの開発理由だからね
メモリは刺せば全容量がすぐ使えるのにHDDは刺した後もなんだかんだと色々面倒臭い
ってのが開発動機だったってあのsunのページどこいったんだろ

**login:Penguin** · 2013/02/07(木) 07:47:08.22

ZFSでいろいろ実験したときに、SSDと内蔵HDD、外付けUSBのHDDで
Poolを作ってみた。容量は全てのストレージの合計となり、SSDに空きが
ある時には読み書きも速かったが、SSDがいっぱいになったらショボーンな
結果に。アクセスの頻度をみて、中のデータをSSD->内蔵HDD->USBと
再配置するような高等な機能は無いみたい。

何か設定があるんだったけ？

**login:Penguin** · 2013/02/07(木) 08:01:21.46

SunがOracleに買われてから、失われたwebページが大量にあるんだよな...

**login:Penguin** · 2013/02/07(木) 08:18:09.52

>>803
L2arc

**login:Penguin** · 2013/02/07(木) 08:37:33.88

>>803
キャッシュとかL2ARCとか
よくは知らんが、単にプールの1メンバーとしてSSD足したらそりゃそうなるわな

**login:Penguin** · 2013/02/07(木) 19:04:33.57

>>802
これ？
tp://web.archive.org/web/20090412131623/http://jp.sun.com/communities/0612/feature01.html

**login:Penguin** · 2013/02/10(日) 10:17:28.60

>>807
うんソレ
Sunの読み物って結構面白いのあったのにね

**login:Penguin** · 2013/02/12(火) 12:32:52.65

>801
RAID-Z で例えば4本のpoolについて4本を大容量に交換，は
出来るけど，5本，6本へと「本数追加」は出来ないですよね?

> HBA でOS上のデバイス名の特定とエンクロージャーのスロット番号の特定って

エンタープライズ方面は知らないけど
個人運用だと smartctl -a あたりでHDDのシリアル調べて
実際の弾とのシリアル照合してます
(オンラインで変えるのが前提だったら
設置時にシリアルを前面に貼っておくかな)

**login:Penguin** · 2013/02/12(火) 14:34:50.02

>>809
Linux だと sas2icru でエンクロージャ番号スロット番号と SAS address の対
応が取れ、SAS address との対応は、/dev/disk/by-path で取って、sas2ciru
で該当のスロットのランプを点灯させることができて楽なんですが、FreeBSD
だと似たようなことは難しいですかね…？

sas2ciru はあるので、camcontrol とかで SAS アドレスを取れるといいのだけども…

**login:Penguin** · 2013/02/13(水) 09:58:37.20

結論は板違いになっちゃうけど、
http://en.wikipedia.org/wiki/Zfs#Comparisons
これみるとやっぱZFSで遊ぼうと思うとOracle Solaris 11 2011.11でバージョン33を楽しむのがベストなのかな？

**login:Penguin** · 2013/02/14(木) 07:09:51.57

遊ぶだけならなんでもいいだろ。
シリアスな用途ならSolaris一択。

**login:Penguin** · 2013/02/14(木) 07:45:54.20

昨年の5月の連休で、ZFS Native Linuxで遊びました。
USBディスクを5台使って、RAIDZ1、2の構築とか、
USBディスクを外してディスク障害発生！！とか。
スピードが遅いんであくまで遊びでした。

USB 3.0なら実用的な速度で動くんじゃ無いかと、
こんな構成のファイルサーバを構想中

本体内 HDD システム
USB 1～3 HDD (USB 3.0接続）
USB 4 SSDデバイス（キャッシュ用）

**login:Penguin** · 2013/02/14(木) 13:23:56.43

なんでUSB接続？

**login:Penguin** · 2013/02/14(木) 18:25:12.10

>>813
いや帯域が

**login:Penguin** · 2013/02/14(木) 18:27:15.48

USBだと気軽にdetachできるからじゃ？

**login:Penguin** · 2013/02/14(木) 19:25:56.79

>>813
どのフラッシュメモリにも寿命がある。
USBメモリの寿命の短さはSSDの比ではない。
USBメモリをファイルシステムとして常用したらあっという間に昇天するよ。
遊びならいいんだけどさ。

**login:Penguin** · 2013/02/14(木) 19:35:10.67

どこにもUSBメモリなんて書いてないのに勝手に訓告してる奴

**817** · 2013/02/14(木) 20:03:36.35

これは失礼。

**login:Penguin** · 2013/02/14(木) 20:09:47.77

ZFSで遊ぶような人なら
USBメモリの書き込み寿命の話なんて百も承知だよな

**login:Penguin** · 2013/02/14(木) 20:19:27.54

ZFSのRAIDZとかミラーリングでUSBメモリの寿命の短さを見かけカバーできるんでは？
ZFSがそもそもUSBメモリの障害を想定した設計になってるのか知らないけどさ。

**login:Penguin** · 2013/02/14(木) 21:33:32.57

>>813に「HDD」って明記してあるやん

**login:Penguin** · 2013/02/15(金) 00:23:52.03

USB = USBメモリ
だからな、一般人にとっては・・・。

**login:Penguin** · 2013/02/15(金) 00:28:43.77

一般人はUSBメモリなんて使わないよ
SDカード使うよ

**login:Penguin** · 2013/02/15(金) 16:06:49.12

>>780
LinuxのソフトRAIDってmdadm+LVMのイメージだったがどんどんmdadmと機能被ってる気が・・・

>>809
＞5本，6本へと「本数追加」は出来ないですよね?
できない。
4本でRAID-Z1のプールに更に4本足して4+4本のプールは作れるけど。
ちなみにZoLだとSATAポートの位置かシリアル名使ってデバイス管理できるよ。

>>811
オープンソースがv28で止まったけど、各OSS実装はv28ベースで独自に機能拡張してるよ。
プラットフォーム毎に非互換になるとマズイので、feature flagsというので名前つけて管理してる。
そのページで28/5000ってなってるのがそれで、便宜上v5000ってことにしてバージョンではなく各feature flagsの有無を機能差としている。
なので本家以外が古いままというわけではなく、最新のillumosやZoLではlz4圧縮とか使えてこれはこれで楽しめるよ。

**login:Penguin** · 2013/02/15(金) 16:53:28.88

>>817
一般人乙！

**813** · 2013/02/15(金) 18:02:17.96

一日不在の間に話題の人になってしまった。

USBで接続したいのはディスクの交換が簡単にできる事と、
動作試験が楽かなと思った事です。RAIDZの障害復旧の
テストで、3本のUSBディスクのうち1本の電源をコンセントから
抜けば障害発生の試験が出来ます。

ソフト的にディスクのハード障害をテストできれば良いのだが、
smartの機能で一部セクターの読み込み不可状態とか、ヘッドが
動かないとかエミュレート出来ないものかな。

**login:Penguin** · 2013/02/15(金) 18:15:15.24

なんでわざわざUSB3.0なんか使う必要あるんだ
こういうの使えばいいだろ
http://www.century.co.jp/products/pc/hdd-case/crsj535eu3.html

**login:Penguin** · 2013/02/15(金) 19:09:14.49

むしろちょっと試したい人がなんでこんな高いもの買う必要があるのかと。

**login:Penguin** · 2013/02/15(金) 19:13:35.39

いや遊びでって書いてるだけだったら別にいいんだけど
その後に実用的なとか言ってるから

**login:Penguin** · 2013/02/15(金) 19:16:04.20

USBは固定出来ないから、掃除のおばちゃんが足ひっかけて抜けちゃうからダメ

**login:Penguin** · 2013/02/15(金) 19:30:17.38

置く場所が変わらないならeSATAでもリスク変わんねーだろ

**login:Penguin** · 2013/02/15(金) 19:30:56.73

掃除のおばちゃん障害復旧が優れているファイルシステムはありますか？

**login:Penguin** · 2013/02/15(金) 19:31:25.90

掃除しないこと

**login:Penguin** · 2013/02/15(金) 19:41:45.76

掃除のおばちゃんがいないとガベージコレクションできないんですが…

**login:Penguin** · 2013/02/15(金) 19:42:05.56

抜けない方が大惨事になる可能性

**login:Penguin** · 2013/02/15(金) 20:07:29.08

パソコンの電源を切った状態で掃除してもらえば
どんなファイルシステムでも壊れることはない

**login:Penguin** · 2013/02/15(金) 20:29:03.69

電源を落としたが最後、二度と起動しないシステム

**login:Penguin** · 2013/02/15(金) 20:29:51.22

書き換えなければ大丈夫

**login:Penguin** · 2013/02/15(金) 20:35:58.17

そういやZFSってファイルシステム全体をリードオンリにできるんだっけ

**login:Penguin** · 2013/02/15(金) 20:44:41.58

>>840
大抵のファイルシステムはroオプションに対応してるけど

**login:Penguin** · 2013/02/16(土) 14:26:47.74

android側から、linux のファイルシステムを外付けhdd、sdカード等で認識させた方はいらっしゃるでしょうか。

当方は、ディスクを複数にスライスしているためか、ext3を含め全てのパーティションを認識出来ませんでした。また、試す事が出来る空のメモリーも所持していません。
御存じな方、よろしくお願いします。

**login:Penguin** · 2013/02/16(土) 15:44:52.50

できるかできないかだけでいえばもちろん出来る

**login:Penguin** · 2013/02/16(土) 17:16:38.35

>>843
ありがとうございます。その場合は、ntfs のように特別なappを必要とするのでしょうか。play で探しても見つける事が出来ませんでした。
ちなみに、当方、android3.2を否rootで使用しています。
よろしくお願いします。

**login:Penguin** · 2013/02/17(日) 03:50:21.11

(´・ω・`)知らんがな

**login:Penguin** · 2013/02/17(日) 05:12:53.26

倉庫に最適な圧縮ファイルシステムはなに？

**login:Penguin** · 2013/02/17(日) 10:44:17.44

何のデータ入れるかしらんけど普通の使い方じゃ大して圧縮なんか聞かんぞ

**login:Penguin** · 2013/02/17(日) 11:10:40.48

reiserfsはスペース効率が高いよ
/etcをreiserf->ext3にコピーしたら1.5倍くらいに膨れてしまう
小さい無数のファイルってパターンはreiserfsが最強かもね
異なるファイルシステム間のコピーはスペース効率の差を考えないと落とし穴にハマる
論理は同じ4kのファイルでも消費する容量は違ってくる

**456** · 2013/02/17(日) 11:32:16.29

>>846
お前の好きなエロ動画もエロ画像もふぁいとして圧縮済みだから、小さくならないけどいいのか？

**login:Penguin** · 2013/02/17(日) 11:50:22.46

>>846
これだな。
$ tar -cJf /dev/sdb hoge

**login:Penguin** · 2013/02/17(日) 17:32:37.95

>>850
それtar使う意味あんの。xz単体じゃ駄目なの?

**login:Penguin** · 2013/02/18(月) 01:10:59.80

ｼｰｯ
相手しちゃダメよ

**login:Penguin** · 2013/02/18(月) 09:35:49.55

>>842
Andoridで直接外部デバイスをマウントするにはrootが必要。
rootなしで間接的に読み書きする売り物アプリはある。

**login:Penguin** · 2013/02/18(月) 12:50:59.99

>>853
それが、出来たのよ。fat は、でふぉ。ntfs は、それ用のapp をインストールして。
無論、usb ホスト機能が備わったデバイスなんだけど。

出来なかったのは、複数にスライスしたディスクの認識。それと、(事情があって)未確認なのが、linux のファイルシステム。
これ、ぐぐっても上手く情報を見つける事が出来なかったので、質問させてもらいました。

**login:Penguin** · 2013/02/18(月) 14:50:32.13

>>854
fatがマウント出来るのはSDカードと同じ扱いだからじゃないの？

**login:Penguin** · 2013/02/18(月) 15:44:46.34

少なくてもこのスレの話題ではない

**login:Penguin** · 2013/02/18(月) 15:57:19.39

>>856
おっしゃるとおりですね。これで、止めておきます。
android のスレッドで答えが出てこなかったので、こちらにすがりました。android でlinux のファイルシステムが認識するかどうかを確認する事は難しくも手間でもないので、環境が整ったら自分で試す事にします。

**login:Penguin** · 2013/02/18(月) 16:08:58.53

あと質問するならどういう手順でやってどういうエラーがでてどうだめなのかもっと具体的に書かないと

**login:Penguin** · 2013/02/18(月) 16:53:31.16

Androidのroot化スレに来れば？
こんなアプリありませんかスレでも教えてくれると思う。

**login:Penguin** · 2013/02/19(火) 17:31:56.68

スライスなんて言葉使うところでイラっときてしまったw
普通はパーティション切る、とかじゃないの。

**login:Penguin** · 2013/02/19(火) 17:39:12.67

SliceはSunOSとFreeBSDの方言だね。

**login:Penguin** · 2013/02/19(火) 20:10:42.41

方言っていうか、ちょっと違うものだと思うんだが。

**login:Penguin** · 2013/02/20(水) 18:45:00.71

ext4にもinline extentきた
http://kernelnewbies.org/Linux_3.8

**login:Penguin** · 2013/02/22(金) 15:27:09.19

>>863
3.8はいつ酢テーブルになんだよ

**login:Penguin** · 2013/02/22(金) 17:59:49.70

いつなる、とか決まってるのか？
カーネルはいつだって発展途上だろうよ。
小数点以下の奇数偶数で性格が違ってた時期とは違うんだし。

**login:Penguin** · 2013/02/25(月) 06:40:22.06

http://sourceforge.jp/magazine/13/02/19/2355244

386プロセッササポートを廃止した「Linux 3.8」リリース、SSD向けファイルシステムやExt4でのinode内へのファイル埋め込みなど新機能も搭載
2013年02月20日 15:30 末岡洋子

　大きな改良点としては、Ext4ファイルシステムでinode内にファイルを埋め込む機能の追加が挙げられる。
inodeはファイルシステム内に作成されたデータベースで、ファイルサイズやその作成/更新日、
実際のデータが格納されている位置といったファイルに関する情報が格納されている。
ファイルの中身はinodeとは別の場所に書き込まれているが、ext4では一定サイズ（通常は4KB）のブロックでデータを管理しているため、
数バイトのデータでも4KB分のブロックを消費してしまうことになっていた。
そこで、このようなサイズの小さいファイルについては、inode内で利用されていない空間に格納することでディスク容量の無駄な消費を抑え、また読み込みパフォーマンスの向上を図るという。

NTFSみたいな仕様になってきたな（700バイト前後のデータはMFTに格納）

**login:Penguin** · 2013/02/25(月) 18:09:18.18

NTFS「二十年前からやってたわー」

**login:Penguin** · 2013/02/25(月) 19:30:08.77

むしろ今までやってないことに驚愕した。
当然そういうことはやってるものだとばっかり。

**login:Penguin** · 2013/02/25(月) 20:39:00.96

linux生まれのファイルシステムは本当にロクなものがないな

**login:Penguin** · 2013/02/25(月) 21:08:46.27

reiserfs使えばいいじゃんって言われていたところ

**login:Penguin** · 2013/02/25(月) 21:18:40.17

>>867
MFTが無駄にでかくなるのは勘弁してほしいですな
デフラグの邪魔になるし

**login:Penguin** · 2013/02/26(火) 02:43:12.39

metadataはwrite throughがbasicだから、
そこにdataをembedするとgentleにhandleしないとtoo slow。

**login:Penguin** · 2013/02/26(火) 03:42:36.62

That's too bad.

**login:Penguin** · 2013/02/26(火) 08:56:16.17

>>872
ルー乙

**login:Penguin** · 2013/02/26(火) 09:04:00.85

>>872
ついでに教えて欲しいんだが、gentleにhandleするひつようがあるのはだれ？

ユーザースペースのプログラム？それともファイルシステム実装？

**login:Penguin** · 2013/02/26(火) 17:12:35.21

>>871
デフォルトじゃ256バイトまでしか格納しないから大丈夫

**login:Penguin** · 2013/02/26(火) 21:20:04.95

静的inodeのext4にサイズは元々関係ないだろ

**login:Penguin** · 2013/02/26(火) 21:26:46.70

>>876
NTFSってそうなんだ。
ぶっちゃけ意味ないよね、WindowsOSって粒度の小さいファイルがメインじゃないし。

**login:Penguin** · 2013/02/26(火) 23:52:44.18

ブラウザの履歴とかがショートカットファイルなんじゃなかったっけ?

**login:Penguin** · 2013/02/27(水) 00:00:46.00

履歴なんてまとめてDB系のファイルになってんのと違うの?
まさか1件ごとに1ファイル?

**login:Penguin** · 2013/02/27(水) 03:56:54.81

昔はCOOKIEとか1ドメインに1ファイルだったりしたな。
今はどうなってるのか知らんが。

**login:Penguin** · 2013/02/27(水) 04:43:31.01

個人的には1件ごとに1ファイルがよかったな。lsとかgrepとかつかえるし
DBの機能はファイルシステムが持つべきだった

**login:Penguin** · 2013/02/27(水) 08:23:30.15

256バイトはext4の話だろ

**login:Penguin** · 2013/02/27(水) 12:03:33.92

>>878
256バイトなのはext4の方
NTFSは700バイトくらいまでいける

**login:Penguin** · 2013/02/27(水) 13:10:18.77

>>884
ん？そうなの？今まで埋め込み機能はなかったんじゃないの？
>>886 で今回4k以下のファイルが埋め込み可能になったと。

**login:Penguin** · 2013/02/27(水) 13:11:38.23

>>885
間違えた。 886じゃなくて >>866ね。

**login:Penguin** · 2013/02/27(水) 13:29:58.23

まさかext4のinodeが4KBあると思ってる？

**login:Penguin** · 2013/02/27(水) 13:54:22.85

>>887
ん、いや >>866 の記事だと256バイトという記述はないので、
そうなの？って聞いているだけだけど。

**login:Penguin** · 2013/02/27(水) 14:53:37.22

>>888
さらに元の記事というか仕様をよむと書いてある
英語だけど中学生でも読めるから読んどけ

**login:Penguin** · 2013/02/27(水) 15:03:34.45

>>889
ヤダヨメンドクセー

**login:Penguin** · 2013/02/28(木) 07:57:02.49

簡単な英語すら読まないクズがなんでこんなところに？

**login:Penguin** · 2013/02/28(木) 12:01:41.18

>>867
> NTFS「二十年前からやってたわー」

まるで UNIX みたいでつね。

**login:Penguin** · 2013/03/02(土) 22:04:08.92

最近は英語を読む必要もないよ
自動翻訳の変な日本語を理解する能力があればいい
技術革新で生まれた新しいスキル

**login:Penguin** · 2013/03/02(土) 22:18:22.57

NTFSってVMSの流れを汲んでるんですよね

**login:Penguin** · 2013/03/04(月) 02:45:38.64

Sun ZFS用のソフトでOracle DBのプロビジョニングが迅速に
http://ascii.jp/elem/000/000/768/768600/?new

**login:Penguin** · 2013/03/04(月) 17:18:33.98

宮坂美樹さんHPからOracleへ転職したんだ。

ご愁傷さま。

**login:Penguin** · 2013/03/05(火) 01:18:46.40

http://blog.livedoor.jp/ese_admin/lite/archives/52018976.html
ZFSといえば、盲信してやってしまった話があったね。
今は性能でるのか、構成に問題があったのか。

ファイルシステム総合スレ その15

ファイルシステム総合スレその15