ファイルシステム総合スレその15

**login:Penguin;** · 2012/06/30(土) 08:36:00.10

●前スレファイルシステム総合スレその14
http://engawa.2ch.net/test/read.cgi/linux/1326613113/
●関連スレ
ジャーナリングファイルシステム
http://toro.2ch.net/test/read.cgi/unix/979408065/
OpenSolaris/Illumos (OpenIndiana, etc.) 6
http://toro.2ch.net/test/read.cgi/unix/1337411922/
FS関連スレ
http://kohada.2ch.net/test/read.cgi/os/1137387538/l50
過去スレ、関連リンクは >>2-10 あたりで。

**login:Penguin** · 2013/02/14(木) 07:09:51.57

遊ぶだけならなんでもいいだろ。
シリアスな用途ならSolaris一択。

**login:Penguin** · 2013/02/14(木) 07:45:54.20

昨年の5月の連休で、ZFS Native Linuxで遊びました。
USBディスクを5台使って、RAIDZ1、2の構築とか、
USBディスクを外してディスク障害発生！！とか。
スピードが遅いんであくまで遊びでした。

USB 3.0なら実用的な速度で動くんじゃ無いかと、
こんな構成のファイルサーバを構想中

本体内 HDD システム
USB 1～3 HDD (USB 3.0接続）
USB 4 SSDデバイス（キャッシュ用）

**login:Penguin** · 2013/02/14(木) 13:23:56.43

なんでUSB接続？

**login:Penguin** · 2013/02/14(木) 18:25:12.10

>>813
いや帯域が

**login:Penguin** · 2013/02/14(木) 18:27:15.48

USBだと気軽にdetachできるからじゃ？

**login:Penguin** · 2013/02/14(木) 19:25:56.79

>>813
どのフラッシュメモリにも寿命がある。
USBメモリの寿命の短さはSSDの比ではない。
USBメモリをファイルシステムとして常用したらあっという間に昇天するよ。
遊びならいいんだけどさ。

**login:Penguin** · 2013/02/14(木) 19:35:10.67

どこにもUSBメモリなんて書いてないのに勝手に訓告してる奴

**817** · 2013/02/14(木) 20:03:36.35

これは失礼。

**login:Penguin** · 2013/02/14(木) 20:09:47.77

ZFSで遊ぶような人なら
USBメモリの書き込み寿命の話なんて百も承知だよな

**login:Penguin** · 2013/02/14(木) 20:19:27.54

ZFSのRAIDZとかミラーリングでUSBメモリの寿命の短さを見かけカバーできるんでは？
ZFSがそもそもUSBメモリの障害を想定した設計になってるのか知らないけどさ。

**login:Penguin** · 2013/02/14(木) 21:33:32.57

>>813に「HDD」って明記してあるやん

**login:Penguin** · 2013/02/15(金) 00:23:52.03

USB = USBメモリ
だからな、一般人にとっては・・・。

**login:Penguin** · 2013/02/15(金) 00:28:43.77

一般人はUSBメモリなんて使わないよ
SDカード使うよ

**login:Penguin** · 2013/02/15(金) 16:06:49.12

>>780
LinuxのソフトRAIDってmdadm+LVMのイメージだったがどんどんmdadmと機能被ってる気が・・・

>>809
＞5本，6本へと「本数追加」は出来ないですよね?
できない。
4本でRAID-Z1のプールに更に4本足して4+4本のプールは作れるけど。
ちなみにZoLだとSATAポートの位置かシリアル名使ってデバイス管理できるよ。

>>811
オープンソースがv28で止まったけど、各OSS実装はv28ベースで独自に機能拡張してるよ。
プラットフォーム毎に非互換になるとマズイので、feature flagsというので名前つけて管理してる。
そのページで28/5000ってなってるのがそれで、便宜上v5000ってことにしてバージョンではなく各feature flagsの有無を機能差としている。
なので本家以外が古いままというわけではなく、最新のillumosやZoLではlz4圧縮とか使えてこれはこれで楽しめるよ。

**login:Penguin** · 2013/02/15(金) 16:53:28.88

>>817
一般人乙！

**813** · 2013/02/15(金) 18:02:17.96

一日不在の間に話題の人になってしまった。

USBで接続したいのはディスクの交換が簡単にできる事と、
動作試験が楽かなと思った事です。RAIDZの障害復旧の
テストで、3本のUSBディスクのうち1本の電源をコンセントから
抜けば障害発生の試験が出来ます。

ソフト的にディスクのハード障害をテストできれば良いのだが、
smartの機能で一部セクターの読み込み不可状態とか、ヘッドが
動かないとかエミュレート出来ないものかな。

**login:Penguin** · 2013/02/15(金) 18:15:15.24

なんでわざわざUSB3.0なんか使う必要あるんだ
こういうの使えばいいだろ
http://www.century.co.jp/products/pc/hdd-case/crsj535eu3.html

**login:Penguin** · 2013/02/15(金) 19:09:14.49

むしろちょっと試したい人がなんでこんな高いもの買う必要があるのかと。

**login:Penguin** · 2013/02/15(金) 19:13:35.39

いや遊びでって書いてるだけだったら別にいいんだけど
その後に実用的なとか言ってるから

**login:Penguin** · 2013/02/15(金) 19:16:04.20

USBは固定出来ないから、掃除のおばちゃんが足ひっかけて抜けちゃうからダメ

**login:Penguin** · 2013/02/15(金) 19:30:17.38

置く場所が変わらないならeSATAでもリスク変わんねーだろ

**login:Penguin** · 2013/02/15(金) 19:30:56.73

掃除のおばちゃん障害復旧が優れているファイルシステムはありますか？

**login:Penguin** · 2013/02/15(金) 19:31:25.90

掃除しないこと

**login:Penguin** · 2013/02/15(金) 19:41:45.76

掃除のおばちゃんがいないとガベージコレクションできないんですが…

**login:Penguin** · 2013/02/15(金) 19:42:05.56

抜けない方が大惨事になる可能性

**login:Penguin** · 2013/02/15(金) 20:07:29.08

パソコンの電源を切った状態で掃除してもらえば
どんなファイルシステムでも壊れることはない

**login:Penguin** · 2013/02/15(金) 20:29:03.69

電源を落としたが最後、二度と起動しないシステム

**login:Penguin** · 2013/02/15(金) 20:29:51.22

書き換えなければ大丈夫

**login:Penguin** · 2013/02/15(金) 20:35:58.17

そういやZFSってファイルシステム全体をリードオンリにできるんだっけ

**login:Penguin** · 2013/02/15(金) 20:44:41.58

>>840
大抵のファイルシステムはroオプションに対応してるけど

**login:Penguin** · 2013/02/16(土) 14:26:47.74

android側から、linux のファイルシステムを外付けhdd、sdカード等で認識させた方はいらっしゃるでしょうか。

当方は、ディスクを複数にスライスしているためか、ext3を含め全てのパーティションを認識出来ませんでした。また、試す事が出来る空のメモリーも所持していません。
御存じな方、よろしくお願いします。

**login:Penguin** · 2013/02/16(土) 15:44:52.50

できるかできないかだけでいえばもちろん出来る

**login:Penguin** · 2013/02/16(土) 17:16:38.35

>>843
ありがとうございます。その場合は、ntfs のように特別なappを必要とするのでしょうか。play で探しても見つける事が出来ませんでした。
ちなみに、当方、android3.2を否rootで使用しています。
よろしくお願いします。

**login:Penguin** · 2013/02/17(日) 03:50:21.11

(´・ω・`)知らんがな

**login:Penguin** · 2013/02/17(日) 05:12:53.26

倉庫に最適な圧縮ファイルシステムはなに？

**login:Penguin** · 2013/02/17(日) 10:44:17.44

何のデータ入れるかしらんけど普通の使い方じゃ大して圧縮なんか聞かんぞ

**login:Penguin** · 2013/02/17(日) 11:10:40.48

reiserfsはスペース効率が高いよ
/etcをreiserf->ext3にコピーしたら1.5倍くらいに膨れてしまう
小さい無数のファイルってパターンはreiserfsが最強かもね
異なるファイルシステム間のコピーはスペース効率の差を考えないと落とし穴にハマる
論理は同じ4kのファイルでも消費する容量は違ってくる

**456** · 2013/02/17(日) 11:32:16.29

>>846
お前の好きなエロ動画もエロ画像もふぁいとして圧縮済みだから、小さくならないけどいいのか？

**login:Penguin** · 2013/02/17(日) 11:50:22.46

>>846
これだな。
$ tar -cJf /dev/sdb hoge

**login:Penguin** · 2013/02/17(日) 17:32:37.95

>>850
それtar使う意味あんの。xz単体じゃ駄目なの?

**login:Penguin** · 2013/02/18(月) 01:10:59.80

ｼｰｯ
相手しちゃダメよ

**login:Penguin** · 2013/02/18(月) 09:35:49.55

>>842
Andoridで直接外部デバイスをマウントするにはrootが必要。
rootなしで間接的に読み書きする売り物アプリはある。

**login:Penguin** · 2013/02/18(月) 12:50:59.99

>>853
それが、出来たのよ。fat は、でふぉ。ntfs は、それ用のapp をインストールして。
無論、usb ホスト機能が備わったデバイスなんだけど。

出来なかったのは、複数にスライスしたディスクの認識。それと、(事情があって)未確認なのが、linux のファイルシステム。
これ、ぐぐっても上手く情報を見つける事が出来なかったので、質問させてもらいました。

**login:Penguin** · 2013/02/18(月) 14:50:32.13

>>854
fatがマウント出来るのはSDカードと同じ扱いだからじゃないの？

**login:Penguin** · 2013/02/18(月) 15:44:46.34

少なくてもこのスレの話題ではない

**login:Penguin** · 2013/02/18(月) 15:57:19.39

>>856
おっしゃるとおりですね。これで、止めておきます。
android のスレッドで答えが出てこなかったので、こちらにすがりました。android でlinux のファイルシステムが認識するかどうかを確認する事は難しくも手間でもないので、環境が整ったら自分で試す事にします。

**login:Penguin** · 2013/02/18(月) 16:08:58.53

あと質問するならどういう手順でやってどういうエラーがでてどうだめなのかもっと具体的に書かないと

**login:Penguin** · 2013/02/18(月) 16:53:31.16

Androidのroot化スレに来れば？
こんなアプリありませんかスレでも教えてくれると思う。

**login:Penguin** · 2013/02/19(火) 17:31:56.68

スライスなんて言葉使うところでイラっときてしまったw
普通はパーティション切る、とかじゃないの。

**login:Penguin** · 2013/02/19(火) 17:39:12.67

SliceはSunOSとFreeBSDの方言だね。

**login:Penguin** · 2013/02/19(火) 20:10:42.41

方言っていうか、ちょっと違うものだと思うんだが。

**login:Penguin** · 2013/02/20(水) 18:45:00.71

ext4にもinline extentきた
http://kernelnewbies.org/Linux_3.8

**login:Penguin** · 2013/02/22(金) 15:27:09.19

>>863
3.8はいつ酢テーブルになんだよ

**login:Penguin** · 2013/02/22(金) 17:59:49.70

いつなる、とか決まってるのか？
カーネルはいつだって発展途上だろうよ。
小数点以下の奇数偶数で性格が違ってた時期とは違うんだし。

**login:Penguin** · 2013/02/25(月) 06:40:22.06

http://sourceforge.jp/magazine/13/02/19/2355244

386プロセッササポートを廃止した「Linux 3.8」リリース、SSD向けファイルシステムやExt4でのinode内へのファイル埋め込みなど新機能も搭載
2013年02月20日 15:30 末岡洋子

　大きな改良点としては、Ext4ファイルシステムでinode内にファイルを埋め込む機能の追加が挙げられる。
inodeはファイルシステム内に作成されたデータベースで、ファイルサイズやその作成/更新日、
実際のデータが格納されている位置といったファイルに関する情報が格納されている。
ファイルの中身はinodeとは別の場所に書き込まれているが、ext4では一定サイズ（通常は4KB）のブロックでデータを管理しているため、
数バイトのデータでも4KB分のブロックを消費してしまうことになっていた。
そこで、このようなサイズの小さいファイルについては、inode内で利用されていない空間に格納することでディスク容量の無駄な消費を抑え、また読み込みパフォーマンスの向上を図るという。

NTFSみたいな仕様になってきたな（700バイト前後のデータはMFTに格納）

**login:Penguin** · 2013/02/25(月) 18:09:18.18

NTFS「二十年前からやってたわー」

**login:Penguin** · 2013/02/25(月) 19:30:08.77

むしろ今までやってないことに驚愕した。
当然そういうことはやってるものだとばっかり。

**login:Penguin** · 2013/02/25(月) 20:39:00.96

linux生まれのファイルシステムは本当にロクなものがないな

**login:Penguin** · 2013/02/25(月) 21:08:46.27

reiserfs使えばいいじゃんって言われていたところ

**login:Penguin** · 2013/02/25(月) 21:18:40.17

>>867
MFTが無駄にでかくなるのは勘弁してほしいですな
デフラグの邪魔になるし

**login:Penguin** · 2013/02/26(火) 02:43:12.39

metadataはwrite throughがbasicだから、
そこにdataをembedするとgentleにhandleしないとtoo slow。

**login:Penguin** · 2013/02/26(火) 03:42:36.62

That's too bad.

**login:Penguin** · 2013/02/26(火) 08:56:16.17

>>872
ルー乙

**login:Penguin** · 2013/02/26(火) 09:04:00.85

>>872
ついでに教えて欲しいんだが、gentleにhandleするひつようがあるのはだれ？

ユーザースペースのプログラム？それともファイルシステム実装？

**login:Penguin** · 2013/02/26(火) 17:12:35.21

>>871
デフォルトじゃ256バイトまでしか格納しないから大丈夫

**login:Penguin** · 2013/02/26(火) 21:20:04.95

静的inodeのext4にサイズは元々関係ないだろ

**login:Penguin** · 2013/02/26(火) 21:26:46.70

>>876
NTFSってそうなんだ。
ぶっちゃけ意味ないよね、WindowsOSって粒度の小さいファイルがメインじゃないし。

**login:Penguin** · 2013/02/26(火) 23:52:44.18

ブラウザの履歴とかがショートカットファイルなんじゃなかったっけ?

**login:Penguin** · 2013/02/27(水) 00:00:46.00

履歴なんてまとめてDB系のファイルになってんのと違うの?
まさか1件ごとに1ファイル?

**login:Penguin** · 2013/02/27(水) 03:56:54.81

昔はCOOKIEとか1ドメインに1ファイルだったりしたな。
今はどうなってるのか知らんが。

**login:Penguin** · 2013/02/27(水) 04:43:31.01

個人的には1件ごとに1ファイルがよかったな。lsとかgrepとかつかえるし
DBの機能はファイルシステムが持つべきだった

**login:Penguin** · 2013/02/27(水) 08:23:30.15

256バイトはext4の話だろ

**login:Penguin** · 2013/02/27(水) 12:03:33.92

>>878
256バイトなのはext4の方
NTFSは700バイトくらいまでいける

**login:Penguin** · 2013/02/27(水) 13:10:18.77

>>884
ん？そうなの？今まで埋め込み機能はなかったんじゃないの？
>>886 で今回4k以下のファイルが埋め込み可能になったと。

**login:Penguin** · 2013/02/27(水) 13:11:38.23

>>885
間違えた。 886じゃなくて >>866ね。

**login:Penguin** · 2013/02/27(水) 13:29:58.23

まさかext4のinodeが4KBあると思ってる？

**login:Penguin** · 2013/02/27(水) 13:54:22.85

>>887
ん、いや >>866 の記事だと256バイトという記述はないので、
そうなの？って聞いているだけだけど。

**login:Penguin** · 2013/02/27(水) 14:53:37.22

>>888
さらに元の記事というか仕様をよむと書いてある
英語だけど中学生でも読めるから読んどけ

**login:Penguin** · 2013/02/27(水) 15:03:34.45

>>889
ヤダヨメンドクセー

**login:Penguin** · 2013/02/28(木) 07:57:02.49

簡単な英語すら読まないクズがなんでこんなところに？

**login:Penguin** · 2013/02/28(木) 12:01:41.18

>>867
> NTFS「二十年前からやってたわー」

まるで UNIX みたいでつね。

**login:Penguin** · 2013/03/02(土) 22:04:08.92

最近は英語を読む必要もないよ
自動翻訳の変な日本語を理解する能力があればいい
技術革新で生まれた新しいスキル

**login:Penguin** · 2013/03/02(土) 22:18:22.57

NTFSってVMSの流れを汲んでるんですよね

**login:Penguin** · 2013/03/04(月) 02:45:38.64

Sun ZFS用のソフトでOracle DBのプロビジョニングが迅速に
http://ascii.jp/elem/000/000/768/768600/?new

**login:Penguin** · 2013/03/04(月) 17:18:33.98

宮坂美樹さんHPからOracleへ転職したんだ。

ご愁傷さま。

**login:Penguin** · 2013/03/05(火) 01:18:46.40

http://blog.livedoor.jp/ese_admin/lite/archives/52018976.html
ZFSといえば、盲信してやってしまった話があったね。
今は性能でるのか、構成に問題があったのか。

**login:Penguin** · 2013/03/05(火) 01:24:53.79

http://www.marubeni-sys.com/st/tintri/
集中的な仮想環境だと、OSイメージが重複するので重複排除が効くらしい。
スパコンはコスパがどんどん悪くなってるけど、ストレージは専用ハードが優位な分野があって面白いね。
さらにオープンな実装で遊べるといいんだけど。

**login:Penguin** · 2013/03/05(火) 02:07:27.60

>>897の先の報告書より
> 処理可能な最大 IOPS に到達すると、性能が劣化し期待した
> 処理能力を下回ってしまうことが判明しました。

そりゃそうだろうw
上限超えてるのに期待した処理能力もクソもない。

**login:Penguin** · 2013/03/05(火) 12:54:37.83

メモリ・ディスクとネットワークが一般的なパフォーマンスボトルネックだしね
ここ10年以上いわれてるけど、シリコンものの性能向上にぜんぜん追いつけねぇ
マルチコアの世界になってさらに帯域食うようになったし

鯖のSSD化の稟議通らないです。DBチューニングするのはもう限界なんで誰か助けて

**login:Penguin** · 2013/03/05(火) 13:28:57.86

これ以上ディスク回転数上げたら音速越えるからな
記録密度を上げて早くするしかない
今のHDDはプロペラ機の限界

**login:Penguin** · 2013/03/05(火) 13:52:01.82

ふしおにおは甘え

**login:Penguin** · 2013/03/05(火) 14:57:30.19

ん？ジェットエンジンのタービンは音速超えてないってこと？

**login:Penguin** · 2013/03/05(火) 15:43:02.83

HDDの回転数が音速超えてソニックブームが発生するようになったら、サーバー室での作業が大変だな

**login:Penguin** · 2013/03/05(火) 16:16:40.50

ターボファンエンジンはファンがギア減速されてるから音速は超えてない

**login:Penguin** · 2013/03/05(火) 16:53:44.08

>>900
>>897でもpingがロストするくらいファイルサーバーのポートへの帯域圧迫があったらしいぞw
それで待機系への切り替えが頻繁に起こったとさ。
とっととトランクしとけよ。

**login:Penguin** · 2013/03/05(火) 17:22:05.92

>>904
掃除のおばちゃんが入ってきても気づかないから危険だな！

**login:Penguin** · 2013/03/05(火) 17:55:44.82

テラバイトメモリのPC環境って構築できるのかな

**login:Penguin** · 2013/03/05(火) 18:22:20.11

>>905
ギアードファンターボなんて特殊すぎるものを
低圧タービンと高圧タービンに分かれてて、ファンは回転数の低い低圧タービンで回す様になってる

**login:Penguin** · 2013/03/05(火) 18:41:21.36

シャコッ！

**login:Penguin** · 2013/03/05(火) 20:20:50.13

>>908
PC サーバだが、 HP DL980 G7 はメモリ 4TB 搭載可能。
ttp://www8.hp.com/jp/ja/products/proliant-servers/product-detail.html?oid=4231377
RHEL6 か Windows Server Datacenter なら 4TB 全部使えるとか。

DBを速くしたいなら、Hadoop とか Oracle Exadata とか、１クエリを複数マシンで処理する仕組みが必要だろ。
ファイルシステムも複数マシンで処理できるようになればいいんだが、安心して使える分散
ファイルシステムはまだまだ高嶺の花って感じなんだよなぁ。

ファイルシステム総合スレ その15

ファイルシステム総合スレその15