ファイルシステム総合スレその15

**login:Penguin;** · 2012/06/30(土) 08:36:00.10

●前スレファイルシステム総合スレその14
http://engawa.2ch.net/test/read.cgi/linux/1326613113/
●関連スレ
ジャーナリングファイルシステム
http://toro.2ch.net/test/read.cgi/unix/979408065/
OpenSolaris/Illumos (OpenIndiana, etc.) 6
http://toro.2ch.net/test/read.cgi/unix/1337411922/
FS関連スレ
http://kohada.2ch.net/test/read.cgi/os/1137387538/l50
過去スレ、関連リンクは >>2-10 あたりで。

**login:Penguin** · 2013/01/28(月) 08:15:07.80

Windowsに他ファイルシステムを使えるようにするフリーソフトは何故ないの

**login:Penguin** · 2013/01/28(月) 09:46:12.22

>>763
何故無いと思うの？

**login:Penguin** · 2013/01/28(月) 14:10:54.28

Win版FUSEであるDokanもあるし、何が無いんだ？

**login:Penguin** · 2013/01/29(火) 10:00:01.90

DokanてWin8未対応じゃなかったっけ

**login:Penguin** · 2013/01/29(火) 13:59:41.92

互換モードでインストールできて動くんじゃなかったっけ

**login:Penguin** · 2013/01/29(火) 14:07:20.03

つか、>>765-767のやり取りこそ>>763の思う壷だろ

**login:Penguin** · 2013/01/29(火) 14:08:09.12

何かまずいか?

**login:Penguin** · 2013/01/29(火) 14:25:02.25

煽りメソッドとかいう下らないのだろどうせ

**login:Penguin** · 2013/01/29(火) 22:09:59.19

Dokan上でencfs4win動かしたらなんか動作が怪しかった

**login:Penguin** · 2013/01/31(木) 01:08:56.64

ext4をWinで使いたいです＞＜

**login:Penguin** · 2013/02/02(土) 20:46:12.53

zfsで定期的にスナップショット取ってるんですけど
スナップショットから特定のファイルだけ削除することは出来ますか？

**login:Penguin** · 2013/02/04(月) 14:15:17.51

この記事がすごくおもしろかったんだけど、

【清水理史の「イニシャルB」】予想以上に便利な記憶域スペースやSkyDrive連携
Windows 8＋NUC＋Thunderboltで作る自宅サーバー - INTERNET Watch
http://internet.watch.impress.co.jp/docs/column/shimizu/20130122_582241.html

win8の「記憶域スペース」と同等なことをLinuxで実現できるファイルシステムってあるのかな？

いまはLVMで 1TBのHDDを4本束ねて 4TBのボリュームを1つ作っているけど、
どれか1つでもHDDが欠けると、ボリューム全体が見えなくなってしまうよね。

ZFSは、ソフトウェアRAIDとLVMの「あいのこ」みたいな認識を持っているのですが(私の不勉強でしたらすみません)
ZFSは、Raid1をやりつつオンラインで領域拡張をしたり、ボリュームを構成しているHDDの一台が壊れても、
マシンを止めたりファイルシステムをアンマウントせずともHDDの付け替えとかできるの?

**login:Penguin** · 2013/02/04(月) 16:29:42.30

>>774

Linux NativeのZFSを使ってるけど、
1T4本なら3Tのディスクが確保できるよ。RAIDZ1というキーワードで
google検索すると、機能の説明や設定方法がいろいろ出ているので、
そちらを参照。

オンラインで切り替えが出来るか、自分も不勉強だったが、SATAのコネクタは
OSが起動中に抜き差しが出来るみたい。年末に会社の備品の整理をした時、
大量のHDDをこの手を使って、データのチェックをしたり、内容消去を
したが、チェックに使ったLinuxマシンは一度も再起動せずにすんだ。

なお、ZFSには一応スペアディスクの機能があり、障害時にはこれに切り替わる
はずなんだが、うまく動かなかったので、単純なRAIDZ1にして使っていた。
その時のバージョンはrc8で、昨年の5月の連休にテストしたから、
今のバージョンでは動くかもしれない。

**login:Penguin** · 2013/02/04(月) 16:54:56.01

>>774
冗長性を持たせた vdev (mirror, raidz, raidz2) を使えば大丈夫だよ。
箱は↓このへんがおすすめ。
http://www.supermicro.com.tw/products/chassis/2U/826/SC826BE16-R1K28LP.cfm
LSISAS2008 や LSISAS2308 が乗った HBA を使えば、sas2iciru で故障したドライブの
LED を光らせたりとかもできる。

**login:Penguin** · 2013/02/04(月) 17:27:46.31

2012の記憶域プール/記憶域スペースは、zfsで言うなら、zvolを切り出すときにzvol単位で冗長性を指定できる感じだと思ってる
zfsではプール(を構成するメンバ)単位での指定だから、2012の方が柔軟なのかも
冗長性不要のものも混ぜられるから

**login:Penguin** · 2013/02/04(月) 17:30:03.48

>>775
＞SATAのコネクタはOSが起動中に抜き差しが出来るみたい
それはシステムによる
コントローラ、電源、OS全部対応して初めて使える

**login:Penguin** · 2013/02/04(月) 21:46:31.56

>>778

なるほど、前に試した時には認識しなかったり、
Linuxがカーネルパニックになったりしたけど、年末に
試したシステムは、マザーボードが新しいヤツなので
オンライン交換に対応してたのか。

**login:Penguin** · 2013/02/05(火) 01:48:55.59

>>774
今のLVMってthin provisioningやraid 1/4/5/6が統合されたんだけど誰も使わないからノウハウが広まらなくて誰も使わないスパイラル

**login:Penguin** · 2013/02/05(火) 01:57:44.33

>>780
その辺、fsまで統合しないといまいち気持ちよくならないしなぁ。

**login:Penguin** · 2013/02/05(火) 16:19:01.78

すみません、最近RAID1の機能を内蔵した外付けハードディスクがありますが、
こういうの↓って、Linux で使えるんでしょうか？
http://www.iodata.jp/product/hdd/hdd/hds2-ut/

**login:Penguin** · 2013/02/05(火) 16:40:25.35

>>782
くだらねえ質問はここに書き込め！ Part 204
http://engawa.2ch.net/test/read.cgi/linux/1358204325/

**login:Penguin** · 2013/02/05(火) 16:41:03.90

>>782
普通の外付けHDDとしては特に問題なく使えるだろうね。
ただ、RAIDの診断・管理機能はWindowsでしか使えないだろうね。

**login:Penguin** · 2013/02/05(火) 16:44:39.74

>>783
ごめん、くだ質と間違えてレスした。

**774** · 2013/02/05(火) 17:42:07.35

みなさんレスありがとうございます。とても勉強になりました。
この Win8 の記憶域スペースや、VVAULTみたいなのが
Linuxでもできたらおもしろいなと思いました。

自分の場合は、4TBの前は 320GB*4 (1.28TB) のボリュームだったんだけど、
1.28TBが足りなくなってきたら、以下のようにやってました。

・いったん、べつのHDDにまるごとバックアップ
・1.28TBのLVMのボリュームを削除、320GB*4 の HDDは外す
・1TB*4 の HDD を買ってきて付けて、LVMで4TBのボリュームを作る
・バックアップからもどす

こういうのをもっとスマートにやりたい。
でも、LVMの場合、オンラインリサイズできるかどうかは、そのボリュームのファイルシステムに依存しちゃいますよね。
(いちおうxfsをつかっています)

**login:Penguin** · 2013/02/05(火) 17:51:11.13

>>783
すみません、「くだ質」に行ってきます。

>>784
ありがとうございました。

**login:Penguin** · 2013/02/05(火) 18:36:21.07

btrfsがやる気あるのかないのか
待てないのでzfs on linuxで構築始めた

**login:Penguin** · 2013/02/05(火) 21:55:28.53

>>786
mhddfsあたりじゃ不足なのか?

**login:Penguin** · 2013/02/05(火) 22:02:52.96

ほうそんなものがあったのか
初代Windows Home ServerのDE（Drive Extender）ぽいな

**login:Penguin** · 2013/02/05(火) 22:07:31.65

>>786
pvmove、って思ったけどオンラインのままデータ移動できるだけで対して手間変わんねーか

**login:Penguin** · 2013/02/05(火) 22:32:54.79

>>786
いやそれで十分でしょ
わざわざオンラインリサイズする必要ないような

**login:Penguin** · 2013/02/06(水) 00:28:33.95

>>790
ただ書き込みのパフォーマンスはあまり良くなかった気がするな

**login:Penguin** · 2013/02/06(水) 02:59:15.13

RAID 5/6 Support Finally Comes To Btrfs
http://www.phoronix.com/scan.php?page=news_item&;amp;px=MTI5Mjc

stableカーネルに降りてくるのはいつになるか。

**login:Penguin** · 2013/02/06(水) 05:57:00.67

http://blog.keshi.org/hogememo/2012/12/26/tuning-xfs-physical-sector-size
sectszなんて注目したことなかったなあ

**login:Penguin** · 2013/02/06(水) 10:12:30.76

>>786
前後読んでないので的はずれならごめん
xfsは拡張のみリサイズに対応してる。

電源とsataの口に余裕があれば、オンラインでのリサイズに支障はないよ。

**login:Penguin** · 2013/02/06(水) 11:33:05.96

>>793
パフォーマンス関係ないよ。
mhddfsは複数のドライブをまとめて
一本に「見せて」いるだけ。

**login:Penguin** · 2013/02/06(水) 13:04:19.10

>>797
一本に「見せる」ためにオーバーヘッドが発生してるわけで
ある程度のパフォーマンス低下は避けられないよ
しかもfuse実装だし
まあ倉庫用ととしては問題ない速度出るし、俺自身愛用している

**login:Penguin** · 2013/02/06(水) 14:48:45.14

>>798
そんなクリティカルな業務に利用するもんじゃなし
「ある程度」なんて適当なこと書かんでもw

**login:Penguin** · 2013/02/06(水) 20:01:26.86

> ZFSは、Raid1をやりつつオンラインで領域拡張をしたり、

RAID-Z系はオンライン拡張NG(FreeBSDしか知らないけど，
たぶんソラリスでも同じ?)．
ただしRAID1 が要求なら，RAID1じゃなくてRAID1類似の
「同じデータを複数記録する」モードなら
動的領域拡張含めて対応OK

> ボリュームを構成しているHDDの一台が壊れても、
> マシンを止めたりファイルシステムをアンマウントせずとも
> HDDの付け替えとかできるの

ZFSとしては楽勝．すでに出てるようにOS側・ドライバとかの
対応の問題．FreeBSDでは出来てるです

**login:Penguin** · 2013/02/06(水) 20:32:44.68

>>800
> > ZFSは、Raid1をやりつつオンラインで領域拡張をしたり、
>
> RAID-Z系はオンライン拡張NG(FreeBSDしか知らないけど，
> たぶんソラリスでも同じ?)．
> ただしRAID1 が要求なら，RAID1じゃなくてRAID1類似の
> 「同じデータを複数記録する」モードなら
> 動的領域拡張含めて対応OK

RAID-Z も大丈夫だよ。

> > ボリュームを構成しているHDDの一台が壊れても、
> > マシンを止めたりファイルシステムをアンマウントせずとも
> > HDDの付け替えとかできるの
>
> ZFSとしては楽勝．すでに出てるようにOS側・ドライバとかの
> 対応の問題．FreeBSDでは出来てるです

HBA でOS上のデバイス名の特定とエンクロージャーのスロット番号の特定って
どうやってる？

**login:Penguin** · 2013/02/06(水) 23:35:05.95

オンライン拡張はZFSの開発理由だからね
メモリは刺せば全容量がすぐ使えるのにHDDは刺した後もなんだかんだと色々面倒臭い
ってのが開発動機だったってあのsunのページどこいったんだろ

**login:Penguin** · 2013/02/07(木) 07:47:08.22

ZFSでいろいろ実験したときに、SSDと内蔵HDD、外付けUSBのHDDで
Poolを作ってみた。容量は全てのストレージの合計となり、SSDに空きが
ある時には読み書きも速かったが、SSDがいっぱいになったらショボーンな
結果に。アクセスの頻度をみて、中のデータをSSD->内蔵HDD->USBと
再配置するような高等な機能は無いみたい。

何か設定があるんだったけ？

**login:Penguin** · 2013/02/07(木) 08:01:21.46

SunがOracleに買われてから、失われたwebページが大量にあるんだよな...

**login:Penguin** · 2013/02/07(木) 08:18:09.52

>>803
L2arc

**login:Penguin** · 2013/02/07(木) 08:37:33.88

>>803
キャッシュとかL2ARCとか
よくは知らんが、単にプールの1メンバーとしてSSD足したらそりゃそうなるわな

**login:Penguin** · 2013/02/07(木) 19:04:33.57

>>802
これ？
tp://web.archive.org/web/20090412131623/http://jp.sun.com/communities/0612/feature01.html

**login:Penguin** · 2013/02/10(日) 10:17:28.60

>>807
うんソレ
Sunの読み物って結構面白いのあったのにね

**login:Penguin** · 2013/02/12(火) 12:32:52.65

>801
RAID-Z で例えば4本のpoolについて4本を大容量に交換，は
出来るけど，5本，6本へと「本数追加」は出来ないですよね?

> HBA でOS上のデバイス名の特定とエンクロージャーのスロット番号の特定って

エンタープライズ方面は知らないけど
個人運用だと smartctl -a あたりでHDDのシリアル調べて
実際の弾とのシリアル照合してます
(オンラインで変えるのが前提だったら
設置時にシリアルを前面に貼っておくかな)

**login:Penguin** · 2013/02/12(火) 14:34:50.02

>>809
Linux だと sas2icru でエンクロージャ番号スロット番号と SAS address の対
応が取れ、SAS address との対応は、/dev/disk/by-path で取って、sas2ciru
で該当のスロットのランプを点灯させることができて楽なんですが、FreeBSD
だと似たようなことは難しいですかね…？

sas2ciru はあるので、camcontrol とかで SAS アドレスを取れるといいのだけども…

**login:Penguin** · 2013/02/13(水) 09:58:37.20

結論は板違いになっちゃうけど、
http://en.wikipedia.org/wiki/Zfs#Comparisons
これみるとやっぱZFSで遊ぼうと思うとOracle Solaris 11 2011.11でバージョン33を楽しむのがベストなのかな？

**login:Penguin** · 2013/02/14(木) 07:09:51.57

遊ぶだけならなんでもいいだろ。
シリアスな用途ならSolaris一択。

**login:Penguin** · 2013/02/14(木) 07:45:54.20

昨年の5月の連休で、ZFS Native Linuxで遊びました。
USBディスクを5台使って、RAIDZ1、2の構築とか、
USBディスクを外してディスク障害発生！！とか。
スピードが遅いんであくまで遊びでした。

USB 3.0なら実用的な速度で動くんじゃ無いかと、
こんな構成のファイルサーバを構想中

本体内 HDD システム
USB 1～3 HDD (USB 3.0接続）
USB 4 SSDデバイス（キャッシュ用）

**login:Penguin** · 2013/02/14(木) 13:23:56.43

なんでUSB接続？

**login:Penguin** · 2013/02/14(木) 18:25:12.10

>>813
いや帯域が

**login:Penguin** · 2013/02/14(木) 18:27:15.48

USBだと気軽にdetachできるからじゃ？

**login:Penguin** · 2013/02/14(木) 19:25:56.79

>>813
どのフラッシュメモリにも寿命がある。
USBメモリの寿命の短さはSSDの比ではない。
USBメモリをファイルシステムとして常用したらあっという間に昇天するよ。
遊びならいいんだけどさ。

**login:Penguin** · 2013/02/14(木) 19:35:10.67

どこにもUSBメモリなんて書いてないのに勝手に訓告してる奴

**817** · 2013/02/14(木) 20:03:36.35

これは失礼。

**login:Penguin** · 2013/02/14(木) 20:09:47.77

ZFSで遊ぶような人なら
USBメモリの書き込み寿命の話なんて百も承知だよな

**login:Penguin** · 2013/02/14(木) 20:19:27.54

ZFSのRAIDZとかミラーリングでUSBメモリの寿命の短さを見かけカバーできるんでは？
ZFSがそもそもUSBメモリの障害を想定した設計になってるのか知らないけどさ。

**login:Penguin** · 2013/02/14(木) 21:33:32.57

>>813に「HDD」って明記してあるやん

**login:Penguin** · 2013/02/15(金) 00:23:52.03

USB = USBメモリ
だからな、一般人にとっては・・・。

**login:Penguin** · 2013/02/15(金) 00:28:43.77

一般人はUSBメモリなんて使わないよ
SDカード使うよ

**login:Penguin** · 2013/02/15(金) 16:06:49.12

>>780
LinuxのソフトRAIDってmdadm+LVMのイメージだったがどんどんmdadmと機能被ってる気が・・・

>>809
＞5本，6本へと「本数追加」は出来ないですよね?
できない。
4本でRAID-Z1のプールに更に4本足して4+4本のプールは作れるけど。
ちなみにZoLだとSATAポートの位置かシリアル名使ってデバイス管理できるよ。

>>811
オープンソースがv28で止まったけど、各OSS実装はv28ベースで独自に機能拡張してるよ。
プラットフォーム毎に非互換になるとマズイので、feature flagsというので名前つけて管理してる。
そのページで28/5000ってなってるのがそれで、便宜上v5000ってことにしてバージョンではなく各feature flagsの有無を機能差としている。
なので本家以外が古いままというわけではなく、最新のillumosやZoLではlz4圧縮とか使えてこれはこれで楽しめるよ。

**login:Penguin** · 2013/02/15(金) 16:53:28.88

>>817
一般人乙！

**813** · 2013/02/15(金) 18:02:17.96

一日不在の間に話題の人になってしまった。

USBで接続したいのはディスクの交換が簡単にできる事と、
動作試験が楽かなと思った事です。RAIDZの障害復旧の
テストで、3本のUSBディスクのうち1本の電源をコンセントから
抜けば障害発生の試験が出来ます。

ソフト的にディスクのハード障害をテストできれば良いのだが、
smartの機能で一部セクターの読み込み不可状態とか、ヘッドが
動かないとかエミュレート出来ないものかな。

**login:Penguin** · 2013/02/15(金) 18:15:15.24

なんでわざわざUSB3.0なんか使う必要あるんだ
こういうの使えばいいだろ
http://www.century.co.jp/products/pc/hdd-case/crsj535eu3.html

**login:Penguin** · 2013/02/15(金) 19:09:14.49

むしろちょっと試したい人がなんでこんな高いもの買う必要があるのかと。

**login:Penguin** · 2013/02/15(金) 19:13:35.39

いや遊びでって書いてるだけだったら別にいいんだけど
その後に実用的なとか言ってるから

**login:Penguin** · 2013/02/15(金) 19:16:04.20

USBは固定出来ないから、掃除のおばちゃんが足ひっかけて抜けちゃうからダメ

**login:Penguin** · 2013/02/15(金) 19:30:17.38

置く場所が変わらないならeSATAでもリスク変わんねーだろ

**login:Penguin** · 2013/02/15(金) 19:30:56.73

掃除のおばちゃん障害復旧が優れているファイルシステムはありますか？

**login:Penguin** · 2013/02/15(金) 19:31:25.90

掃除しないこと

**login:Penguin** · 2013/02/15(金) 19:41:45.76

掃除のおばちゃんがいないとガベージコレクションできないんですが…

**login:Penguin** · 2013/02/15(金) 19:42:05.56

抜けない方が大惨事になる可能性

**login:Penguin** · 2013/02/15(金) 20:07:29.08

パソコンの電源を切った状態で掃除してもらえば
どんなファイルシステムでも壊れることはない

**login:Penguin** · 2013/02/15(金) 20:29:03.69

電源を落としたが最後、二度と起動しないシステム

**login:Penguin** · 2013/02/15(金) 20:29:51.22

書き換えなければ大丈夫

**login:Penguin** · 2013/02/15(金) 20:35:58.17

そういやZFSってファイルシステム全体をリードオンリにできるんだっけ

**login:Penguin** · 2013/02/15(金) 20:44:41.58

>>840
大抵のファイルシステムはroオプションに対応してるけど

**login:Penguin** · 2013/02/16(土) 14:26:47.74

android側から、linux のファイルシステムを外付けhdd、sdカード等で認識させた方はいらっしゃるでしょうか。

当方は、ディスクを複数にスライスしているためか、ext3を含め全てのパーティションを認識出来ませんでした。また、試す事が出来る空のメモリーも所持していません。
御存じな方、よろしくお願いします。

**login:Penguin** · 2013/02/16(土) 15:44:52.50

できるかできないかだけでいえばもちろん出来る

**login:Penguin** · 2013/02/16(土) 17:16:38.35

>>843
ありがとうございます。その場合は、ntfs のように特別なappを必要とするのでしょうか。play で探しても見つける事が出来ませんでした。
ちなみに、当方、android3.2を否rootで使用しています。
よろしくお願いします。

**login:Penguin** · 2013/02/17(日) 03:50:21.11

(´・ω・`)知らんがな

**login:Penguin** · 2013/02/17(日) 05:12:53.26

倉庫に最適な圧縮ファイルシステムはなに？

**login:Penguin** · 2013/02/17(日) 10:44:17.44

何のデータ入れるかしらんけど普通の使い方じゃ大して圧縮なんか聞かんぞ

**login:Penguin** · 2013/02/17(日) 11:10:40.48

reiserfsはスペース効率が高いよ
/etcをreiserf->ext3にコピーしたら1.5倍くらいに膨れてしまう
小さい無数のファイルってパターンはreiserfsが最強かもね
異なるファイルシステム間のコピーはスペース効率の差を考えないと落とし穴にハマる
論理は同じ4kのファイルでも消費する容量は違ってくる

**456** · 2013/02/17(日) 11:32:16.29

>>846
お前の好きなエロ動画もエロ画像もふぁいとして圧縮済みだから、小さくならないけどいいのか？

**login:Penguin** · 2013/02/17(日) 11:50:22.46

>>846
これだな。
$ tar -cJf /dev/sdb hoge

**login:Penguin** · 2013/02/17(日) 17:32:37.95

>>850
それtar使う意味あんの。xz単体じゃ駄目なの?

**login:Penguin** · 2013/02/18(月) 01:10:59.80

ｼｰｯ
相手しちゃダメよ

**login:Penguin** · 2013/02/18(月) 09:35:49.55

>>842
Andoridで直接外部デバイスをマウントするにはrootが必要。
rootなしで間接的に読み書きする売り物アプリはある。

**login:Penguin** · 2013/02/18(月) 12:50:59.99

>>853
それが、出来たのよ。fat は、でふぉ。ntfs は、それ用のapp をインストールして。
無論、usb ホスト機能が備わったデバイスなんだけど。

出来なかったのは、複数にスライスしたディスクの認識。それと、(事情があって)未確認なのが、linux のファイルシステム。
これ、ぐぐっても上手く情報を見つける事が出来なかったので、質問させてもらいました。

**login:Penguin** · 2013/02/18(月) 14:50:32.13

>>854
fatがマウント出来るのはSDカードと同じ扱いだからじゃないの？

**login:Penguin** · 2013/02/18(月) 15:44:46.34

少なくてもこのスレの話題ではない

**login:Penguin** · 2013/02/18(月) 15:57:19.39

>>856
おっしゃるとおりですね。これで、止めておきます。
android のスレッドで答えが出てこなかったので、こちらにすがりました。android でlinux のファイルシステムが認識するかどうかを確認する事は難しくも手間でもないので、環境が整ったら自分で試す事にします。

**login:Penguin** · 2013/02/18(月) 16:08:58.53

あと質問するならどういう手順でやってどういうエラーがでてどうだめなのかもっと具体的に書かないと

**login:Penguin** · 2013/02/18(月) 16:53:31.16

Androidのroot化スレに来れば？
こんなアプリありませんかスレでも教えてくれると思う。

**login:Penguin** · 2013/02/19(火) 17:31:56.68

スライスなんて言葉使うところでイラっときてしまったw
普通はパーティション切る、とかじゃないの。

**login:Penguin** · 2013/02/19(火) 17:39:12.67

SliceはSunOSとFreeBSDの方言だね。

**login:Penguin** · 2013/02/19(火) 20:10:42.41

方言っていうか、ちょっと違うものだと思うんだが。

**login:Penguin** · 2013/02/20(水) 18:45:00.71

ext4にもinline extentきた
http://kernelnewbies.org/Linux_3.8

ファイルシステム総合スレ その15

ファイルシステム総合スレその15