ファイルシステム総合スレその15

**login:Penguin;** · 2012/06/30(土) 08:36:00.10

●前スレファイルシステム総合スレその14
http://engawa.2ch.net/test/read.cgi/linux/1326613113/
●関連スレ
ジャーナリングファイルシステム
http://toro.2ch.net/test/read.cgi/unix/979408065/
OpenSolaris/Illumos (OpenIndiana, etc.) 6
http://toro.2ch.net/test/read.cgi/unix/1337411922/
FS関連スレ
http://kohada.2ch.net/test/read.cgi/os/1137387538/l50
過去スレ、関連リンクは >>2-10 あたりで。

**login:Penguin** · 2012/07/08(日) 12:16:50.32

zfs導入といっても目的がわからないことには。
NAS化したくてシステムはext4に入れるとかならnativeでも不都合はないと思うけど。自分はそうしてる。
あとubuntu+ppaならカーネルアップデートしても自動でビルドしてくれると思うけど。

以前fuseでRAIDZ試したときはあー使えんわこれ、って速度だった印象だけど今ではそうでもないのか？？？
あとnativeはrcといえどstableではないので何があっても知らないよというのはある。

>>19
逆にfuseって32bit版でもパフォーマンス出るの？

**login:Penguin** · 2012/07/08(日) 14:10:35.04

fuseなんて使うヤツ居るんだとずっと思ってた

**login:Penguin** · 2012/07/08(日) 14:30:45.21

>>19
ubuntuの32bit版ってそんなに使ってる人いるの?
なんかメリットあるのかね?

**login:Penguin** · 2012/07/10(火) 17:43:10.35

そりゃあ日本語 Remix版はそもそも64bit版を出してないからな

**login:Penguin** · 2012/07/10(火) 17:48:46.30

マジかよ
と思って見に行ったらマジだった
i386か…

**login:Penguin** · 2012/07/11(水) 00:31:53.06

情報の整理はいまいちだけどext4でいいじゃんという結論には同意する
モダンなディス鶏で普通に使う分にはext4でいいよな

Ubuntu 12.04時代のファイルシステムの選び方　ext4でいいじゃん編
http://d.hatena.ne.jp/itiri/20120412/1334238227

**login:Penguin** · 2012/07/11(水) 00:55:31.98

やっぱext4は最強だわ。

**login:Penguin** · 2012/07/11(水) 10:12:04.69

最強よりも、他がダメなんだと思う

**login:Penguin** · 2012/07/11(水) 10:31:37.25

fsckのいらないファイルシステムはよお願い

**login:Penguin** · 2012/07/11(水) 14:43:20.50

っNTFS

**login:Penguin** · 2012/07/11(水) 14:52:06.58

nice joke!

**login:Penguin** · 2012/07/12(木) 06:48:25.12

×要らない　〇出来ない

**login:Penguin** · 2012/07/13(金) 01:02:01.94

fusion-ioは価格が今の1/2になってbtrfsもサポートしたらバカ売れする予感
btrfsの開発者がボラクルから移籍したらしいし期待していいかな

**login:Penguin** · 2012/07/13(金) 01:15:16.82

劣化だろw

**login:Penguin** · 2012/07/13(金) 07:36:33.38

ファイルシステムがなんだろうと
それを読むf系ライブラリに
全ディストリビューションで
バグがある

**login:Penguin** · 2012/07/13(金) 19:58:00.23

それってLinuxが終わってるってこと？

**login:Penguin** · 2012/07/13(金) 20:50:39.13

スーパーハカー来タコレ

**login:Penguin** · 2012/07/14(土) 10:35:12.09

10行ほどの再現プログラムで、お前らでもすぐ書ける
こんな糞バグ、マジかよってレベル

**login:Penguin** · 2012/07/14(土) 12:17:05.22

>>37
マジで！？
バグ報告よろ

**login:Penguin** · 2012/07/17(火) 19:15:03.81

>>37
はよ再現コード

**login:Penguin** · 2012/07/17(火) 21:08:50.01

やっぱり口だけか。
まあ、こんなもんだよね。

**login:Penguin** · 2012/07/18(水) 13:17:59.08

夏だな…

**login:Penguin** · 2012/07/18(水) 23:03:13.32

setlocale(LC_ALL, "en_us.utf-8")

**login:Penguin** · 2012/07/19(木) 02:49:45.19

うそ！？まじで…！？

**login:Penguin** · 2012/07/19(木) 04:26:05.70

FILE* fp = fopen("test.txt", "w+")

**login:Penguin** · 2012/07/19(木) 05:39:37.40

error: expected ‘,’ or ‘;’

**login:Penguin** · 2012/07/19(木) 15:59:21.40

再現コード来ないな

**login:Penguin** · 2012/07/19(木) 20:31:26.74

XFSが最強だって事は公然の秘密

**login:Penguin** · 2012/07/19(木) 22:54:23.09

fputws("unko");

**login:Penguin** · 2012/07/19(木) 23:24:07.21

最強のファイルシステムXFSそしてCXFS
ttp://www.sgi.co.jp/features/2003/nov/media/media_pg2.html

**login:Penguin** · 2012/07/20(金) 00:58:07.80

東芝REGZAに続いて、ソニー謹製「nasne」のファイルシステムもXFSらしい

Nasne のファイルシステムを見てみる
http://note.ga.vg/blog/2012/07/19/filesystem-of-nasne/

**login:Penguin** · 2012/07/20(金) 10:56:24.48

だから壊れたの？

**login:Penguin** · 2012/07/20(金) 12:04:53.40

はやく再現コード出せよ

**login:Penguin** · 2012/07/20(金) 13:17:00.83

結局、好きなを勝手にの使えって事だろ。

**login:Penguin** · 2012/07/20(金) 13:51:59.13

太陽のように輝く未来が欲しいのであればXFSを選ぶ事が何より大切な事です

**login:Penguin** · 2012/07/20(金) 17:12:42.76

それ、btrfsさんの前でも同じ事言えんの？

**login:Penguin** · 2012/07/20(金) 17:38:34.58

XFSはオープンソースになった当初から使っていたけど、
いろいろなディストリの標準インストーラから外されて悲しい思いをしていた。

**login:Penguin** · 2012/07/20(金) 20:00:23.13

>>55
btrfsは次世代を担うファイルシステムだと考えております
今はまだ開発が進んでいないので評価する事はできません

「枯れ待ち」という言葉で表現したいと思います

>>56
XFSは必ずやあなたをお救いになる事でしょう

**login:Penguin** · 2012/07/20(金) 20:26:36.83

xfsサルベージできなくて泣いたからもう手を出したくない
いやそういう運用してるのが悪いんだけど

**login:Penguin** · 2012/07/20(金) 20:32:58.43

サルベージしやすいFATが最強なんだよ
素人はこういうところを見ようとしないから困る

**login:Penguin** · 2012/07/20(金) 22:35:11.43

int unko = ftell(fp);

**login:Penguin** · 2012/07/21(土) 05:46:20.92

if(fseek(0, unko) == -1){

**login:Penguin** · 2012/07/21(土) 05:48:50.14

perror("err");

**login:Penguin** · 2012/07/21(土) 05:49:21.96

return;

**login:Penguin** · 2012/07/21(土) 05:50:23.06

**login:Penguin** · 2012/07/21(土) 05:53:22.88

printf("%d %d"), unko, ftell(fp));

**login:Penguin** · 2012/07/21(土) 05:54:56.52

fputws("unchi");

**login:Penguin** · 2012/07/21(土) 05:55:43.49

fclose(fp);

**login:Penguin** · 2012/07/21(土) 12:51:15.31

ext4のオフラインのデフラグってないの？

**login:Penguin** · 2012/07/21(土) 13:00:12.24

どこに書いたらいいか分からんからここに書くけど
FreeBSD9.0-RELEAS mem8GB 0EADSx4 RAIDZにIntel SSD330でZILとL2ARCに8GBずつ割り当てた
zpool iostat -vをしばらく眺めてもL2ARCは使われてるけどZILはほとんど使われてない
個人用とで使う分にはZILはあまり役たたんのかな？

**login:Penguin** · 2012/07/21(土) 16:04:34.71

>>69
当たり前の事だけど使い方次第

**login:Penguin** · 2012/07/22(日) 02:34:28.27

>>70
うーんそのどういう使い方なら役に立つのかなってことなんだけど
使われてないってことは結局使わなくても書き込み間に合ってるってことだよね
サーバで多数のクライアントからの処理でもないと真価を発揮しないのかなと

**login:Penguin** · 2012/07/22(日) 07:35:09.94

仮想環境のホストOSのディスクをZFSにして、複数の
ゲストOSが同時にディスクアクセスするというのは？と思い
実際にやってみたけど、あまり効果はなかったね。

**login:Penguin** · 2012/07/22(日) 11:10:42.22

>>69
同期書き込みしてる？

**login:Penguin** · 2012/07/22(日) 20:41:33.91

>>73
ありがとうございますZILをちゃんと理解してませんでした
sync=alwaysで常に同期書き込みさせる場合に有効なんですね
つまり非同期書き込み時に高速化させる訳じゃないと

**login:Penguin** · 2012/07/22(日) 22:34:06.70

O_SYNCとかならわかるけど、sync=alwaysってなに？

**login:Penguin** · 2012/07/22(日) 22:48:16.24

>>75
zfsのオプションです
sync=diabled：ZILデバイスには書き込まない
sync=standard：O_SYNCのときだけ(ZILデバイスに）同期書き込み
sync=always：常に(ZILデバイスに）同期書き込み
よく分かってないので間違ってるかも知れません

**login:Penguin** · 2012/07/23(月) 10:28:49.30

ZFSをCentOSのデスクトップ環境で３ヶ月使い続けた結論

ディスクの玉は多いほど読み書きが速くなる
ｰ>ボードの性能がボトルネックになる。

logsは多くても数Mしか使っていない、512MぐらいSSD割り当てれば十分。（か？）

cacheは徐々にallocが増えていくので、時間が経てば効果がでる。（かも？）
容量は多いほうが良い？　24GをSSDに割り当てている。
ー＞目立った効果を感じられない。

圧縮、重複排除機能はOFFの方が安定しているみたい。
ー＞重複排除で20%～30%の容量節約になるのは魅力だが、書き込みが遅くなる。

メモリー8Gから16Gに増やしたので、そろそろフルで重複排除を働かそうか
と思っている。

**login:Penguin** · 2012/07/23(月) 11:06:10.88

>>77
FreeBSDのZFSで3TBx5発のraidz2を使ってるが、シーケンシャルでRead 500M/s
Write 420M/s行ったよ。ボードがボトルネックって、単に使ってるボードがPCIex1だった
とかのオチじゃないの?

**login:Penguin** · 2012/07/23(月) 11:09:41.71

ZILの容量はメモリの1/2で十分らしい

ttp://www.solarisinternals.com/wiki/index.php/ZFS_Best_Practices_Guide

The maximum size of a log device should be approximately 1/2 the size of physical memory because that is the maximum amount of potential in-play data that can be stored.
For example, if a system has 16 GB of physical memory, consider a maximum log device size of 8 GB.

77 · 2012/07/23(月) 11:49:20.51

>>78

うん。御名答。

どんなに頑張っても100M/S以上の書き込みができないオンボードのSATA-I/Fなので
がっかりな結果。RAIDカードを買っても結果は同じだろうと思います。もともとは
ホビー用途のボードらしいです。

ただ、書き込みの時にraidz2で30M/Sずつの書き込みで60M/Sの書き込み
読み込みの時に、30M/Sずつの読み込みで90M/Sの性能が出ているのは、
ストライピングの効果が見えて面白い。サーバ向けのボードで使いたいよ。

**login:Penguin** · 2012/07/23(月) 16:01:42.86

で　用途は？
ただのベンチヲタ？

**login:Penguin** · 2012/07/23(月) 16:02:45.52

>78
read はともかく write は
dd でシーケンシャルテストしても
数十MB/s とか程度だった気がするんだけど
なにが違うんだろう(FreeBSD 8系で raidz1, 1TBx4発)

お勧めパラメータ設定とかあります?

zpool iostat で見ていると安定して書き込まないで
ちょっと書いては休んでとかしてたのが謎…

**login:Penguin** · 2012/07/23(月) 17:04:49.42

>>82
休んでるっつーのは ARC に書きに行ってるときじゃね?
つーかパラメータ云々よりどんな構成で使ってるんだ

**login:Penguin** · 2012/07/23(月) 18:03:36.80

LSIのSAS HBAでZFS使っている人いる？

**login:Penguin** · 2012/07/23(月) 19:32:04.03

>>82
数十MB/sって…。
raidz1x4の構成なら、仮にHDD 1本あたり34MB/s出ればpool単位では
100MB/s越えちゃうんだよ。むしろどうやればそんな低い性能になるのか、
そっちの方がギモンだ。

**login:Penguin** · 2012/07/23(月) 19:45:48.60

RAIDZってそんなに書き込み性能出るの？

普通、RAID5/6ってのは単体と比較して
書き込みの回転待ちが倍近くかかるし
chunkサイズx台数に比例したサイズの整数倍以外で書き込み以外は
パーシャルライトになって、強烈に性能が低下するものだと思ってたよ。
実体験上もそうだし。

**login:Penguin** · 2012/07/23(月) 19:55:13.73

で、書き込み性能低下の要因は
メディアの転送速度でも、インターフェース(のどこか)の転送速度でも
ましてやパリティの計算に使うCPUでもなく
もっと根本的な、回転待ちの同期と、一部書き換えのための事前読み込みに
時間がとられることじゃないかと。

もうひとつ遅くなる原因に思い当たった気がしたんだけど思い出せない。

**login:Penguin** · 2012/07/23(月) 20:00:25.48

俺の家でパラメータとか何にも考えずに構築した2TB*4のRAID-Zは安定して150MBぐらいは出てるな
ちなみにHP ProLiant MicroServerのFreeBSD。

**login:Penguin** · 2012/07/23(月) 21:11:52.13

ってことで ttp://ftp-admin.blogspot.jp/2011/11/raid-z.html

**login:Penguin** · 2012/07/23(月) 21:13:35.60

ちなみにIOPSではなく転送速度ってことなら、シーケンシャルでドカンと
読み込む場合はRAID-Zでも速いです。

**login:Penguin** · 2012/07/24(火) 08:20:25.96

うちは何も考えずに作った 2TB*8 の RAIDZ2 で 400MB くらいだな
作ったばっかの頃はもうちと出てた気がする
AthlonX4 と 16GB メモリの FreeBSD 8.2
HBA は M1015(LSI 9220-8i) の IT Firmware

**login:Penguin** · 2012/07/24(火) 09:24:18.51

>>91
LSI 9220-8iで故障したディスクの特定とかってどうやってます？

**login:Penguin** · 2012/07/24(火) 09:55:42.87

>>92
いまんとこ mptutil(8) に相当するのが無い
mpsutil が出るのまち。いつになんのかしらんけど

**login:Penguin** · 2012/07/24(火) 10:00:57.27

>>92
ごめん、何も考えないでリプライしたがどういう意味?
ZFS でってことなら別に zpool status すりゃどのディスクが死んだのか
出るからそれで十分じゃね?

**login:Penguin** · 2012/07/24(火) 11:17:39.80

いっつも思うんだけどRAID5とかで死んだディスクがあったとして
それがどのデバイスなのかzpool statusで分かったとして
実際にハードディスクの蓋開いて物理的に取り出すときに
全部同じ会社の物だったら分からなくね?型番で判別できるもんなのか?

**login:Penguin** · 2012/07/24(火) 11:54:43.05

>>95
普通はポートに合わせてHDDを付ける

**login:Penguin** · 2012/07/24(火) 12:10:29.40

>>95
https://forums.ubuntulinux.jp/viewtopic.php?id=8686

**login:Penguin** · 2012/07/24(火) 12:16:29.14

>>95
それは >>96 の言うとおりポート順にすればいいし俺はそうしてる
あとバラバラだとしても smartctl とかで S/N は調べられる
見やすい場所にラベルも貼っておいたほうがいいだろうけど

**login:Penguin** · 2012/07/24(火) 12:23:32.31

>>95
仕組みを考えてみてくれｗ
RAID5は一個ディスクが壊れた時交換することを前提にしてるんだぞ。
そうやって冗長性を構築してるんだ。うまく交換できないなら全てが成り立たない。

**login:Penguin** · 2012/07/24(火) 12:33:12.42

RAIDを構成する全てのHDDのメーカと型番を変えれば無問題！！

**login:Penguin** · 2012/07/24(火) 12:37:46.59

HBA側がminiSASで分岐ケーブルなら大概がSATA/SASコネクタに番号が振って
あるから間違いようもないし。
いまはむしろ6GB/sと3GB/sで混在するオンボードの端子の方が勘違い
しやすいんじゃね?

**login:Penguin** · 2012/07/24(火) 15:16:26.67

タマの物理的な管理もできない奴がRAID組むなよw

**login:Penguin** · 2012/07/24(火) 16:38:05.25

FreeBSDでzfsのホットスペアって自動でreplaceしないの？
自動でならないんでググって見たら他の人もなってみたいで
自分で監視してdegradeしたらreplaceするようなの作らないとダメかな

**login:Penguin** · 2012/07/24(火) 16:48:34.06

Solarisだと自動でspare指定のデバイスと置き換えやってくれたけど、
そういえばFreeBSDだとどうなるか試してないな。

**login:Penguin** · 2012/07/25(水) 00:46:35.69

>>94
エンクロージャーがいっぱいある環境で間違えない保証ってある？

**login:Penguin** · 2012/07/25(水) 00:51:21.75

保証ときましたか

**login:Penguin** · 2012/07/25(水) 01:10:14.63

そこは保険をかけてですね

**login:Penguin** · 2012/07/25(水) 01:37:59.16

保証があるかないかと言われれば、無いですねえ

**login:Penguin** · 2012/07/25(水) 06:39:00.81

アクセスLEDが消灯してるからだいたい分かる。
ツールでステータスLEDを光らせることができるのもあるけど。
あと手でさわって振動してないやつな。

**login:Penguin** · 2012/07/25(水) 10:15:29.16

ejectコマンドでcdやdvdを取り出すみたいにHDDも取り出せるような仕組みがあればいいんだけどな。
データセンタとかでは既にそういうのありそうだけど。

**login:Penguin** · 2012/07/25(水) 12:08:32.11

>>110
物理的にHDDが飛び出すのか。
こえーよw

**login:Penguin** · 2012/07/25(水) 12:25:36.88

個体差で元気が良すぎるのとかアリそうで嫌だわ

**login:Penguin** · 2012/07/25(水) 14:23:24.47

飛び出すのは円盤だけだから心配しなくていい

**login:Penguin** · 2012/07/25(水) 17:16:50.35

UMD射出機能か

**login:Penguin** · 2012/07/27(金) 03:21:21.15

Win/osx/linux（それぞれ最新のもの）で共通して使うことのできる（読み書き操作できる）外付ハードディスクに適したファイルシステムにはどんなものがありますか？メディアファイル置場としての用途を考えています。
自分の知識ではFAT32くらいしか思いつかないのですが、パフォーマンス的にもディスクの効率的にも見劣りします。

他に選択肢ってありますか？

**login:Penguin** · 2012/07/27(金) 03:35:12.30

パフォーマンス以前に最大ファイルサイズが4GBなFAT32は問題外

**login:Penguin** · 2012/07/27(金) 03:48:36.24

2TのHDDをFAT32でデータディスクとして使ってるけど、書籍スキャンデータを保存してるだけなので問題はないが、
１ファイル辺りの上限よりもディスク全体の容量の上限の方が将来的には問題かな。
ジャーナリングが無い分ディスク容量を最大限使えるし、ディスク障害時サルベージツールも充実してる。

今新規にHDDをデータディスクとしてフォーマットするなら、ext3かなぁ･･･。
ext4でもいいんだけ、Ext2Fsdがext4の全部の機能には対応してないから。

**login:Penguin** · 2012/07/27(金) 04:07:26.94

以外にもUDF

**login:Penguin** · 2012/07/27(金) 05:03:06.35

FAT64

ファイルシステム総合スレ その15

ファイルシステム総合スレその15