ファイルシステム総合スレその15

**login:Penguin;** · 2012/06/30(土) 08:36:00.10

●前スレファイルシステム総合スレその14
http://engawa.2ch.net/test/read.cgi/linux/1326613113/
●関連スレ
ジャーナリングファイルシステム
http://toro.2ch.net/test/read.cgi/unix/979408065/
OpenSolaris/Illumos (OpenIndiana, etc.) 6
http://toro.2ch.net/test/read.cgi/unix/1337411922/
FS関連スレ
http://kohada.2ch.net/test/read.cgi/os/1137387538/l50
過去スレ、関連リンクは >>2-10 あたりで。

**login:Penguin;** · 2012/06/30(土) 08:36:42.59

●過去スレ
01 http://pc.2ch.net/test/read.cgi/linux/1006743807/
02 http://pc5.2ch.net/test/read.cgi/linux/1063025258/
03 http://pc8.2ch.net/test/read.cgi/linux/1101495293/
04 http://pc8.2ch.net/test/read.cgi/linux/1136695633/
05 http://pc8.2ch.net/test/read.cgi/linux/1152348695/
06 http://pc11.2ch.net/test/read.cgi/linux/1164457481/
07 http://pc11.2ch.net/test/read.cgi/linux/1173530292/
08 http://pc11.2ch.net/test/read.cgi/linux/1190788761/
09 http://pc11.2ch.net/test/read.cgi/linux/1225001916/
10 http://pc11.2ch.net/test/read.cgi/linux/1238673446/
11 http://hibari.2ch.net/test/read.cgi/linux/1256639505/
12 http://hibari.2ch.net/test/read.cgi/linux/1256639505/
13 http://engawa.2ch.net/test/read.cgi/linux/1311812102/
14 http://engawa.2ch.net/test/read.cgi/linux/1326613113/

●関連リンク
ext4　　　　　　　 ttp://www.bullopensource.org/ext4/
reiserfs/reiser4　 ttp://www.namesys.com/ (リンク切れ)
xfs　　　　　　　　ttp://oss.sgi.com/projects/xfs/
jfs　　　　　　　　ttp://jfs.sourceforge.net/
nfs　　　　　　　　ttp://nfs.sourceforge.net/
ntfs　　　　　　　 ttp://www.linux-ntfs.org/doku.php
fuse　　　　　　　 ttp://fuse.sourceforge.net/
btrfs　　　　　　　ttp://btrfs.wiki.kernel.org/index.php/Main_Page
NILFS2 (NTT)　　　 ttp://www.nilfs.org/ja/
zfs　　　　　　　　ttp://zfsonlinux.org/
　　　　　　　　　 ttp://hub.opensolaris.org/bin/view/Community+Group+zfs/WebHome

**login:Penguin;** · 2012/06/30(土) 08:37:49.05

●関連リンク2
en:List of file systems
ttp://en.wikipedia.org/wiki/List_of_file_systems
Linuxファイルシステム技術解説
ttp://www.atmarkit.co.jp/flinux/index/indexfiles/linuxfsindex.html
Linuxの次世代ファイルシステムは「バターFS」!?
ttp://www.atmarkit.co.jp/news/200807/10/btrfs.html
Linux ジャーナリング・ファイルシステムの徹底調査
ttp://www.ibm.com/developerworks/jp/linux/library/l-journaling-filesystems/?ca=drs-jp
Linux フラッシュ・ファイルシステムの徹底調査
ttp://www.ibm.com/developerworks/jp/linux/library/l-flash-filesystems/?ca=drs-jp
Linux filesystem benchmark 2008/1-2
ttp://www.t2-project.org/zine/1/
ttp://www.t2-project.org/zine/4/
Filesystem Specifications - Links & Whitepapers
ttp://www.forensics.nl/filesystems
Linuxファイルシステムベンチマーク ext3,ext4,JFS,ReiserFS,XFS,NILFS2
ttp://hesonogoma.com/linux/FileSystemBenchmarkResults-01.html
ttp://hesonogoma.com/linux/FileSystemBenchmarkResults-02.html
[Phoronix] Benchmarking ZFS On FreeBSD vs. EXT4 & Btrfs On Linux
ttp://www.phoronix.com/scan.php?page=article&item=zfs_ext4_btrfs

● リンク切れ
File Systems in Linux
ttp://www.linux.org/lessons/advanced/x1254.html

**login:Penguin;** · 2012/06/30(土) 08:38:43.40

● 関連リンク3 （SSD関連）
LinuxサーバーにSSDを使うための情報メモ
ttp://oopsops.hatenablog.com/entry/2012/05/24/164941

Linux+SSDのファイルシステムベンチマーク
ttp://smackerelofopinion.blogspot.jp/2012/06/intel-ssd-520-goodness.html
ttp://hesonogoma.com/SSD/Intel_SSD-330-Series_120GB_Benchmark.html
ttp://hesonogoma.com/SSD/Silicon-Power_SSD-T10-128GB_Benchmark.html

**login:Penguin** · 2012/06/30(土) 10:19:22.25

いちおつ

**login:Penguin** · 2012/06/30(土) 14:28:20.37

前スレ1000やめろｗ

**login:Penguin** · 2012/06/30(土) 16:03:48.44

ハンスははよ出てきてReiser4の次だしてカーネルにマージしろ

**login:Penguin** · 2012/06/30(土) 17:43:49.77

もう過去の人。今は法律と仮出所条件の勉強に熱心。

**login:Penguin** · 2012/06/30(土) 18:49:25.38

そういえば「なぜReiser4はカーネルにマージされないのか」みたいな文章あったな。
読んでも結局マージされない理由は良く分からなかったけど
仮に出所してもマージされる日は来ないのかもしれない。

**login:Penguin** · 2012/06/30(土) 18:55:16.13

>>9
レビューする人がいないから

**login:Penguin** · 2012/07/01(日) 02:01:41.30

>>1乙

**login:Penguin** · 2012/07/01(日) 03:07:07.23

>>4
いいまとめだね
付け加えるならfusion-ioにはxfsがいいんだっけ？
どっかにデータ無いかな？

**login:Penguin** · 2012/07/04(水) 13:41:54.94

engawaがやっと復活したか
よかったよかった

**login:Penguin** · 2012/07/05(木) 11:30:58.42

各ファイルシステムのディスク上のレイアウトについて解説してるサイトはありますか？

**login:Penguin** · 2012/07/05(木) 12:15:42.04

ない

**login:Penguin** · 2012/07/07(土) 09:30:24.52

ubuntuにzfs導入してみようと思ってるんだけど
zfs-fuseとnative-zfsってどこらへんが違うのかな
fuseのほうがユーザーランドで動くから性能悪いのかとは思うけど

**login:Penguin** · 2012/07/07(土) 10:55:46.32

ubuntuのバージョンが何かわからないけど、
カーネルのバージョンアップが頻繁なデスクトップ版なら、
nativeは止めておいたほうが良いと思う。もし、ユーザのホームを
ZFSに置いたら、カーネルバージョンアップ、再起動、ホームが
見えずにログイン不可、復旧モードで回復という事になりめんどくさい。

オレはCentOSで使っているが、同じカーネルの仮想PCを使って、
nativeのRPMパッケージを作り、動作確認してから本番のカーネルに
あてている。

オレもｆｕｓｅで試して速度に不満があったので、nativeにしたのだが、
fuseの時と、nativeの性能差はあまり感じない。ベンチマークはたしかに
違ったが、動かしているマシンや、CentOS上で動かしているアプリが
大したものじゃ無いので、今となってはどちらでも良かったかなぁと
思っている。

**login:Penguin** · 2012/07/07(土) 17:30:06.12

>>17
ありがとうございます
OSの種類は12.04のデスクトップ版です
ホームにするつもりはないんだけどカーネルアップのたびに
復旧しないといけないのは面倒臭いな
性能差もそこまで無くて機能差も特に無さそうだし
利便性をとってfuseかな

**login:Penguin** · 2012/07/07(土) 18:30:57.51

>>18

Native Linux版は64bit OSに入れないといろいろ問題も出るので、
入れるならubuntuの入れ替えも必要な事を使えておくのを忘れてしまった。

**login:Penguin** · 2012/07/08(日) 12:16:50.32

zfs導入といっても目的がわからないことには。
NAS化したくてシステムはext4に入れるとかならnativeでも不都合はないと思うけど。自分はそうしてる。
あとubuntu+ppaならカーネルアップデートしても自動でビルドしてくれると思うけど。

以前fuseでRAIDZ試したときはあー使えんわこれ、って速度だった印象だけど今ではそうでもないのか？？？
あとnativeはrcといえどstableではないので何があっても知らないよというのはある。

>>19
逆にfuseって32bit版でもパフォーマンス出るの？

**login:Penguin** · 2012/07/08(日) 14:10:35.04

fuseなんて使うヤツ居るんだとずっと思ってた

**login:Penguin** · 2012/07/08(日) 14:30:45.21

>>19
ubuntuの32bit版ってそんなに使ってる人いるの?
なんかメリットあるのかね?

**login:Penguin** · 2012/07/10(火) 17:43:10.35

そりゃあ日本語 Remix版はそもそも64bit版を出してないからな

**login:Penguin** · 2012/07/10(火) 17:48:46.30

マジかよ
と思って見に行ったらマジだった
i386か…

**login:Penguin** · 2012/07/11(水) 00:31:53.06

情報の整理はいまいちだけどext4でいいじゃんという結論には同意する
モダンなディス鶏で普通に使う分にはext4でいいよな

Ubuntu 12.04時代のファイルシステムの選び方　ext4でいいじゃん編
http://d.hatena.ne.jp/itiri/20120412/1334238227

**login:Penguin** · 2012/07/11(水) 00:55:31.98

やっぱext4は最強だわ。

**login:Penguin** · 2012/07/11(水) 10:12:04.69

最強よりも、他がダメなんだと思う

**login:Penguin** · 2012/07/11(水) 10:31:37.25

fsckのいらないファイルシステムはよお願い

**login:Penguin** · 2012/07/11(水) 14:43:20.50

っNTFS

**login:Penguin** · 2012/07/11(水) 14:52:06.58

nice joke!

**login:Penguin** · 2012/07/12(木) 06:48:25.12

×要らない　〇出来ない

**login:Penguin** · 2012/07/13(金) 01:02:01.94

fusion-ioは価格が今の1/2になってbtrfsもサポートしたらバカ売れする予感
btrfsの開発者がボラクルから移籍したらしいし期待していいかな

**login:Penguin** · 2012/07/13(金) 01:15:16.82

劣化だろw

**login:Penguin** · 2012/07/13(金) 07:36:33.38

ファイルシステムがなんだろうと
それを読むf系ライブラリに
全ディストリビューションで
バグがある

**login:Penguin** · 2012/07/13(金) 19:58:00.23

それってLinuxが終わってるってこと？

**login:Penguin** · 2012/07/13(金) 20:50:39.13

スーパーハカー来タコレ

**login:Penguin** · 2012/07/14(土) 10:35:12.09

10行ほどの再現プログラムで、お前らでもすぐ書ける
こんな糞バグ、マジかよってレベル

**login:Penguin** · 2012/07/14(土) 12:17:05.22

>>37
マジで！？
バグ報告よろ

**login:Penguin** · 2012/07/17(火) 19:15:03.81

>>37
はよ再現コード

**login:Penguin** · 2012/07/17(火) 21:08:50.01

やっぱり口だけか。
まあ、こんなもんだよね。

**login:Penguin** · 2012/07/18(水) 13:17:59.08

夏だな…

**login:Penguin** · 2012/07/18(水) 23:03:13.32

setlocale(LC_ALL, "en_us.utf-8")

**login:Penguin** · 2012/07/19(木) 02:49:45.19

うそ！？まじで…！？

**login:Penguin** · 2012/07/19(木) 04:26:05.70

FILE* fp = fopen("test.txt", "w+")

**login:Penguin** · 2012/07/19(木) 05:39:37.40

error: expected ‘,’ or ‘;’

**login:Penguin** · 2012/07/19(木) 15:59:21.40

再現コード来ないな

**login:Penguin** · 2012/07/19(木) 20:31:26.74

XFSが最強だって事は公然の秘密

**login:Penguin** · 2012/07/19(木) 22:54:23.09

fputws("unko");

**login:Penguin** · 2012/07/19(木) 23:24:07.21

最強のファイルシステムXFSそしてCXFS
ttp://www.sgi.co.jp/features/2003/nov/media/media_pg2.html

**login:Penguin** · 2012/07/20(金) 00:58:07.80

東芝REGZAに続いて、ソニー謹製「nasne」のファイルシステムもXFSらしい

Nasne のファイルシステムを見てみる
http://note.ga.vg/blog/2012/07/19/filesystem-of-nasne/

**login:Penguin** · 2012/07/20(金) 10:56:24.48

だから壊れたの？

**login:Penguin** · 2012/07/20(金) 12:04:53.40

はやく再現コード出せよ

**login:Penguin** · 2012/07/20(金) 13:17:00.83

結局、好きなを勝手にの使えって事だろ。

**login:Penguin** · 2012/07/20(金) 13:51:59.13

太陽のように輝く未来が欲しいのであればXFSを選ぶ事が何より大切な事です

**login:Penguin** · 2012/07/20(金) 17:12:42.76

それ、btrfsさんの前でも同じ事言えんの？

**login:Penguin** · 2012/07/20(金) 17:38:34.58

XFSはオープンソースになった当初から使っていたけど、
いろいろなディストリの標準インストーラから外されて悲しい思いをしていた。

**login:Penguin** · 2012/07/20(金) 20:00:23.13

>>55
btrfsは次世代を担うファイルシステムだと考えております
今はまだ開発が進んでいないので評価する事はできません

「枯れ待ち」という言葉で表現したいと思います

>>56
XFSは必ずやあなたをお救いになる事でしょう

**login:Penguin** · 2012/07/20(金) 20:26:36.83

xfsサルベージできなくて泣いたからもう手を出したくない
いやそういう運用してるのが悪いんだけど

**login:Penguin** · 2012/07/20(金) 20:32:58.43

サルベージしやすいFATが最強なんだよ
素人はこういうところを見ようとしないから困る

**login:Penguin** · 2012/07/20(金) 22:35:11.43

int unko = ftell(fp);

**login:Penguin** · 2012/07/21(土) 05:46:20.92

if(fseek(0, unko) == -1){

**login:Penguin** · 2012/07/21(土) 05:48:50.14

perror("err");

**login:Penguin** · 2012/07/21(土) 05:49:21.96

return;

**login:Penguin** · 2012/07/21(土) 05:50:23.06

**login:Penguin** · 2012/07/21(土) 05:53:22.88

printf("%d %d"), unko, ftell(fp));

**login:Penguin** · 2012/07/21(土) 05:54:56.52

fputws("unchi");

**login:Penguin** · 2012/07/21(土) 05:55:43.49

fclose(fp);

**login:Penguin** · 2012/07/21(土) 12:51:15.31

ext4のオフラインのデフラグってないの？

**login:Penguin** · 2012/07/21(土) 13:00:12.24

どこに書いたらいいか分からんからここに書くけど
FreeBSD9.0-RELEAS mem8GB 0EADSx4 RAIDZにIntel SSD330でZILとL2ARCに8GBずつ割り当てた
zpool iostat -vをしばらく眺めてもL2ARCは使われてるけどZILはほとんど使われてない
個人用とで使う分にはZILはあまり役たたんのかな？

**login:Penguin** · 2012/07/21(土) 16:04:34.71

>>69
当たり前の事だけど使い方次第

**login:Penguin** · 2012/07/22(日) 02:34:28.27

>>70
うーんそのどういう使い方なら役に立つのかなってことなんだけど
使われてないってことは結局使わなくても書き込み間に合ってるってことだよね
サーバで多数のクライアントからの処理でもないと真価を発揮しないのかなと

**login:Penguin** · 2012/07/22(日) 07:35:09.94

仮想環境のホストOSのディスクをZFSにして、複数の
ゲストOSが同時にディスクアクセスするというのは？と思い
実際にやってみたけど、あまり効果はなかったね。

**login:Penguin** · 2012/07/22(日) 11:10:42.22

>>69
同期書き込みしてる？

**login:Penguin** · 2012/07/22(日) 20:41:33.91

>>73
ありがとうございますZILをちゃんと理解してませんでした
sync=alwaysで常に同期書き込みさせる場合に有効なんですね
つまり非同期書き込み時に高速化させる訳じゃないと

**login:Penguin** · 2012/07/22(日) 22:34:06.70

O_SYNCとかならわかるけど、sync=alwaysってなに？

**login:Penguin** · 2012/07/22(日) 22:48:16.24

>>75
zfsのオプションです
sync=diabled：ZILデバイスには書き込まない
sync=standard：O_SYNCのときだけ(ZILデバイスに）同期書き込み
sync=always：常に(ZILデバイスに）同期書き込み
よく分かってないので間違ってるかも知れません

**login:Penguin** · 2012/07/23(月) 10:28:49.30

ZFSをCentOSのデスクトップ環境で３ヶ月使い続けた結論

ディスクの玉は多いほど読み書きが速くなる
ｰ>ボードの性能がボトルネックになる。

logsは多くても数Mしか使っていない、512MぐらいSSD割り当てれば十分。（か？）

cacheは徐々にallocが増えていくので、時間が経てば効果がでる。（かも？）
容量は多いほうが良い？　24GをSSDに割り当てている。
ー＞目立った効果を感じられない。

圧縮、重複排除機能はOFFの方が安定しているみたい。
ー＞重複排除で20%～30%の容量節約になるのは魅力だが、書き込みが遅くなる。

メモリー8Gから16Gに増やしたので、そろそろフルで重複排除を働かそうか
と思っている。

**login:Penguin** · 2012/07/23(月) 11:06:10.88

>>77
FreeBSDのZFSで3TBx5発のraidz2を使ってるが、シーケンシャルでRead 500M/s
Write 420M/s行ったよ。ボードがボトルネックって、単に使ってるボードがPCIex1だった
とかのオチじゃないの?

**login:Penguin** · 2012/07/23(月) 11:09:41.71

ZILの容量はメモリの1/2で十分らしい

ttp://www.solarisinternals.com/wiki/index.php/ZFS_Best_Practices_Guide

The maximum size of a log device should be approximately 1/2 the size of physical memory because that is the maximum amount of potential in-play data that can be stored.
For example, if a system has 16 GB of physical memory, consider a maximum log device size of 8 GB.

77 · 2012/07/23(月) 11:49:20.51

>>78

うん。御名答。

どんなに頑張っても100M/S以上の書き込みができないオンボードのSATA-I/Fなので
がっかりな結果。RAIDカードを買っても結果は同じだろうと思います。もともとは
ホビー用途のボードらしいです。

ただ、書き込みの時にraidz2で30M/Sずつの書き込みで60M/Sの書き込み
読み込みの時に、30M/Sずつの読み込みで90M/Sの性能が出ているのは、
ストライピングの効果が見えて面白い。サーバ向けのボードで使いたいよ。

**login:Penguin** · 2012/07/23(月) 16:01:42.86

で　用途は？
ただのベンチヲタ？

**login:Penguin** · 2012/07/23(月) 16:02:45.52

>78
read はともかく write は
dd でシーケンシャルテストしても
数十MB/s とか程度だった気がするんだけど
なにが違うんだろう(FreeBSD 8系で raidz1, 1TBx4発)

お勧めパラメータ設定とかあります?

zpool iostat で見ていると安定して書き込まないで
ちょっと書いては休んでとかしてたのが謎…

**login:Penguin** · 2012/07/23(月) 17:04:49.42

>>82
休んでるっつーのは ARC に書きに行ってるときじゃね?
つーかパラメータ云々よりどんな構成で使ってるんだ

**login:Penguin** · 2012/07/23(月) 18:03:36.80

LSIのSAS HBAでZFS使っている人いる？

**login:Penguin** · 2012/07/23(月) 19:32:04.03

>>82
数十MB/sって…。
raidz1x4の構成なら、仮にHDD 1本あたり34MB/s出ればpool単位では
100MB/s越えちゃうんだよ。むしろどうやればそんな低い性能になるのか、
そっちの方がギモンだ。

**login:Penguin** · 2012/07/23(月) 19:45:48.60

RAIDZってそんなに書き込み性能出るの？

普通、RAID5/6ってのは単体と比較して
書き込みの回転待ちが倍近くかかるし
chunkサイズx台数に比例したサイズの整数倍以外で書き込み以外は
パーシャルライトになって、強烈に性能が低下するものだと思ってたよ。
実体験上もそうだし。

**login:Penguin** · 2012/07/23(月) 19:55:13.73

で、書き込み性能低下の要因は
メディアの転送速度でも、インターフェース(のどこか)の転送速度でも
ましてやパリティの計算に使うCPUでもなく
もっと根本的な、回転待ちの同期と、一部書き換えのための事前読み込みに
時間がとられることじゃないかと。

もうひとつ遅くなる原因に思い当たった気がしたんだけど思い出せない。

**login:Penguin** · 2012/07/23(月) 20:00:25.48

俺の家でパラメータとか何にも考えずに構築した2TB*4のRAID-Zは安定して150MBぐらいは出てるな
ちなみにHP ProLiant MicroServerのFreeBSD。

**login:Penguin** · 2012/07/23(月) 21:11:52.13

ってことで ttp://ftp-admin.blogspot.jp/2011/11/raid-z.html

**login:Penguin** · 2012/07/23(月) 21:13:35.60

ちなみにIOPSではなく転送速度ってことなら、シーケンシャルでドカンと
読み込む場合はRAID-Zでも速いです。

**login:Penguin** · 2012/07/24(火) 08:20:25.96

うちは何も考えずに作った 2TB*8 の RAIDZ2 で 400MB くらいだな
作ったばっかの頃はもうちと出てた気がする
AthlonX4 と 16GB メモリの FreeBSD 8.2
HBA は M1015(LSI 9220-8i) の IT Firmware

**login:Penguin** · 2012/07/24(火) 09:24:18.51

>>91
LSI 9220-8iで故障したディスクの特定とかってどうやってます？

**login:Penguin** · 2012/07/24(火) 09:55:42.87

>>92
いまんとこ mptutil(8) に相当するのが無い
mpsutil が出るのまち。いつになんのかしらんけど

**login:Penguin** · 2012/07/24(火) 10:00:57.27

>>92
ごめん、何も考えないでリプライしたがどういう意味?
ZFS でってことなら別に zpool status すりゃどのディスクが死んだのか
出るからそれで十分じゃね?

**login:Penguin** · 2012/07/24(火) 11:17:39.80

いっつも思うんだけどRAID5とかで死んだディスクがあったとして
それがどのデバイスなのかzpool statusで分かったとして
実際にハードディスクの蓋開いて物理的に取り出すときに
全部同じ会社の物だったら分からなくね?型番で判別できるもんなのか?

**login:Penguin** · 2012/07/24(火) 11:54:43.05

>>95
普通はポートに合わせてHDDを付ける

**login:Penguin** · 2012/07/24(火) 12:10:29.40

>>95
https://forums.ubuntulinux.jp/viewtopic.php?id=8686

**login:Penguin** · 2012/07/24(火) 12:16:29.14

>>95
それは >>96 の言うとおりポート順にすればいいし俺はそうしてる
あとバラバラだとしても smartctl とかで S/N は調べられる
見やすい場所にラベルも貼っておいたほうがいいだろうけど

**login:Penguin** · 2012/07/24(火) 12:23:32.31

>>95
仕組みを考えてみてくれｗ
RAID5は一個ディスクが壊れた時交換することを前提にしてるんだぞ。
そうやって冗長性を構築してるんだ。うまく交換できないなら全てが成り立たない。

**login:Penguin** · 2012/07/24(火) 12:33:12.42

RAIDを構成する全てのHDDのメーカと型番を変えれば無問題！！

**login:Penguin** · 2012/07/24(火) 12:37:46.59

HBA側がminiSASで分岐ケーブルなら大概がSATA/SASコネクタに番号が振って
あるから間違いようもないし。
いまはむしろ6GB/sと3GB/sで混在するオンボードの端子の方が勘違い
しやすいんじゃね?

ファイルシステム総合スレ その15

ファイルシステム総合スレその15