バックアップ_(2)

**名無しさん＠お腹いっぱい。** · 2006/07/31(月) 18:24:59

前スレ
http://pc8.2ch.net/test/read.cgi/unix/1019233825/l50

W. Curtis Preston
『Unixバックアップ&リカバリ』
長原宏治_監訳，田和勝_訳，
オライリー・ジャパン，2001/8/16．
http://www.amazon.co.jp/gp/product/4873110491/249-3251594-6585132?v=glance&n=465392&s=gateway

**名無しさん＠お腹いっぱい。** · 2006/07/31(月) 23:43:02

あ、新スレ立ったのか。乙＞１

ところで、バックアップツールで一つ発見。（GNU な）cp は
メモリリークするので使ってはいけない。250GBのデータコピーしたら
メモリを使い果たしてシステムごとあぼーんしました。ガイシュツ？

**名無しさん＠お腹いっぱい。** · 2006/08/01(火) 07:25:50

どこだか知らないけど、見たことあるよ。

**名無しさん＠お腹いっぱい。** · 2006/08/01(火) 09:39:54

これはリークじゃないけど、rsyncもオンメモリで比較用データ持つから
巨大なファイルツリーの転送には使えないんだよな。どっちも本格的
バックアップには元々使わないだろうけど、対象が巨大化すると
こういった細かいツールが思うように使えなくなって困る。

**名無しさん＠お腹いっぱい。** · 2006/08/01(火) 15:22:03

…pax最強？

**名無しさん＠お腹いっぱい。** · 2006/08/01(火) 21:33:33

rsync -W

**名無しさん＠お腹いっぱい。** · 2006/08/02(水) 20:05:43

>>6
それじゃ解決しない。差分計算のところじゃなくて、転送対象
一覧管理でのメモリ消費が問題だから。

- http://samba.anu.edu.au/rsync/FAQ.html#4
- http://samba.anu.edu.au/rsync/FAQ.html#5

のこと。ウン百万ファイル数のツリーコピーで死ねます。

結局速度の問題もあって、今はRAID1の玉交換でバックアップしてる。

**名無しさん＠お腹いっぱい。** · 2006/08/03(木) 09:59:38

dar も同じで、ファイル管理情報でメモリ一杯になる orz

**名無しさん＠お腹いっぱい。** · 2006/08/15(火) 03:20:45

変な質問で申し訳ない。
AIXでmtxを使用することはできますか？

**名無しさん＠お腹いっぱい。** · 2006/08/18(金) 07:41:36

これのこと？→ http://mtx.badtux.net/

かなり低レベルなSCSIアクセスするみたいだから、無理じゃね？
開発対象外だし、動作レポートはSolaris/Linux/FreeBSDで埋め尽く
されてるから動いたとしても安定稼動できるかは「？」だろうし。

**名無しさん＠お腹いっぱい。** · 2006/09/03(日) 14:14:44

保守

**名無しさん＠お腹いっぱい。** · 2006/09/28(木) 01:39:32

rsyncでsshを経由してバックアップを行っています。
日本語を使用したディレクトリ下のファイルが転送されないのですが、
日本語ファイルは扱えないのでしょうか？

**名無しさん＠お腹いっぱい。** · 2006/09/28(木) 21:32:23

普通に使えると思うが、エンコーディングは？
ローカルで rsync foo/ bar/ でも駄目なの？

**名無しさん＠お腹いっぱい。** · 2006/09/28(木) 23:51:46

OSは？

**名無しさん＠お腹いっぱい。** · 2006/10/02(月) 00:58:04

>>12
OSによる。Windowsだと日本語ファイルには完全には対応していない。

**名無しさん＠お腹いっぱい。** · 2006/11/06(月) 10:46:48

Windowsだったら、UTF-8化したcygwinのrsync使えば日本語可能だけどね

**名無しさん＠お腹いっぱい。** · 2006/11/30(木) 19:20:42

UTF-8化したcygwinはどこで手にはいるのでしょうか？

**名無しさん＠お腹いっぱい。** · 2006/11/30(木) 20:04:58

ググレカス

**名無しさん＠お腹いっぱい。** · 2006/11/30(木) 20:07:14

ググったのですが見つかりません

**名無しさん＠お腹いっぱい。** · 2006/12/02(土) 23:39:41

rsyncもうまくディレクトリ分けて実行すれば何とかなるのでは？

**名無しさん＠お腹いっぱい。** · 2006/12/27(水) 01:02:15

webdavに対してrsyncを使いたいのですが、どのオプションを使えばよいのでしょうか？

【中吉】【316円】 · 2007/01/01(月) 10:47:30

davは対応していない

**名無しさん＠お腹いっぱい。** · 2007/01/01(月) 11:27:21

google に対して rsync を…
amazon に対して rsync を…
○△□ に対して rsync を…

**名無しさん＠お腹いっぱい。** · 2007/01/01(月) 11:59:11

>>21
マウントしてからrsyncすればおけ

【末吉】【818円】 · 2007/01/01(月) 17:22:14

バックアップはとっておくべきだべ。

**名無しさん＠お腹いっぱい。** · 2007/01/15(月) 00:23:57

rsync って、２つのディレクトリを比較して差分ミラーしてくれるけど、
前回の情報ってどこに保存してるの？
それとも毎回全部比較してるの？

**名無しさん＠お腹いっぱい。** · 2007/01/15(月) 00:36:15

>>26
毎回全部比較する。

**名無しさん＠お腹いっぱい。** · 2007/01/16(火) 16:30:38

毎回全部比較しないようにする方法はありませんか？

**名無しさん＠お腹いっぱい。** · 2007/01/16(火) 21:02:14

>>28 「毎回全部比較しない」ってどういう挙動を期待してるの?

**名無しさん＠お腹いっぱい。** · 2007/01/16(火) 22:48:41

毎回全部取れ。

**名無しさん＠お腹いっぱい。** · 2007/01/16(火) 23:54:55

>28
自分で比較しなくていいものを指示しろ

i.e. 比較が必要なものを明示しろ

**名無しさん＠お腹いっぱい。** · 2007/01/21(日) 10:50:32

>>28
別の解決策を検討してみる

**名無しさん＠お腹いっぱい。** · 2007/02/12(月) 03:05:01

rsyncでバックアップを取る際に、バックアップ元にないファイルは削除したいのですが、どのオプションをつければよいのでしょうか？
現在のオプションはavzです。これだと差分だけ転送されてバックアップできるのですが、削除はされません。
よろしくお願いします。

**名無しさん＠お腹いっぱい。** · 2007/02/12(月) 03:46:00

--delete

**名無しさん＠お腹いっぱい。** · 2007/02/12(月) 16:54:40

>>28
亀だけどLinuxなら

$ inotifywait -m -e delete -e close_write -e move -r /tmp

とかで変更操作内容を記録しておける。これを使えば差分転送を
比較なしにできるよ。OSによってAPIが違うみたいなので、他のOSの
場合はそこから調べないといけないけど。

**名無しさん＠お腹いっぱい。** · 2007/02/13(火) 03:25:06

圧縮した状態でバックアップしておきたいのですが、みなさんはどのようなツールをお使いですか？

**名無しさん＠お腹いっぱい。** · 2007/02/16(金) 01:29:03

>>36
netbackup

**名無しさん＠お腹いっぱい。** · 2007/02/16(金) 09:33:27

>>36
テープドライブ

**名無しさん＠お腹いっぱい。** · 2007/02/20(火) 00:27:00

dump

**名無しさん＠お腹いっぱい。** · 2007/02/20(火) 13:26:29

Winodws上の日本語ファイル名のファイルを
CygwinのrsyncでLinux上にコピーしたとき
Linux上でのファイル名は意味不明の数字になります。
Linux上で作った日本語ファイル名のファイルは
正常に日本語が見えています。
rsyncでコピーしたファイルの日本語ファイル名が
適切な文字コードに変換されるようにできないでしょうか？

**名無しさん＠お腹いっぱい。** · 2007/02/20(火) 13:27:59

板違いだろうなきっと

**名無しさん＠お腹いっぱい。** · 2007/02/21(水) 10:39:55

rsync はファイル名の変換をしてないので、自分で変換するコードを入れるか、
rsync したあと自分で変換するわけだが...
mv $file `echo $file| nkf -W8 -s`
とか。ただし、rsync する意味はなくなくるけどね。

Linux 側をUTF locale にするとそのまま見えたりするかも。まぁ、Windows と
一緒に使う奴ならlocale はShift JISなんだろうけどな。

**名無しさん＠お腹いっぱい。** · 2007/03/12(月) 15:06:20

なんか FreeBSD の /sbin/dump って最近変わった?

新しいテープでもなんでもこんなことをいわれるんだけど:
# dump 0ufabh /dev/nsa0 256 0 /home
DUMP: WARNING: should use -L when dumping live read-write filesystems!
DUMP: Date of this level 0 dump: Mon Mar 12 15:03:23 2007
DUMP: Date of last level 0 dump: the epoch
DUMP: Dumping /dev/da1s1a (/home) to /dev/nsa0
DUMP: mapping (Pass I) [regular files]
DUMP: mapping (Pass II) [directories]
DUMP: estimated 31198136 tape blocks.
DUMP: End of tape detected
DUMP: Closing /dev/nsa0
DUMP: Change Volumes: Mount volume #2
DUMP: Is the new volume mounted and ready to go?: ("yes" or "no")

dump - | dd of=/dev/nsa0 bs=256k で書き込む分には
全然問題なく書き込めるんだが...

**名無しさん＠お腹いっぱい。** · 2007/03/13(火) 22:48:29

baculaいいよ

**名無しさん＠お腹いっぱい。** · 2007/03/29(木) 04:18:13

rdiff-backupな人はおらんの？
つーか、cygwin→debianで使ってるんだけど、cygwin側のパーミションの取得に失敗してるのか、強制的に000になってて泣ける。それ以外はいいソフトなんだけど。

むかしはrsyncを一日一回動かしてたけど、たとえば、ファイルサイズを0にするウィルスにかかって、気づかず間にrsyncが走ったら・・・と思って怖くなって移行した。

**名無しさん＠お腹いっぱい。** · 2007/04/10(火) 16:12:07

cygwin相手にrdiff-backupなんてなあ... とてもじゃないが恐くてできない。

**名無しさん＠お腹いっぱい。** · 2007/05/19(土) 03:13:11

今、AIT-Turbo試しているんだけど、くソニーが SATA版の
ドライバのOS範囲を拡充しないので、どうしたものか。

**名無しさん＠お腹いっぱい。** · 2007/09/05(水) 14:47:30

超遅レスですが、私も rdiff-backup を使い始めました。
Linux to Linux です。

pdumpfs は、リモートからの(or リモートへの)バックアップに対応していないので
rdiff-backup を使い始めたのですが、

# rdiff-backup ./foo user@host::/bar
するにしても
# rdiff-backup user@host::/foo /bar
するにしても、相手方に rdiff-backup がインストールしていないとダメなんだよね
(やってみたらそうなった)

rdiff-backup は、バックアップから取り出すときの指定は、pdumpfs よりいろいろできそうだけど、
pdumpfs の、YYYY/MM/DD ごとにファイルが並ぶほうが、直感的でわかりやすいな。

pdumpfs-rsync というのもみつけた。

**名無しさん＠お腹いっぱい。** · 2007/10/28(日) 09:20:07

rsyncをcronで実行しているのですが、実行結果をログの形で残すことはできないでしょうか？

**名無しさん＠お腹いっぱい。** · 2007/10/28(日) 10:01:45

できます

**名無しさん＠お腹いっぱい。** · 2007/10/28(日) 10:32:24

もちろんできます

**名無しさん＠お腹いっぱい。** · 2007/10/28(日) 13:36:38

たしかにできました。ありがとうございました。

**名無しさん＠お腹いっぱい。** · 2007/10/28(日) 16:51:24

rsyncをcronで実行しているのですが、実行結果のログを残す方法を教えてください

**名無しさん＠お腹いっぱい。** · 2007/10/28(日) 22:19:36

>>filename.log 2>&1

**名無しさん＠お腹いっぱい。** · 2007/10/30(火) 15:10:08

rsyncが止まって動かなくなるんで、バックアップに使えなくなった・・・orz.

**名無しさん＠お腹いっぱい。** · 2007/11/01(木) 02:26:31

scpに切り替えてしまうのが吉。
rsyncは規模に対する限界が速すぎるので、scpにして後は回線帯域を
投げて解決。フルコピーできない場合はmd5sumとか取っておいて、それを
比較して該当分だけscp。

たかがファイルコピーだが、規模が大きくなると別種の問題になるよね。
rsyncはメモリリークしてるわけじゃないけど結構前のGNU cpではリークしてて、
数百GB、数百万ファイルのcp -aしたらメモリが尽きてお亡くなりに。

そりゃ普通はリークしてもすぐ終了するから問題ないんだけどね・・・

**名無しさん＠お腹いっぱい。** · 2007/11/01(木) 02:41:48

>>56
Thanks.. 試してみむ。

**名無しさん＠お腹いっぱい。** · 2007/11/01(木) 12:49:20

rsyncは対象ファイルが多くなればなるほどメモリ使うからね
数が多いと数ギガとか使われる

**名無しさん＠お腹いっぱい。** · 2007/11/14(水) 05:14:01

>>56
規模が大きいことを前提としておいて scp とか md5sum とかあり得ない。
そんなことするくらいなら、古典的な tar の差分バックアップの方がずっとまし。

ついでに言うと rsync 3.0 でその手の問題は解決。

**名無しさん＠お腹いっぱい。** · 2007/11/18(日) 22:28:52

Win のデータを Linux サーバに、Unison というソフトで同期バックアップをしているのですが、
日本語のファイル・フォルダ名が入っていると、バックアップができません。
パッチとか、良い方法はありますか？

**名無しさん＠お腹いっぱい。** · 2007/11/18(日) 23:43:15

rsyncだとできるのかね？
>>16

ttp://kony.no-ip.info/~kon/wiki/index.php?Windowsでrsyncを使う

**名無しさん＠お腹いっぱい。** · 2007/11/19(月) 23:13:29

>>60
それはまった。Linux側ではUTF-8、Windows側でSJISでうまく同期できず。
OCamlなんて言語で書いてあるから直す気も失せた。

現状うまく使う方法としてはSamba経由でドライブにマウントして、
その上でunisonをドライブ同士でかけることかな。もっとも自分は
Windowsのオフラインフォルダに逃げた逃亡兵。