トップページ⇒unix
281コメント85KB

バックアップ_(2)

■ このスレッドは過去ログ倉庫に格納されています
0001名無しさん＠お腹いっぱい。2006/07/31(月) 18:24:59
前スレ
http://pc8.2ch.net/test/read.cgi/unix/1019233825/l50



W. Curtis Preston
『Unixバックアップ&リカバリ』
長原宏治_監訳，田和勝_訳，
オライリー・ジャパン，2001/8/16．
http://www.amazon.co.jp/gp/product/4873110491/249-3251594-6585132?v=glance&n=465392&s=gateway
0002名無しさん＠お腹いっぱい。2006/07/31(月) 23:43:02
あ、新スレ立ったのか。乙＞１

ところで、バックアップツールで一つ発見。（GNU な）cp は
メモリリークするので使ってはいけない。250GBのデータコピーしたら
メモリを使い果たしてシステムごとあぼーんしました。ガイシュツ？
0003名無しさん＠お腹いっぱい。2006/08/01(火) 07:25:50
どこだか知らないけど、見たことあるよ。
0004名無しさん＠お腹いっぱい。2006/08/01(火) 09:39:54
これはリークじゃないけど、rsyncもオンメモリで比較用データ持つから
巨大なファイルツリーの転送には使えないんだよな。どっちも本格的
バックアップには元々使わないだろうけど、対象が巨大化すると
こういった細かいツールが思うように使えなくなって困る。
0005名無しさん＠お腹いっぱい。2006/08/01(火) 15:22:03
…pax最強？
0006名無しさん＠お腹いっぱい。2006/08/01(火) 21:33:33
rsync -W
0007名無しさん＠お腹いっぱい。2006/08/02(水) 20:05:43
>>6
それじゃ解決しない。差分計算のところじゃなくて、転送対象
一覧管理でのメモリ消費が問題だから。

- http://samba.anu.edu.au/rsync/FAQ.html#4
- http://samba.anu.edu.au/rsync/FAQ.html#5

のこと。ウン百万ファイル数のツリーコピーで死ねます。

結局速度の問題もあって、今はRAID1の玉交換でバックアップしてる。
0008名無しさん＠お腹いっぱい。2006/08/03(木) 09:59:38
dar も同じで、ファイル管理情報でメモリ一杯になる orz
0009名無しさん＠お腹いっぱい。2006/08/15(火) 03:20:45
変な質問で申し訳ない。
AIXでmtxを使用することはできますか？
0010名無しさん＠お腹いっぱい。2006/08/18(金) 07:41:36
これのこと？→ http://mtx.badtux.net/

かなり低レベルなSCSIアクセスするみたいだから、無理じゃね？
開発対象外だし、動作レポートはSolaris/Linux/FreeBSDで埋め尽く
されてるから動いたとしても安定稼動できるかは「？」だろうし。
0011名無しさん＠お腹いっぱい。2006/09/03(日) 14:14:44
保守
0012名無しさん＠お腹いっぱい。2006/09/28(木) 01:39:32
rsyncでsshを経由してバックアップを行っています。
日本語を使用したディレクトリ下のファイルが転送されないのですが、
日本語ファイルは扱えないのでしょうか？
0013名無しさん＠お腹いっぱい。2006/09/28(木) 21:32:23
普通に使えると思うが、エンコーディングは？
ローカルで rsync foo/ bar/ でも駄目なの？
0014名無しさん＠お腹いっぱい。2006/09/28(木) 23:51:46
OSは？
0015名無しさん＠お腹いっぱい。2006/10/02(月) 00:58:04
>>12
OSによる。Windowsだと日本語ファイルには完全には対応していない。
0016名無しさん＠お腹いっぱい。2006/11/06(月) 10:46:48
Windowsだったら、UTF-8化したcygwinのrsync使えば日本語可能だけどね
0017名無しさん＠お腹いっぱい。2006/11/30(木) 19:20:42
UTF-8化したcygwinはどこで手にはいるのでしょうか？
0018名無しさん＠お腹いっぱい。2006/11/30(木) 20:04:58
ググレカス
0019名無しさん＠お腹いっぱい。2006/11/30(木) 20:07:14
ググったのですが見つかりません
0020名無しさん＠お腹いっぱい。2006/12/02(土) 23:39:41
rsyncもうまくディレクトリ分けて実行すれば何とかなるのでは？
0021名無しさん＠お腹いっぱい。2006/12/27(水) 01:02:15
webdavに対してrsyncを使いたいのですが、どのオプションを使えばよいのでしょうか？
0022 【中吉】 【316円】 2007/01/01(月) 10:47:30
davは対応していない
0023名無しさん＠お腹いっぱい。2007/01/01(月) 11:27:21
google に対して rsync を…
amazon に対して rsync を…
○△□ に対して rsync を…
0024名無しさん＠お腹いっぱい。2007/01/01(月) 11:59:11
>>21
マウントしてからrsyncすればおけ
0025 【末吉】 【818円】 2007/01/01(月) 17:22:14
バックアップはとっておくべきだべ。
0026名無しさん＠お腹いっぱい。2007/01/15(月) 00:23:57
rsync って、２つのディレクトリを比較して差分ミラーしてくれるけど、
前回の情報ってどこに保存してるの？
それとも毎回全部比較してるの？
0027名無しさん＠お腹いっぱい。2007/01/15(月) 00:36:15
>>26
毎回全部比較する。
0028名無しさん＠お腹いっぱい。2007/01/16(火) 16:30:38
毎回全部比較しないようにする方法はありませんか？
0029名無しさん＠お腹いっぱい。2007/01/16(火) 21:02:14
>>28 「毎回全部比較しない」ってどういう挙動を期待してるの?
0030名無しさん＠お腹いっぱい。2007/01/16(火) 22:48:41
毎回全部取れ。
0031名無しさん＠お腹いっぱい。2007/01/16(火) 23:54:55
>28
自分で比較しなくていいものを指示しろ

i.e. 比較が必要なものを明示しろ
0032名無しさん＠お腹いっぱい。2007/01/21(日) 10:50:32
>>28
別の解決策を検討してみる
0033名無しさん＠お腹いっぱい。2007/02/12(月) 03:05:01
rsyncでバックアップを取る際に、バックアップ元にないファイルは削除したいのですが、どのオプションをつければよいのでしょうか？
現在のオプションはavzです。これだと差分だけ転送されてバックアップできるのですが、削除はされません。
よろしくお願いします。
0034名無しさん＠お腹いっぱい。2007/02/12(月) 03:46:00
--delete
0035名無しさん＠お腹いっぱい。2007/02/12(月) 16:54:40
>>28
亀だけどLinuxなら

$ inotifywait -m -e delete -e close_write -e move -r /tmp

とかで変更操作内容を記録しておける。これを使えば差分転送を
比較なしにできるよ。OSによってAPIが違うみたいなので、他のOSの
場合はそこから調べないといけないけど。

0036名無しさん＠お腹いっぱい。2007/02/13(火) 03:25:06
圧縮した状態でバックアップしておきたいのですが、みなさんはどのようなツールをお使いですか？
0037名無しさん＠お腹いっぱい。2007/02/16(金) 01:29:03
>>36
netbackup
0038名無しさん＠お腹いっぱい。2007/02/16(金) 09:33:27
>>36
テープドライブ
0039名無しさん＠お腹いっぱい。2007/02/20(火) 00:27:00
dump
0040名無しさん＠お腹いっぱい。2007/02/20(火) 13:26:29
Winodws上の日本語ファイル名のファイルを
CygwinのrsyncでLinux上にコピーしたとき
Linux上でのファイル名は意味不明の数字になります。
Linux上で作った日本語ファイル名のファイルは
正常に日本語が見えています。
rsyncでコピーしたファイルの日本語ファイル名が
適切な文字コードに変換されるようにできないでしょうか？
0041名無しさん＠お腹いっぱい。2007/02/20(火) 13:27:59
板違いだろうなきっと
0042名無しさん＠お腹いっぱい。2007/02/21(水) 10:39:55
rsync はファイル名の変換をしてないので、自分で変換するコードを入れるか、
rsync したあと自分で変換するわけだが...
mv $file `echo $file| nkf -W8 -s`
とか。ただし、rsync する意味はなくなくるけどね。

Linux 側をUTF locale にするとそのまま見えたりするかも。まぁ、Windows と
一緒に使う奴ならlocale はShift JISなんだろうけどな。
0043名無しさん＠お腹いっぱい。2007/03/12(月) 15:06:20
なんか FreeBSD の /sbin/dump って最近変わった?

新しいテープでもなんでもこんなことをいわれるんだけど:
# dump 0ufabh /dev/nsa0 256 0 /home
DUMP: WARNING: should use -L when dumping live read-write filesystems!
DUMP: Date of this level 0 dump: Mon Mar 12 15:03:23 2007
DUMP: Date of last level 0 dump: the epoch
DUMP: Dumping /dev/da1s1a (/home) to /dev/nsa0
DUMP: mapping (Pass I) [regular files]
DUMP: mapping (Pass II) [directories]
DUMP: estimated 31198136 tape blocks.
DUMP: End of tape detected
DUMP: Closing /dev/nsa0
DUMP: Change Volumes: Mount volume #2
DUMP: Is the new volume mounted and ready to go?: ("yes" or "no")

dump - | dd of=/dev/nsa0 bs=256k で書き込む分には
全然問題なく書き込めるんだが...
0044名無しさん＠お腹いっぱい。2007/03/13(火) 22:48:29
baculaいいよ
0045名無しさん＠お腹いっぱい。2007/03/29(木) 04:18:13
rdiff-backupな人はおらんの？
つーか、cygwin→debianで使ってるんだけど、cygwin側のパーミションの取得に失敗してるのか、強制的に000になってて泣ける。それ以外はいいソフトなんだけど。

むかしはrsyncを一日一回動かしてたけど、たとえば、ファイルサイズを0にするウィルスにかかって、気づかず間にrsyncが走ったら・・・と思って怖くなって移行した。
0046名無しさん＠お腹いっぱい。2007/04/10(火) 16:12:07
cygwin相手にrdiff-backupなんてなあ... とてもじゃないが恐くてできない。
0047名無しさん＠お腹いっぱい。2007/05/19(土) 03:13:11
今、AIT-Turbo試しているんだけど、くソニーが SATA版の
ドライバのOS範囲を拡充しないので、どうしたものか。
0048名無しさん＠お腹いっぱい。2007/09/05(水) 14:47:30
超遅レスですが、私も rdiff-backup を使い始めました。
Linux to Linux です。

pdumpfs は、リモートからの(or リモートへの)バックアップに対応していないので
rdiff-backup を使い始めたのですが、

# rdiff-backup ./foo user@host::/bar
するにしても
# rdiff-backup user@host::/foo /bar
するにしても、相手方に rdiff-backup がインストールしていないとダメなんだよね
(やってみたらそうなった)

rdiff-backup は、バックアップから取り出すときの指定は、pdumpfs よりいろいろできそうだけど、
pdumpfs の、YYYY/MM/DD ごとにファイルが並ぶほうが、直感的でわかりやすいな。

pdumpfs-rsync というのもみつけた。
0049名無しさん＠お腹いっぱい。2007/10/28(日) 09:20:07
rsyncをcronで実行しているのですが、実行結果をログの形で残すことはできないでしょうか？
0050名無しさん＠お腹いっぱい。2007/10/28(日) 10:01:45
できます
0051名無しさん＠お腹いっぱい。2007/10/28(日) 10:32:24
もちろんできます
0052名無しさん＠お腹いっぱい。2007/10/28(日) 13:36:38
たしかにできました。ありがとうございました。
0053名無しさん＠お腹いっぱい。2007/10/28(日) 16:51:24
rsyncをcronで実行しているのですが、実行結果のログを残す方法を教えてください
0054名無しさん＠お腹いっぱい。2007/10/28(日) 22:19:36
>>filename.log 2>&1
0055名無しさん＠お腹いっぱい。2007/10/30(火) 15:10:08
rsyncが止まって動かなくなるんで、バックアップに使えなくなった・・・orz.
0056名無しさん＠お腹いっぱい。2007/11/01(木) 02:26:31
scpに切り替えてしまうのが吉。
rsyncは規模に対する限界が速すぎるので、scpにして後は回線帯域を
投げて解決。フルコピーできない場合はmd5sumとか取っておいて、それを
比較して該当分だけscp。

たかがファイルコピーだが、規模が大きくなると別種の問題になるよね。
rsyncはメモリリークしてるわけじゃないけど結構前のGNU cpではリークしてて、
数百GB、数百万ファイルのcp -aしたらメモリが尽きてお亡くなりに。

そりゃ普通はリークしてもすぐ終了するから問題ないんだけどね・・・
0057名無しさん＠お腹いっぱい。2007/11/01(木) 02:41:48
>>56
Thanks.. 試してみむ。
0058名無しさん＠お腹いっぱい。2007/11/01(木) 12:49:20
rsyncは対象ファイルが多くなればなるほどメモリ使うからね
数が多いと数ギガとか使われる
0059名無しさん＠お腹いっぱい。2007/11/14(水) 05:14:01
>>56
規模が大きいことを前提としておいて scp とか md5sum とかあり得ない。
そんなことするくらいなら、古典的な tar の差分バックアップの方がずっとまし。

ついでに言うと rsync 3.0 でその手の問題は解決。

0060名無しさん＠お腹いっぱい。2007/11/18(日) 22:28:52
Win のデータを Linux サーバに、Unison というソフトで同期バックアップをしているのですが、
日本語のファイル・フォルダ名が入っていると、バックアップができません。
パッチとか、良い方法はありますか？
0061名無しさん＠お腹いっぱい。2007/11/18(日) 23:43:15
rsyncだとできるのかね？
>>16

ttp://kony.no-ip.info/~kon/wiki/index.php?Windowsでrsyncを使う
0062名無しさん＠お腹いっぱい。2007/11/19(月) 23:13:29
>>60
それはまった。Linux側ではUTF-8、Windows側でSJISでうまく同期できず。
OCamlなんて言語で書いてあるから直す気も失せた。

現状うまく使う方法としてはSamba経由でドライブにマウントして、
その上でunisonをドライブ同士でかけることかな。もっとも自分は
Windowsのオフラインフォルダに逃げた逃亡兵。
0063名無しさん＠お腹いっぱい。2007/11/20(火) 03:00:42
>>62
smbget でミラーつくったりしてるけど。
0064名無しさん＠お腹いっぱい。2007/11/20(火) 21:41:38
>>62
おお、同志よ！やっぱりはまりましたか！
じゃ私は、Unison 諦めて Mercurial に逃げます！
0065名無しさん＠お腹いっぱい。2007/11/21(水) 01:41:00
>>59
rsync 3.0まだでてないじゃん
0066名無しさん＠お腹いっぱい。2008/03/02(日) 11:44:59
バックアップを暗号化したいのですが、定番のやり方ってあります?

現在は、cron+dumpでファイルに落として、そのファイルを別ホストにミラーするのと
DVDに焼くのとでバックアップを回してます。これだとダンプしたファイルを
秘匿しないといけないのが難だなってことで、暗号化したいと思っています。

初めはGnuPGがいいかなと思ったのですが、同一のパスフレーズから完全一致する
鍵ペアを再生成する方法がわからなかったので、鍵ペアの保守に困りそう...
てことで、mcryptを調べたりしているところです。

対象ホストはLinuxですが、なるべくOSに依存しない手段を選べると嬉しいです。
何かアドバイスがいただけるとありがたいです。
0067名無しさん＠お腹いっぱい。2008/03/03(月) 14:48:40
bacula はバックアップの暗号化をサポートしてるで
0068名無しさん＠お腹いっぱい。2008/03/03(月) 18:38:30
>>65
熟練管理者御用達のバックアップツール「rsync 3.0」 - Mac対応強化 | エンタープライズ | マイコミジャーナル
http://journal.mycom.co.jp/news/2008/03/03/015/index.html
0069名無しさん＠お腹いっぱい。2008/03/18(火) 09:40:18
やっとでたのか〜
0070名無しさん＠お腹いっぱい。2008/04/14(月) 11:14:42
rsyncの挙動について - 教えて！goo
http://oshiete1.goo.ne.jp/qa1614836.html?ans_count_asc=1

ファイル数多いからバックアップにtar通せみたいな流れになっているんですが、
差分バックアップはどうするんだろう？

あとrsyncってメモリ消費型なんですね・・・
ファイル数多いと馬鹿食いするのかー。

UNIXには、Windowsの fastcopy みたいなツールはないんでしょうか？
fastcopy は、100万ファイルあってもメモリ消費は少、コピー自体も爆速なんですが。
0071名無しさん＠お腹いっぱい。2008/04/14(月) 11:15:02
追記：あと差分コピーも可です。
0072名無しさん＠お腹いっぱい。2008/04/14(月) 12:20:04
>>70
ファイル数が多いとすぐ１Gとか行っちゃうよ
個々のファイルサイズにもよるけど
tarで固めて全部送ったほうが速い場合もある
0073名無しさん＠お腹いっぱい。2008/04/14(月) 14:18:42
rsyncで処理するのが不適当なファイル数なら、俺なら(ufs)dump/restore使うなあ。
0074名無しさん＠お腹いっぱい。2008/04/14(月) 14:36:41
そういう意味ではなく、全体のファイル数が多くて、差分コピーするって話なのですが・・・
500GBのストレージで10GBしか更新されたファイルがないようなときです
0075名無しさん＠お腹いっぱい。2008/04/14(月) 14:41:39
>>70
その fastcopy ってやつの仕組みは rsync とどう違うの？
0076名無しさん＠お腹いっぱい。2008/04/14(月) 15:02:24
>>70
rsync-3.0はあまりメモリ食わないみたいよ
0077名無しさん＠お腹いっぱい。2008/04/14(月) 15:35:25
着目するべきなのは容量でなくファイル数。
まあrsyncで実際に試してみりゃ問題ないのわかると思うけど。
0078名無しさん＠お腹いっぱい。2008/04/15(火) 23:43:34
>>75
FastCopyはこれです
http://www.ipmsg.org/tools/fastcopy.html

元々は、小さなファイルなどをオンメモリで一括コピーするような
高速なファイルコピー、削除ツールなのですが、
UNICODE対応、省メモリなのがこれしかなくて、
Windowsでのバックアップ、ミラーリングに使ってます
（バックアップ専用ソフトでもこういうのがなかなかない）

HDD内に100万ファイルくらいあってもメモリ量はびびたるもの。
前にWindowsでBunBackupというのを使ったのですが、こちらは、
100万ファイルだと1.0GBほどメモリを使いましたｗ

rsyncのソースは読んだことないのですが、
メモリをたくさん食う方だとネットでも見ているのですが、
そうなるとクリティカルなバックアップ局面では使えない気がします
3.0では解決された？
0079名無しさん＠お腹いっぱい。2008/04/16(水) 00:33:59
>>78
rsync 3.0ではファイルの数が多くてもメモリの使用量は少ない.
ただし,
・更新元にないファイルをどのタイミングで消すか
・ハードリンクをどれくらいちゃんと扱うか
といった条件次第では, 転送を開始する前に両端での各ファイルの
stat 結果を保持することになるのでメモリの使用量は従来同様多い.




0080名無しさん＠お腹いっぱい。2008/04/16(水) 00:50:34
>>78
ipmsgのファイル転送も最強に速いからね
ただ、FastCopyはファイル転送ツールじゃないでしょ？
0081名無しさん＠お腹いっぱい。2008/04/16(水) 00:59:11
>>80
いつからここはファイル転送ツールスレ(しかもWindows)になったんだ?
■ このスレッドは過去ログ倉庫に格納されています