s3-backup-helper

オブジェクトストレージのバックアップツール

S3バケットごとにGCSバケットを作成し、各オブジェクトをSnappyで圧縮してアップロード、全て完了したらtraQにWebhookを送信します。

実行

バックアップ

go run .

復元

go run restore/main.go

GCS_BUCKETからS3_BUCKETに復元されます。

単一ファイル復元

go run decompress/main.go /path/to/snappy/file

設定

sample.envから.envを作るか、環境変数で指定します。

GCS_BUCKET_NAME_SUFFIX: GCSバケットが<S3バケット名> + GCS_BUCKET_NAME_SUFFIXという名前で作られます。
（GCSバケット名がグローバルでユニークである必要があるため）

PALALELL_NUM: 同時に処理するオブジェクトの数

FULL_BACKUP: trueの場合、全てのファイルをバックアップ
falseの場合、GCSに存在しない、またはMD5ハッシュが一致しないファイルのみバックアップ