タグ別アーカイブ: S3

任意のホストからAWS SDKを使ってS3へファイルをアップロードする

はじめに

 AWS上に構築したシステムに、システム外の外部ホストからファイルをアップロードするような業務はよくあると思います。やっていることは単純なのですが、ちょっとした手順になりますのでまとめておきます。なお、今回は AWS SDK for Python (boto3) を使ったプログラムを紹介します。

続きを読む

S3 バケットから複数のファイルを一括でコピーする

はじめに

 AWS コマンドはLinux の標準コマンドによく似た引数の並びで S3 へ簡単にアクセスできるようになっています。しかし完全に同じというわけではなく、例えば aws s3 cp コマンドでアスタリスクを付けてコピーしようとしても、ワイルドカードとして認識されず失敗します。

$ aws s3 cp s3://my-bucket/json-data* /mnt/.
A client error (404) occurred when calling the HeadObject operation: Key "json-data*" does not exist
Completed 1 part(s) with ... file(s) remaining

 今回、BashとPython3 (+ boto3)で複数ファイルの取り扱いについて紹介したいと思います。

続きを読む