[AWS] AWS CLI(Command Line Interface)를 활용한 파일 업로드

AWS CLI(Command Line Interface)를 활용한 파일 업로드

 

사내에서 AWS S3를 사용중이다. 주로 데이터 파일들을 저장하고 있다. 여기서 말하는 데이터 파일은 서비스에 제공하는 원천데이터로서 *.txt 또는 *.csv, *.xlsx 등이 저장되어있다. 초기 데이터 구축 당시에는 혼자 진행하는 이유도 있었고, S3 활용법에 대해 잘 몰라서 압축해제하고 S3에 업로드한 뒤 코드를 통해 데이터를 읽어 DataBase에 밀어넣었다. 

초기 데이터 구축이 완료된 현재는 수동으로 압축해제 후, S3 업로드 방식이 아닌 linux를 통해 압축을 해제하고 Local에 저장된 파일들을 S3에 업로드하고자 한다. 이에 대한 내용을 정리해보자. 

먼저 AWS 이기 때문에 IAM 계정이 있어야한다. 계정을 생성하였고, 해당 IAM 계정에 AmazonS3FullAccess 접근이 부여되어있어야 한다. IAM 계정을 생성하면 Access key ID, Secret access key 를 발급할 수 있는데 해당 파일은 로컬에 저장되어있는 상태이다. 

 

1. aws configure 실행

$ aws configure

$ AWS Access Key ID [None]:
$ AWS Secret Access Key [None]:
$ Default region name [None]:
$ Default output format [None]:

aws configure 명령어를 입력하면 4개 항목을 입력할 수 있는데, 이 중 access ID, Secret Access Key는 다운로드받은 csv 파일에서 확인하면 된다. Default region name은 아시아 (서울)로서 ap-northeast-2를 입력하면 된다. 마지막 Default output format은 enter를 눌러 넘어가면 된다. 

 

2. AWS CLI 접근 확인 

# 내 계정의 버킷명 확인
$ aws s3 ls
# 2022-09-20 11:33:57 [S3 버킷명]

# 내 버킷 내 파일 리스트 확인
$ aws s3 ls s3://[S3 버킷명]/

접근이 가능한지 테스트를 위해 위 명령어를 입력하면 생성해둔 S3 버킷명이 표시된다.

 

3. Local(로컬) 파일을 복사하여 S3에 복사하기

# 단건의 로컬 파일을 복사하여 aws s3에 복사 
$ aws s3 cp [local 파일 경로] s3://[버킷명]/파일명

# 여러 개의 파일 또는 폴더를 aws s3에 복사
$ aws s3 cp [local 경로] s3://[버킷명]/파일명