전체 글 검색 결과

해당 글 163건
[AWS] AWS CLI(Command Line Interface)를 활용한 파일 업로드

AWS CLI(Command Line Interface)를 활용한 파일 업로드 사내에서 AWS S3를 사용중이다. 주로 데이터 파일들을 저장하고 있다. 여기서 말하는 데이터 파일은 서비스에 제공하는 원천데이터로서 *.txt 또는 *.csv, *.xlsx 등이 저장되어있다. 초기 데이터 구축 당시에는 혼자 진행하는 이유도 있었고, S3 활용법에 대해 잘 몰라서 압축해제하고 S3에 업로드한 뒤 코드를 통해 데이터를 읽어 DataBase에 밀어넣었다. 초기 데이터 구축이 완료된 현재는 수동으로 압축해제 후, S3 업로드 방식이 아닌 linux를 통해 압축을 해제하고 Local에 저장된 파일들을 S3에 업로드하고자 한다. 이에 대한 내용을 정리해보자. 먼저 AWS 이기 때문에 IAM 계정이 있어야한다. 계정을 ..
Etc/AWS 2023. 2. 21. 12:49
[PostgreSQL] 데이터가 있으면 UPDATE / 데이터가 없으면 INSERT

데이터가 있으면 UPDATE / 데이터가 없으면 INSERT DB에서 흔히 말하는 upsert 구문을 PostgreSQL에서도 사용해보자. INSERT INTO [TABLE] (COLUMN1, COLUMN2, ...) VALUES (VALUE1, VALUE2, ...) ON CONFLICT ([column_name / ON CONSTRAINT constraint_name/ WHERE predicate]) [DO NOTHING] [DO UPDATE SET column1 = value1, ...] ON CONFLICT column_name : 특정 컬럼명을 기준으로 체크하고, 컬럼을 여러 개 넣을수도 있다. ON CONSTRAINT constraint_name : 테이블 생성할 때 만든 constraint ..
DBMS/PostgreSQL 2023. 2. 20. 17:48
[h2] Mac환경에서 H2 DataBase 설치 (IntelliJ Project 연결)

Mac환경에서 H2 DataBase 설치 (IntelliJ Proect 연결) 간단한 프로젝트를 생성할 때 많이 사용하는 인-메모리(In-memory) 데이터베이스의 일종인 H2는 가볍다. 오늘은 h2를 설치하면서 프로젝트에 연결까지 해보자. 1. h2 다운로드 https://www.h2database.com/html/main.html Mac 환경에서는 All Platforms 을 클릭하여 다운로드 받으면 된다. 2. 실행 다운로드 받아진 *.zip 파일의 압축을 풀어주고 h2 > bin 으로 이동하여 sh 파일에 권한을 주고 실행한다. # bin 으로 이동 $ cd h2/bin # 실행파일 권한 추가 $ chmod 755 h2.sh # H2 실행 $ ./h2.sh -webAllowOthers 이때 -w..
DBMS/Etc 2023. 2. 18. 12:00
[Linux] awk 명령어 활용 (파일 데이터 확인, 조작, 출력, 저장)

awk 명령어 활용 (파일 데이터 확인, 조작, 출력, 저장) awk 라는 용어가 와닿지 않는다. 자칫하면 aws라고 읽을정도. 보통 명령어는 명령어만으로 대략적인 이름을 파악할 수 있는데, awk 명령어는 예상하지 쉽지 않다. awk 기능을 만든 사람들의 이니셜을 조합하여 만든 이름이기 때문이다. Aho + Weinberger + Kernighan. (A:Alfred V. Aho, W:Peter J. Weinberger, K:Brian W. Kernighan) awk 란 파일로부터 레코드(record)를 선택하고 선택된 레코드에 포함된 값을 조작하거나 데이터화하는 것을 목적으로 사용하는 프로그램이다. 해당 명령어를 입력한 후 지정한 파일로부터 데이터를 분류하고, 분류된 텍스트 데이터를 바탕으로 매칭여부..
Etc/Linux 2023. 2. 17. 16:14
[Etc] Gibibyte(GiB) 와 Gigabyte(GB)

Gibibyte(GiB) 와 Gigabyte(GB) 사내에서 AWS RDS를 구축하여 사용중이다. 내가 직접 인스턴스를 선택해야했기 때문에 고민이 많았는데, 이때까지만 해도 메모리라고 쓰여 있는 부분을 GB(기가바이트)라고 생각했었다. 자세히보니 GB가 아닌 GiB였다. 둘은 엄연히 다른 알파벳이다. 이 둘의 차이점을 알아보자. Gibibyte(GiB) 와 Gigabyte(GB)의 개념은 10진법과 2진법의 개념차이다. 수학을 놓아버린지 오래되었지만 이를 이해해야한다. 이 크기를 실감할 수 있는 예시는 데스크탑 등에서 사용가능한 디스크 및 USB의 용량이다. 1TB의 디스크를 구매했을 때, 실제 사용 가능한 용량은 1TB가 되지 않는다. 2진법 기준으로 작동하는 컴퓨터의 개념에 따라 1GB = 1024M..
Etc/Etc 2023. 2. 14. 11:34