분석용 데이터베이스 Redshift

🥐Amazon Redshift

데이터 분석을 위한 데이터 웨어하우스 서비스다.

 

웨어하우스(Warehouse)는 창고라는 의미로, 짐을 창고에 쌓아두듯 데이터를 쌓아두는 역할.

 

다른 리전에 있는 대량의 S3나 RDS 데이터를 Redshift로 가져와

SQL이나 BI (Business Intelligence) 도구를 이용해 분석 해줌.

 

Redshift는 열 지향 스토리지 구조이다.

 

ex. 학생 데이터 테이블

번호	이름	점수
001	tistory	95
002	maymin	100

 

평균을 낸다고하면, 학생별 행이 아닌 열을 사용해야한다.

--> 열 지향 스토리지

 

 

데이터 조작을 위해 SQL을 사용한다.

 

[노드 구성]

• 리더 노드
  > SQL 연결을 받아들임
• 컴퓨터 노드
  > 스토리지 및 SQL 문을 실행

 

최신 Redshift는 RA3라는 노드 유형 사용

RA3는 캐시(임시) 데이터를 컴퓨팅 노드로 가져오고, 실제 데이터는 S3에 보관한다.

 

Redshift는 분석 및 데이터 읽기에 특화된 데이터이기에

COPY명령어를 사용해 S3버킷에서 여러개의 텍스트 데이터를 병렬로 업로드 하는 것을 추천 @