전체 글 333

데이터 웨어하우스와 고급 SQL, BI 대시보드 (2)

Redshift AWS에서 지원하는 데이터 웨어하우스 서비스 2PB의 데이터까지 처리 가능 최소 160GB로 시작해 점진적으로 용량 증감 가능 Still OLAP 응답속도가 빠르지 않기 때문에 프로덕션 데이터베이스로 사용불가 컬림 기반 스토리지 레코드 별로 저장이 아닌 컬럼 별로 저장 컬럼 별 압축이 가능하며 컬럼을 추가하거나 삭제하는 것이 아주 빠름 벌크 업데이트 지원 레코드가 들어있는 파일을 S3로 복사 후 COPY 커맨드로 Redshift로 일괄 복사 고정 용량/비용 SQL 엔진 최근 가변 비용 옵션도 제공 (Redshift Serverless) 데이터 공유 기능 (Datashare) 다른 AWS 계정과 특정 데이터 공유 가능 다른 데이터 웨어하우스처럼 primary key uniqueness를 보..

데이터 웨어하우스와 고급 SQL, BI 대시보드 (1)

데이터 조직이 하는 일 고품질 데이터를 기반으로 의사 결정권자에게 입력 제공 - 결정 과학 (Decision Science)라고도 함 - 데이터를 고려한 결정을 가능하게 해줌 - Ex_) 데이터 기반 지표 정의, 대시보드와 리포트 생성 등을 수행 고품질 데이터를 기반으로 사용자 서비스 경험 개선 혹은 프로세스 최적화 - 머신 러닝과 같은 알고리즘을 통해 사용자의 서비스 경험을 개선 데이터 웨어하우스 회사에 필요한 모든 데이터를 모아놓은 중앙 데이터베이스 - AWS Redshift, 구글 BigQuery, Snowflake, 하둡/Spark 등이 있음 프로덕션용 베이터베이스와 별개의 데이터베이스여야 함 데이터 웨어하우스의 구축이 진정한 데이터 조직이 되는 첫 번째 단계 데이터 웨어하우스 장단점 기본적으로 ..

AWS(5)

Docker 컨테이너 기반의 오픈소스 가상화 플랫폼 다양한 프로그램, 실행환경을 컨테이너로 추상화하고 동일한 인터페이스를 제공하여 프로그램의 배포 및 관리를 단순화 백엔드 프로그램, 데이터베이스 서버, 메시지 큐 등 어떤 프로그램도 컨테이너로 추상화 가능 컨테이너 (Container) 호스트와 다른 컨테이너로 격리된 시스템 자원과 네트워크를 사용하는 프로세스 이미지는 읽기 전용으로 사용하여 변경사항은 컨테이너 계층에 저장 -> 컨테이너에서 무엇을 하든 이미지는 영향을 받지 않음 이미지 (Image) 컨테이너를 생성할 때 필요한 요소를 포함 (파일, 설정 값 등) 컨테이너의 목적에 맞는 바이너리와 의존성이 설치되어 있음 여러 개의 계층으로 된 바이너리 파일로 존재 주요 명령어 Container 생성 및 실..

AWS(4)

AWS CLI AWS 명령줄 인터페이스 (CLI)는 AWS 서비스를 관리하는 통합 도구 도구 하나만 다운로드하여 구성하면 여러 AWS 서비스를 명령줄에서 제어하고 스크립트를 통해 자동화 설치 방법 Windows - 64 or 32 비트 Windows에 맞는 설치 프로그램을 다운로드하여 실행 Mac or Linux - Python 2.6.5 이상 필요 - pip를 사용하여 설치 (pip install awscli) Amazon Linux - AWS CLI는 Amazon Linux AMI에 미리 설치되어 제공 Powershell 또는 터미널에서 aws --version 입력 시 버전 정보가 제대로 나온다면 정상 설치 된 것 CLI 설정하기 aws configure를 통해 설정하기 AWS Access Key ..

AWS(3)

IAM (Identity and Access Management) Identity and Access Management (IAM)의 약자로 AWS 리소스에 대한 액세스를 안전하게 제어할 수 있는 웹 서비스 IAM을 사용하여 리소스를 사용하도록 인증 (로그인) 및 권한 부여 (권한 있음)된 대상 제어 AWS 계정 생성 시 해당 계정의 모든 AWS 서비스 및 리소스에 대한 완전한 액세스 권한이 있는 단일 로그인 ID로 시작 해당 자격 증명은 AWS 계정 루트 사용자라고 하며, 계정을 생성할 때 사용한 이메일 주소와 암호로 로그인 일상적인 작업에 루트 사용자를 사용하지 않을 것을 강력히 권장 특징 AWS 계정에 대한 공유 세분화된 권한 Amazon EC2에서 실행되는 애플리케이션을 위한 보안 AWS 리소스 ..

728x90