전체 글 357

AWS(4)

AWS CLI AWS 명령줄 인터페이스 (CLI)는 AWS 서비스를 관리하는 통합 도구 도구 하나만 다운로드하여 구성하면 여러 AWS 서비스를 명령줄에서 제어하고 스크립트를 통해 자동화 설치 방법 Windows - 64 or 32 비트 Windows에 맞는 설치 프로그램을 다운로드하여 실행 Mac or Linux - Python 2.6.5 이상 필요 - pip를 사용하여 설치 (pip install awscli) Amazon Linux - AWS CLI는 Amazon Linux AMI에 미리 설치되어 제공 Powershell 또는 터미널에서 aws --version 입력 시 버전 정보가 제대로 나온다면 정상 설치 된 것 CLI 설정하기 aws configure를 통해 설정하기 AWS Access Key ..

AWS(3)

IAM (Identity and Access Management) Identity and Access Management (IAM)의 약자로 AWS 리소스에 대한 액세스를 안전하게 제어할 수 있는 웹 서비스 IAM을 사용하여 리소스를 사용하도록 인증 (로그인) 및 권한 부여 (권한 있음)된 대상 제어 AWS 계정 생성 시 해당 계정의 모든 AWS 서비스 및 리소스에 대한 완전한 액세스 권한이 있는 단일 로그인 ID로 시작 해당 자격 증명은 AWS 계정 루트 사용자라고 하며, 계정을 생성할 때 사용한 이메일 주소와 암호로 로그인 일상적인 작업에 루트 사용자를 사용하지 않을 것을 강력히 권장 특징 AWS 계정에 대한 공유 세분화된 권한 Amazon EC2에서 실행되는 애플리케이션을 위한 보안 AWS 리소스 ..

AWS(2)

Route 53 가용성과 확장성이 뛰어난 DNS (도메인 이름 시스템) 웹 서비스 도메인 등록, DNS 라우팅, 상태 확인의 세 가지 주요 기능을 조합하여 실행 가능 public host zone과 private host zone이 존재 Route53 = DNS(네임서버) + 모니터링 + L4 + GSLB GSLB? (Global Server Load Balancing) - DNS 서비스 기반으로 사용자가 원하는 엔드포인트(서버 혹은 도메인) 및 정책을 이용해 안정적으로 트래픽을 로드밸런싱하는 서비스 - 이를 위해, 각각의 분산된 서버 혹은 도메인의 헬스 체크 모니터링을 수행하고, 다양한 로드 밸런싱을 수행할 수 있는 서비스 - 헬스 체크를 통해 다운된 서버로 사용자가 연결되는 것을 방지 - 서버의 부하..

AWS(1)

AWS란? Amazon Web Services (AWS)의 약어 전 세계적으로 분포한 데이터 센터에서 200개가 넘는 서비스를 제공하는 클라우드 플랫폼 스타트업, 주요 정부 기관 등을 포함해 AWS를 사용해 비용 절감, 민첩성을 향상 클라우드 컴퓨팅 클라우드 컴퓨팅 IT 리소스를 인터넷을 통해 온디맨드로 제공하고 사용한만큼만 비용을 지불하는 방식 물리적 데이터 센터와 서버를 구입, 소유 및 유지 관리하는 대신, AWS와 같은 클라우드 공급자로부터 필요에 따라 컴퓨팅 파워, 스토리지, DB와 같은 기술 서비스를 제공 장점 민첩성, 탄력성, 비용절감, On demand, 관리 용이 AWS 기본 용어 가상화 - 물리적 컴퓨터 하드웨어를 보다 효율적으로 활용할 수 있도록 해주는 프로세스로 클라우드 컴퓨팅의 기반..

데이터 웨어하우스, SQL, 데이터분석 (3)

GROUP BY & Aggregate 함수 테이블의 레코드를 그룹화하여 그룹별로 다양한 정보를 계산 두 단계로 이루어짐 GROUP BY를 사용해 그룹핑 할 필드를 결정 (하나 이상의 필드 설정 가능) Aggreagate 함수를 사용해 계산할 내용 결정 (COUNT, SUM, AVG, MIN, MAX, LISTAGG...) 월별 세션수를 계산하는 SQL SELECT LEFT(ts, 7) AS mon, COUNT(1) AS session_count FROM raw_data.session_timestamp GROUP BY 1 -- GROUP BY mon, GROUP BY LEFT(ts, 7) ORDER BY 1; 가장 많이 사용된 채널은? SELECT channel, COUNT(1) AS session_cou..

데이터 웨어하우스, SQL, 데이터분석 (2)

SQL 기본 다수의 SQL 문을 실행한다면 세미콜론으로 분리 필요 SQL_1; SQL_2; SQL_3; 주석 -- (주석내용) : 인라인 한 줄짜리 주석 /* (주석내용) */ : 여러 줄에 걸쳐 사용 가능한 주석 팀 프로젝트의 경우 팀에서 사용하는 포맷 설정 후 진행 테이블/필드 이름의 규칙을 정하는 것이 중요 SQL DDL - 테이블 구조 정의 언어 CREATE TABLE Primary key 속성을 지정할 수 있지만, 무시 (Primary key uniqueness - 데이터 웨어하우스에서는 지켜지지 않음) CTAS - CREATE TABLE 테이블 이름 AS SELECT 새로운 테이블을 생성할 때 기존의 테이블의 내용과 똑같이 한 번에 복사하고자 할 때 사용 DROP TABLE DROP TABLE..

728x90