전체 글 333

AWS(2)

Route 53 가용성과 확장성이 뛰어난 DNS (도메인 이름 시스템) 웹 서비스 도메인 등록, DNS 라우팅, 상태 확인의 세 가지 주요 기능을 조합하여 실행 가능 public host zone과 private host zone이 존재 Route53 = DNS(네임서버) + 모니터링 + L4 + GSLB GSLB? (Global Server Load Balancing) - DNS 서비스 기반으로 사용자가 원하는 엔드포인트(서버 혹은 도메인) 및 정책을 이용해 안정적으로 트래픽을 로드밸런싱하는 서비스 - 이를 위해, 각각의 분산된 서버 혹은 도메인의 헬스 체크 모니터링을 수행하고, 다양한 로드 밸런싱을 수행할 수 있는 서비스 - 헬스 체크를 통해 다운된 서버로 사용자가 연결되는 것을 방지 - 서버의 부하..

AWS(1)

AWS란? Amazon Web Services (AWS)의 약어 전 세계적으로 분포한 데이터 센터에서 200개가 넘는 서비스를 제공하는 클라우드 플랫폼 스타트업, 주요 정부 기관 등을 포함해 AWS를 사용해 비용 절감, 민첩성을 향상 클라우드 컴퓨팅 클라우드 컴퓨팅 IT 리소스를 인터넷을 통해 온디맨드로 제공하고 사용한만큼만 비용을 지불하는 방식 물리적 데이터 센터와 서버를 구입, 소유 및 유지 관리하는 대신, AWS와 같은 클라우드 공급자로부터 필요에 따라 컴퓨팅 파워, 스토리지, DB와 같은 기술 서비스를 제공 장점 민첩성, 탄력성, 비용절감, On demand, 관리 용이 AWS 기본 용어 가상화 - 물리적 컴퓨터 하드웨어를 보다 효율적으로 활용할 수 있도록 해주는 프로세스로 클라우드 컴퓨팅의 기반..

데이터 웨어하우스, SQL, 데이터분석 (3)

GROUP BY & Aggregate 함수 테이블의 레코드를 그룹화하여 그룹별로 다양한 정보를 계산 두 단계로 이루어짐 GROUP BY를 사용해 그룹핑 할 필드를 결정 (하나 이상의 필드 설정 가능) Aggreagate 함수를 사용해 계산할 내용 결정 (COUNT, SUM, AVG, MIN, MAX, LISTAGG...) 월별 세션수를 계산하는 SQL SELECT LEFT(ts, 7) AS mon, COUNT(1) AS session_count FROM raw_data.session_timestamp GROUP BY 1 -- GROUP BY mon, GROUP BY LEFT(ts, 7) ORDER BY 1; 가장 많이 사용된 채널은? SELECT channel, COUNT(1) AS session_cou..

데이터 웨어하우스, SQL, 데이터분석 (2)

SQL 기본 다수의 SQL 문을 실행한다면 세미콜론으로 분리 필요 SQL_1; SQL_2; SQL_3; 주석 -- (주석내용) : 인라인 한 줄짜리 주석 /* (주석내용) */ : 여러 줄에 걸쳐 사용 가능한 주석 팀 프로젝트의 경우 팀에서 사용하는 포맷 설정 후 진행 테이블/필드 이름의 규칙을 정하는 것이 중요 SQL DDL - 테이블 구조 정의 언어 CREATE TABLE Primary key 속성을 지정할 수 있지만, 무시 (Primary key uniqueness - 데이터 웨어하우스에서는 지켜지지 않음) CTAS - CREATE TABLE 테이블 이름 AS SELECT 새로운 테이블을 생성할 때 기존의 테이블의 내용과 똑같이 한 번에 복사하고자 할 때 사용 DROP TABLE DROP TABLE..

데이터 웨어하우스, SQL, 데이터분석 (1)

관계형 데이터베이스 구조화된 데이터를 저장하고 질의할 수 있도록 해주는 스토리지 엑셀 스프레드시트 형태의 테이블로 데이터를 정의하고 저장 관계형 데이터 베이스를 조작하는 프로그래밍 언어가 SQL DDL (Data Definition Language) - 테이블 정의를 위함 DML (Data Manipulation Language) - 테이블 데이터 조작/질의를 위함 프로덕션 데이터베이스 - MySQL, PostgreSQL, Oracle... OLTP (OnLine Transaction Processing) 빠른 속도에 집중. 서비스에 필요한 정보 저장 데이터 웨어하우스 - Redshift, Snowflake, BigQuery, Hive... OLAP (OnLine Analyical Processing) ..

728x90