ssungcohol 데이터 엔지니어로 성장하기

AWS Cli Sync 권한 문제 문제 : ubuntu 환경에서 aws cli를 통해 sync를 진행했을 때 해당 폴더에 sync를 진행하고자 했을 때 '[Errno 13] Permission denied' 에러가 발생함 원인 : ubuntu 환경에서 폴더 및 파일 권한에 대한 문제로 발생하는 이슈 해결 : ubuntu 환경에서 해당 폴더에 모든 권한을 주는 명령어 실행 sudo chmod 777 '파일 경로' 정상적으로 sync 된 것을 확인

AWS RDS를 사용해 EC2 연결 후 Airflow에 연결하기 기본적으로 VPC가 구성되어 있는 상황에서 연동하고자 하는 EC2가 Private subnet 안에 있고 보안그룹이 설정되어 있는 상태로 진행 1. 연결하고자 하는 EC2의 VPC, 서브넷, 보안그룹 정보 확인 2. RDS DB 에서 사용할 보안 그룹 생성하기 '보안 그룹' 탭으로 이동하여 '보안 그룹 생성' 연결하고자 하는 EC2의 VPC와 동일한 VPC 그룹 정보 입력 인바운드 규칙 입력 (유형 - PostgreSQL, 소스 정보에는 연결하고자 하는 EC2 보안 그룹 선택) 3. RDS DB 생성하기 RDS 서비스로 들어가 데이터 베이스 생성 PostgreSQL 선택 사용하고자 하는 엔진 버전과 템플릿 설정 클러스터 정보, 사용자 정보 ..

Airflow web server 실행 오류 원인 : ubuntu 서버 내에 설치되어 있는 airflow 내의 airflow.cfg 파일의 내용 중 'sql_alchemy_conn'의 경로가 올바르지 않았음 해결 : 올바른 경로를 입력하여 db 초기화 후 airflow web server 재실행 나아가야 할 부분 : private subnet의 postgresql EC2와 연결을 해야하는데 bastion host를 통해 접근이 가능한 상황. 이에 따라 올바른 ip 주소를 입력해주어야 하는데 ip 주소 입력에 난황을 겪는중

AWS VPC VPC란? 가상의 데이터센터 리전 단위 외부에 격리된 네트워크 컨테이너 구성 가능 (여기서 컨테이너는 Not like Dokcer) 원하는 대로 사설망 구축 가능 부여된 IP 대역을 분할하여 사용 가능 VPC 사용사례 EC2, RDS, Lambda 등의 다양한 AWS의 컴퓨팅 서비스 실행 다양한 서브넷 구성 보안 설정 (IP Block, 인터넷에 노출되지 않는 EC2 구성) VPC 구성요소 서브넷 인터넷 게이트웨이 NACL(나클) / 보안 그룹 라우트 테이블 NAT Instance / NAT Gateway Bastion Host VPC Endpoint 서브넷 VPC의 하위 단위로 VPC에 할당된 IP를 더 작은 단위로 분할한 개념 하나의 서브넷은 하나의 가용영역(AZ) 안에 위치 CIDR ..

AWS EC2 EC2란? Elastic Compute Cloud 의 약어 AWS에서 제공하는 클라우드 컴퓨팅 서비스 서버, 스토리지, 데이터베이스 등의 컴퓨팅 서비스 제공 EC2 인스턴스 유형 Type t, Type m, Type inf 등등.. 범용 및 컴퓨팅, 메모리, 저장 최적화 등 성능 목적에 따라 여러가지 타입 존재 범용 : vCPU, 메모리, 네트워크, 저장 공간 등이 평균적인 사양으로 제공 컴퓨팅 최적화 : 다른 인스턴스 패밀리에 비해 메모리 대비 vCPU 비율이 높음 메모리 최적화 : 다른 인스턴트 패밀리에 비해 메모리 용량이 훨씬 크다 스토리지 최적화 : 다른 인스턴스 패밀리보다 스토리지 용량이 훨씬 크거나 초고속 I/O가 제공 GPU 인스턴스 : 고성능의 NVIDIA GPU가 장착되어 ..