ssungcohol 데이터 엔지니어로 성장하기

문자열을 리스트로 바꾸기 1. 주어진 문자열을 하나씩 리스트로 바꾸기 str = 'ssungcohol' prac = list(str) print(prac) # ['s', 's', 'u', 'n', 'g', 'c', 'o', 'h', 'o', 'l'] 2. .split() 함수 사용하기 나누고자 하는 문자를 기준으로 리스트 생성 가능 str = 'ssung,cohol' prac = str.split(',') print(prac) # ['ssung', 'cohol'] 리스트 두 개의 원소 값 바꾸기 prac = [1, 7] prac[0], prac[1] = prac[1], prac[0] print(prac) # [7, 1]

문제 상황 - 문자열 string에서 원하는 인덱스의 문자를 바꾸고자 하는데 아래와 같은 에러 발생 string = 'Hello world' string[1] = 'a' Type: 'str' object does not support item assignment 원인 - 파이썬의 자료형 종류에는 수정 가능한 mutable 타입 (리스트, 딕셔너리 ..)이 있음 - 수정이 불가능한 객체인 immutable 타입 (튜플, 문자열 ..)이 있음 - 문자열은 immutable 자료형이라 인덱싱을 또는 슬라이싱을 통한 값의 변환이 불가 해결 방법 1. 문자열을 수동으로 할당 - 문자열을 이어 붙여 재할당 해주기 - 이 방법은 값을 수정할 때마다 문자열 길이 N에 대하여 시간 복잡도 O(N)이 소요 string =..

AWS Cli Sync 권한 문제 문제 : ubuntu 환경에서 aws cli를 통해 sync를 진행했을 때 해당 폴더에 sync를 진행하고자 했을 때 '[Errno 13] Permission denied' 에러가 발생함 원인 : ubuntu 환경에서 폴더 및 파일 권한에 대한 문제로 발생하는 이슈 해결 : ubuntu 환경에서 해당 폴더에 모든 권한을 주는 명령어 실행 sudo chmod 777 '파일 경로' 정상적으로 sync 된 것을 확인

AWS RDS를 사용해 EC2 연결 후 Airflow에 연결하기 기본적으로 VPC가 구성되어 있는 상황에서 연동하고자 하는 EC2가 Private subnet 안에 있고 보안그룹이 설정되어 있는 상태로 진행 1. 연결하고자 하는 EC2의 VPC, 서브넷, 보안그룹 정보 확인 2. RDS DB 에서 사용할 보안 그룹 생성하기 '보안 그룹' 탭으로 이동하여 '보안 그룹 생성' 연결하고자 하는 EC2의 VPC와 동일한 VPC 그룹 정보 입력 인바운드 규칙 입력 (유형 - PostgreSQL, 소스 정보에는 연결하고자 하는 EC2 보안 그룹 선택) 3. RDS DB 생성하기 RDS 서비스로 들어가 데이터 베이스 생성 PostgreSQL 선택 사용하고자 하는 엔진 버전과 템플릿 설정 클러스터 정보, 사용자 정보 ..

Airflow web server 실행 오류 원인 : ubuntu 서버 내에 설치되어 있는 airflow 내의 airflow.cfg 파일의 내용 중 'sql_alchemy_conn'의 경로가 올바르지 않았음 해결 : 올바른 경로를 입력하여 db 초기화 후 airflow web server 재실행 나아가야 할 부분 : private subnet의 postgresql EC2와 연결을 해야하는데 bastion host를 통해 접근이 가능한 상황. 이에 따라 올바른 ip 주소를 입력해주어야 하는데 ip 주소 입력에 난황을 겪는중

AWS VPC VPC란? 가상의 데이터센터 리전 단위 외부에 격리된 네트워크 컨테이너 구성 가능 (여기서 컨테이너는 Not like Dokcer) 원하는 대로 사설망 구축 가능 부여된 IP 대역을 분할하여 사용 가능 VPC 사용사례 EC2, RDS, Lambda 등의 다양한 AWS의 컴퓨팅 서비스 실행 다양한 서브넷 구성 보안 설정 (IP Block, 인터넷에 노출되지 않는 EC2 구성) VPC 구성요소 서브넷 인터넷 게이트웨이 NACL(나클) / 보안 그룹 라우트 테이블 NAT Instance / NAT Gateway Bastion Host VPC Endpoint 서브넷 VPC의 하위 단위로 VPC에 할당된 IP를 더 작은 단위로 분할한 개념 하나의 서브넷은 하나의 가용영역(AZ) 안에 위치 CIDR ..

AWS EC2 EC2란? Elastic Compute Cloud 의 약어 AWS에서 제공하는 클라우드 컴퓨팅 서비스 서버, 스토리지, 데이터베이스 등의 컴퓨팅 서비스 제공 EC2 인스턴스 유형 Type t, Type m, Type inf 등등.. 범용 및 컴퓨팅, 메모리, 저장 최적화 등 성능 목적에 따라 여러가지 타입 존재 범용 : vCPU, 메모리, 네트워크, 저장 공간 등이 평균적인 사양으로 제공 컴퓨팅 최적화 : 다른 인스턴스 패밀리에 비해 메모리 대비 vCPU 비율이 높음 메모리 최적화 : 다른 인스턴트 패밀리에 비해 메모리 용량이 훨씬 크다 스토리지 최적화 : 다른 인스턴스 패밀리보다 스토리지 용량이 훨씬 크거나 초고속 I/O가 제공 GPU 인스턴스 : 고성능의 NVIDIA GPU가 장착되어 ..

등 풀업 - 4set 데드리프트 - 5set 시티드 케이블 로우 - 4set 바벨로우 - 5set 랫 풀 다운 - 4set 암 풀 다운 - 4set 삼두 오버헤드 트라이셉스 익스텐션 - 4set 케이블 푸쉬다운(로프) - 4set 원 암 케이블 푸쉬다운 - 6set

가슴 벤치 프레스 - 6set 덤벨 벤치 프레스 - 4set 인클라인 벤치 프레스 - 4set 팔굽혀펴기 - 4set 이두 EZ바 컬 - 4set 해머 컬 - 2set 컨센트레이션 컬 - 3set

Kafka Topic 파라미터 설정 Topic 생성시 다수의 Partition이나 Replica를 주려할 때 KafkaAdminClient 오브젝트 생성 후 create_topics 함수로 Topic 추가 create_topics의 인자로는 NewTopic 클래스의 오브젝트 지정 client = KafkaAdminClient(bootstrap_servers=bootstrap_servers) topic = NewTopic( name=name, num_partitions=partitions, # partition의 수 = 1 replication_factor=replica) # Replication의 수 = 1 client.create_topics([topic]) Kafka Producer의 파라미터 파라미..