ssungcohol 데이터 엔지니어로 성장하기

Dag Dependencies Dag 실행 방법 주기적 실행 : schedule로 지정 다른 Dag에 의해 트리거 Explicit Trigger : Dag A가 분명하게 Dag B를 트리거 (TriggerDagRunOperator) Reactive Trigger : Dag B가 Dag A가 끝나기를 대기 (ExternalTaskSensor) 상황에 따라 다른 테스크 실행 방식 BranchPythonOperator : 조건에 따라 다른 테스크로 분기 LatestOnlyOperator : 과거 데이터 Backfill 시에는 불필요한 테스크 처리 앞 단의 테스크들의 상황에 따라 실패해도 후위의 테스크가 동작해야하는 경우가 있을 수 있음 Explicit trigger TriggerDagRunOperator Da..

Airflow 실행환경 관리방안 기타 환경설정 값들 (Variables, Connections 등등)을 어떻게 관리하고 배포하는가? 주로 docker-compose.yml(yaml) 파일의 아래 부분에 정의 (환경변수가 아니라 별도 credentials 전용 Secrets 백엔드라는 것을 사용하기도 함) enviroment: &airflow-common-env AIRFLOW_VAR_DATA_DIR: /opt/airflow/data AIRFLOW_CONN_TEST_ID: test_connection Airflow 이미지를 통해 어디까지 관리하고 무엇을 docker-compose.yml에서 관리할지 생각 회사마다 조금씩 다름 Airflow 자체 이미지를 만들고 거기에 넣을 경우 환경변수를 자체 이미지에 넣고..

하체 스쿼트 - 6set 레그 익스텐션 - 10set 레그 컬 - 8set 힙 어브덕션 - 4set 힙 어덕션 - 4set 이두 프리쳐 컬 - 4set 해머 컬 - 4set