ssungcohol 데이터 엔지니어로 성장하기

pythonOperator에서의 op_args, op_kwargs 두 가지의 공통점은 변수를 전달해주는 역할 op_args list 형태의 인수 전달 operator를 생성할 때 op_args 변수로 전달 op_kwargs Dictionary 형태의 인수 전달 operator에 전달 되는 모든 변수를 전달 op_kwargs의 키에 맞는 변수를 선언하면 자동으로 전달 params는 airflow DAG를 실행할 때 전달한 파라미터 (Trigger DAG w / config 사용) op_args 예제 코드 t1 = PythonOperator( task_id='print_test', python_callable=print, op_args=["hello", "world"], dag=dag ) 결과 값 더보기 h..

Docker container 실행 실패 문제 : 더보기 Error response from daemon: Ports are not available: exposing port TCP 0.0.0.0:8080 -> 0.0.0.0:0: listen tcp 0.0.0.0:8080: bind: An attempt was made to access a socket in a way forbidden by its access permissions. 발생하지 않던 위의 메시지가 갑자기 발생.. 원인 : 원인은 포트의 중복된 사용이 있다는 말이었음 이로 인해 정상적으로 container가 실행되지 않음 (docker compose up 실패) powershell에서 내가 지금 사용할 수 없는 포트 번호를 확인할 수 있는..

DB (Mysql)연동하여 Slack 메시지로 보내주기 1. Test를 위한 Mysql workbench를 사용해 Local 환경 구성해주기 2. Airflow에서 Admin 창에 들어가 Connection 설정 해주기 Connection Id - 설정하고자 하는 이름 입력 Connection Type - Mysql 선택 Host - 해당 PC의 IP 주소 입력 (cmd 창 -> ipconfig 입력 -> IPv4 주소 입력) Login - Local mysql 아이디 입력 Password - 설정 비밀번호 입력 Port - 3306 위의 정보들을 입력 후 Test 버튼을 눌러 연결 확인 후 Save 3. Slack DM을 보내고자 하는 Slack channel 생성 4. api.slack.com 접속 ..

리눅스 환경에서 git 활용 (commit 하기) commit 할 파일이 있는 디렉토리로 cd 해당 디렉토리에서 git status 명령어 실행 (해당 사진에서는 firtst_testDAG.py 상태를 확인 바람) git add '파일명' 실행 git commit -m "커밋 메시지 입력" git status 명령어 입력 후 commit을 했던 파일의 상태 확인 git push origin 브랜치 선택 Local에서 docker 환경이 안올라감 docker container를 다 삭제 후 yaml 파일을 up 했는데 정상 실행이 이루어지지 않음 (한 번 실행되었다가 중복 실행이 이루어짐) 원인이 뭘까.. 다시 삭제 후 실행 중.... AWS RDS 연결이 최종 목표이지만 그 전에 강의에서 사용했던 db에..

git clone 에러 프로젝트 시작부터 에러가 없어지질 않았다.. repo가 clone이 정상적으로 이루어지지 않음 현상 : git clone 시 모든 파일들이 다운되지 않음 (.git 파일만 다운) 계속해서 반복된 문제가 발생 원인 : 구글링을 통해 찾아보니 다양한 원인들이 있음 파일의 경로 길이가 너무 길어 제한이 발생해 생기는 원인 git config --system core.longpaths true 명령어를 cmd 창에 입력하여 해결 가능 위의 방법으로도 해결이 되지 않을 경우 window powershell을 관리자 권한으로 실행시켜 git config --global core.longpaths true 명령어를 입력하여 해결 가능 두 가지 방법으로도 해결 못함 작성된 파일이 mac os에서..