• AWS MWAA
• Docker Airflow 실행 방법

Problem

• Docker image 다운 과정에서 Error response from daemon: error creating temporary lease: write : read-only file system: unknown
• module import

명령어 정리

• docker 파일 실행 시
  • docker-compose -f docker-compose-CeleryExecutor.yml up -d
  • docker-compose -f docker-compose-LocalExecutor.yml up -d
  • (SequentialExecutor로 실행 시) docker run -d -p 8080:8080 puckel/docker-airflow webserver
• docker 파일 종료 시
  • docker stop $(docker ps -aq)

궁금한 점

• dag들 실행되면 실행 결과는 어떻게 되는거야? cmd에 찍히는 건가?
  • db에 저장하거나 로그로 찍거나,, 마음대로 처리 가능
• postgresql이랑 연결했는데 연결됐는지 여부는 어디서 확인하는거야? postgresql 열어서 보고 싶은데 어떻게 열고, 어떻게 열려있는지 확인하는지 모르겠어
  • 기존과 같은 방식으로 heidisql, pgadmin 등에서 확인 가능. 아마도 불가능했다면 port 인바운드 허용되었는지 등의 요소를 파악할 것
• task에서 수행할 것들을 파일로 만들어서 실행시켜보고 싶은데 어떻게 하는지 모르겠어
  • ?? 뭘 말하는건지 잘 모르겠음
• dag 자동실행되는거 확인해보고 싶어
  • 해보면 됨
• dag 실행 log는 어디에 쌓이는거야?
  • airflow에 저장해두었던 postgres_default db에 저장됨. webserver에서도 확인 가능
• 각 dag에 있는 많은 옵션들은 정체가 뭐야?
  • 아래 내용에서 확인
• tuto.py는 어디서 호출되는거야? 그냥 아무 파일이나 만들어서 global 변수로 dag 선언하면 정의되는거야?
  • 맞다
• dag를 정기적으로 실행하려면 ui에서 on하는 방법밖에 없는거야?
• docker로 감싸진 애를 ec2에 배포하려면 어떻게 하는거야?
  • https://www.youtube.com/watch?v=PjgukGtZDmM&t=195s