TobeSteady

프로젝트를 하면서 정리한 내용입니다. 사실과 다를 수 있으니 주의해주시고, 혹시나 잘 못된 내용일 경우 댓글로 알려주시면 감사하겠습니다. 처음 Airflow Dag를 생성했을때, 헷갈리던 것이 있다. 바로 Task와 Operator. 많은 참고 자료들에서 Task와 Operator을 혼용해서 더욱 초기 개념 잡기가 어려웠다. 아래의 코드를 확인하면, Task이름이 "update_start"이고 그 안에 BashOperator가 정의된다는 것을 알 수 있다. 우선 Task는 Airflow에서의 기본 실행단위로 "DAG안에서 실행되어야 하는 작업의 순서를 표현하기 위해서 존재하는 실행단위"이다. 이때, Operator는 DAG와 Task를 빠르게 만들기 위해 미리 정의된 작업 템플릿이다. Operator와 ..

Apache Airflow 에어비엔비에서 만든 workflow 관리 툴 workflow는 "일련의 작업의 흐름" ETL (데이터를 추출 -> 변환 -> 적재)하는 workflow를 관리해주는 툴이 Airflow 이런 workflow management 도구는 하둡 에코시스템의 우지(oozie), 루이지(luigi)같은 솔루션이 있음. Scheduler가 DAG directory의 작업을 가져와서 Workers에서 실행하는 형태. "배치 지향 데이터 파이프라인 구현"을 위해 특화된 주요 기능을 가지고 있음. Python기반으로 만들어졌음. 커스텀 파이프 라인 구성 가능함. 쉽게 확장 가능하고 다양한 시스템과 통합이 가능함. 다양한 유형의 데이터 베이스, 클라우드 서비스 등과 통합할 수 있는 수 많은 애드온..