Airflow2 3. Airflow 설치 Airflow Architecture Airflow는 아래의 그림처럼 여러 요소의 조합으로 동작한다. Airflow Web Server Airflow Scheduler Airflow Executor Queue Service(ex. Rabbit MQ) Airflow Meta Store (ex. Mysql, Postgre) Airflow Standalone 설치 Airflow를 Mac에서 설치 할 경우 Standalone 모드로 설치 할 수 있다. 내부 Meta Store의 경우도 sqlite를 통해 사용하는 등, 테스트 목적으로 사용할 수 있다. 1. Profile에 Airflow 설치 디렉터리 지정 export AIRFLOW_HOME=~/airflow 2. pip 명령을 통해 Airflow 설치 수행 p.. 2020. 10. 5. 1. Airflow 소개 Apache Airflow 란? Airbnb에서 개발하여 공개한 Open Source. Data pipeline을 관리 하기 위한 다양한 기능을 제공하는 Worflow Management Tool. 장점 : Python 기반으로 개발 Scheduling, Backfill 등을 지원 DAG를 통한 다양한 Workflow 개발 지원 모니터링을 위한 별도의 WebUI 지원 Single-Node Architecture 일반 노트북이나 PC에서 실행 하는 경우 모든 컴포넌트가 Master Node에 구성된다. Local Setting을 하게 될 경우 Task의 수행 명령은 IPC(Inter Process Communication) Queue를 통해 실행 되는 것이 특징이다. 하나의 Node에서 동작하게 되므로 일.. 2020. 9. 10. 이전 1 다음
