전체 글
-
[Airflow] Airflow DAG의 구조카테고리 없음 2025. 6. 19. 17:06
예제 소스: https://github.com/K9Ns/data-pipelines-with-apache-airflow GitHub - K9Ns/data-pipelines-with-apache-airflowContribute to K9Ns/data-pipelines-with-apache-airflow development by creating an account on GitHub.github.com Airflow를 이용하면!대규모 작업을 개별 태스크로 분할하고 DAG로 형성 가능다중 태스크 병렬 실행태스크 별로 서로 다른 기술 사용 가능 (ex. Task#1은 bash 스크립트, Task#2는 python 스크립트로 실행)Airflow DAG 예시https://github.com/K9Ns/data-pip..
-
Windows에 Airflow 설치카테고리 없음 2025. 6. 19. 15:22
OS: Windows 11 Education Airflow는 아직 Windows OS를 지원하지 않아서 Docker 또는 WSL을 사용해야 한다고 한다.난 Docker을 이용해서 설치해보려고 한다~! 참고: https://airflow.apache.org/docs/apache-airflow/stable/howto/docker-compose/index.html Running Airflow in Docker — Airflow 3.0.2 Documentation airflow.apache.org 1. Docker Desktop 설치Docker가 설치되면서 Docker Compose도 같이 설치됨 2. Airflow 설치docker-compose.yaml 파일을 다운로드https://airflow.apache..
-
[Airflow] Apache Airflow 살펴보기카테고리 없음 2025. 6. 19. 09:43
데이터 파이프라인원하는 결과를 얻기 위해 실행되는 여러 태스크 또는 동작으로 구성각 태스크는 정해진 순서대로 진행되어야 함태스크 간 의존성을 명확하게 확인하는 방법데이터 파이프라인을 그래프로 표현하는 것!태스크 = 노드 , 태스크 간 의존성 = 태스크 노드 간 방향방향성 그래프방향성 비순환 그래프 (Directed Acyclic Graph, DAG) : 화살표 방향성의 끝점을 포함하되 반복/순환을 허용하지 않음파이프라인 실행을 위한 단순한 알고리즘을 제공그래프 안에 태스크는 각각 개방된 상태이며 (미완료 상태) 다음 단계를 수행함각각의 화살표 끝점은 태스크를 향하며, 다음 태스크로 향하기 전에 이전 태스크가 완료되었는지 확인함태스크가 완료되면 다음에 실행해야 할 태스크를 대기열에 추가함(의존성이 해결되지..
-
-
-
-