Dataflow 신뢰성 가이드

Dataflow는 오픈소스 Apache Beam 라이브러리를 사용해서 빠르고 간소화된 스트리밍 데이터 파이프라인 개발을 가능하게 해주는 완전 관리형 데이터 처리 서비스입니다. Dataflow는 자동 확장 및 일괄 처리를 통해 지연 시간, 처리 시간, 비용을 최소화합니다.

권장사항

Dataflow를 사용하여 프로덕션에 즉시 사용할 수 있는 데이터 파이프라인 빌드 - Dataflow 파이프라인을 계획, 개발, 배포, 모니터링을 포함한 Dataflow 사용에 대한 문서 시리즈입니다.

• 개요 - Dataflow 파이프라인을 소개합니다.
• 계획 - Dataflow 작업을 실행할 리전을 지정할 때 SLO를 측정하고, 데이터 소스와 싱크가 파이프라인 확장성 및 성능에 미치는 영향을 이해하고, 고가용성, 재해 복구 및 네트워크 성능을 고려합니다.
• 개발 및 테스트 - 개발 환경을 설정하고, 오류 처리를 위한 데드 레터 큐를 사용해서 데이터 손실을 방지하고, 비용이 높은 요소별 작업을 최소화해서 지연 시간 및 비용을 줄여줍니다. 또한 일괄 처리를 사용하여 외부 서비스에 과부하가 발생하지 않으면서 성능 오버헤드를 줄이고, 부적절한 융합 단계를 융합 해제하여 성능 향상을 위해 단계를 분리하고 사전 프로덕션 시 엔드 투 엔드 테스트를 실행하여 파이프라인이 SLO 및 기타 프로덕션 요구사항을 계속 충족하도록 합니다.
• 배포 - 새로운 버전의 스트리밍 파이프라인을 배포할 때 특히 고려해야 하는 지속적 통합(CI)과 지속적 배포(CD)입니다. 또한 예시 CI/CD 파이프라인, 그리고 리소스 사용량 최적화를 위한 일부 기능입니다. 마지막으로 고가용성, 지리적 중복성, 그리고 리전 격리, 스냅샷 사용, 작업 제출 오류 처리, 파이프라인 실행에 영향을 미치는 오류 및 서비스 중단 복구와 같은 파이프라인 안정성에 대한 권장사항을 설명합니다.
• 모니터링 - 파이프라인 성능에 대한 주요 지표인 서비스 수준 지표(SLI)를 관찰하고 서비스 수준 목표(SLO)를 정의하고 측정합니다.