Apache Flink란?

스트림 프로세싱을 위한 오픈 소스 framework

실시간 데이터 스트리밍 애플리케이션을 효율적으로 개발하고 실행 할 수 있또록 지원

분산 컴퓨팅 환경에서도 높은 성능과 확장성 제공

장점

• 실시간 스트리밍 처리
• 분산처리 시스템
• In-memory
• 고성능
• 고가용성
  • 시스템 장애시 장애직전으로 돌아가서 다시 시작 가능
• 확장성
  • 실행 도중에 리소스 추가 가능
• 전달 보장
  • 중복과 유실 없음 (Exactly Once)

단점

• 커뮤니티와 생태계
  • Spark와 비교시 상대적으로 작을 수 있음. 2016년에 첫 stable 버전 공개
• Learning Curve
• 자원 소모
  • 고성능 활용을 위해 많은 자원소모
• 복잡성
  • 대규모 클러스터 환경에서 운영시 클러스터 관리, 모니터링, 튜닝등의 추가 작업이 필요

데이터 처리 구조