AWS SNS에서 지원하는 fan-out(data fan-out)

• ref : aws-fanout

fan-out

• 하나의 source에서 Data를 병렬로 전송하는 과정

Kinesis Data Firehose 전송 스트림으로 팬아웃

Lambda 함수로 팬아웃

Amazon SQS 대기열로 팬아웃

HTTP(S) 엔드포인트로 팬아웃

Amazon SNS 및 AWS 컴퓨팅, 스토리지, 데이터베이스 및 네트워킹 서비스를 사용한 이벤트 기반 컴퓨팅

Kinesis Data Firehose 전송 스트림으로 팬아웃:

특징 : 실시간 스트리밍 데이터를 다양한 대상으로 전달할 수 있는 서비스.

데이터를 수집하여 Amazon S3, Amazon Redshift, Amazon Elasticsearch 등으로 전송 가능.
스트리밍 처리와 함께 데이터 정리 및 변환 작업도 가능.

장점 : 실시간 처리로 신속한 데이터 전달이 가능.

스트림 처리 및 저장을 통해 유연한 데이터 유지 관리 가능.

단점 : AWS 서비스로 제한되며, 비용이 발생할 수 있음.

복잡한 데이터 처리가 필요한 경우에는 Lambda 함수와 함께 사용해야 할 수도 있음.

Lambda 함수로 팬아웃:

특징:

AWS Lambda를 사용하여 데이터를 처리하고 다양한 대상으로 분배하는 방식.
Lambda 함수는 이벤트 기반으로 트리거될 수 있으며, 처리 로직을 자유롭게 구현 가능.

장점:

매우 유연한 방식으로, 다양한 데이터 처리 및 분배 작업 가능.
서버리스 아키텍처로 인프라 관리가 필요 없음.

단점:

함수 실행에 따른 지연이 발생할 수 있으며, 빠른 실시간 처리가 요구되는 경우에는 고려해야 함.
복잡한 데이터 처리 작업은 함수 구현 및 관리의 어려움을 초래할 수 있음.

Amazon SQS 대기열로 팬아웃:

특징:

메시지 대기열 서비스로, 데이터를 대기열에 넣고 여러 컨슈머가 비동기적으로 처리할 수 있음.
각 메시지를 독립적으로 처리하므로 분산 시스템에 유리함.

장점:

확장성이 높으며, 여러 컨슈머 간의 병렬 처리가 가능.
대기열에서 메시지 처리 실패 시 재시도가 가능하며, 신뢰성 있는 데이터 전달이 보장됨.

단점:

실시간 처리에 제한이 있을 수 있으며, 처리량이 대기열의 처리량에 영향을 받을 수 있음.
메시지 처리 지연이 발생할 수 있음.

HTTP(S) 엔드포인트로 팬아웃:

특징 : HTTP 또는 HTTPS를 통해 데이터를 다른 시스템 또는 엔드포인트로 전송하는 방식.

API 엔드포인트 또는 웹 서비스와 연결하여 데이터를 전달할 수 있음.

장점 : 다른 시스템과의 통합이 용이하며, 다양한 대상 시스템으로 데이터 전달 가능.

HTTP 프로토콜을 활용하므로 많은 언어 및 플랫폼에서 사용 가능.

단점 : 데이터 처리 및 안전성을 추가로 고려해야 하며, 일부 시스템에 따라 네트워크 문제 발생 가능성 있음.

대량 데이터 처리 시 성능 문제가 발생할 수 있음.
Amazon SNS 및 AWS 서비스를 사용한 이벤트 기반 컴퓨팅:

특징 : Amazon SNS를 사용하여 이벤트를 발생시키고, 해당 이벤트를 처리하기 위해 다양한 AWS 서비스를 활용하는 방식.

이벤트에 대한 응답으로 Lambda 함수, AWS Step Functions, HTTP 엔드포인트 등을 활용 가능.

장점 : 이벤트 기반 아키텍처로, 다양한 서비스 간 연결과 처리가 용이함.

특정 이벤트에 대한 대응 및 처리를 유연하게 구현 가능.

단점 : 서비스 간의 복잡한 통합과 관리가 필요할 수 있음.

이벤트 발생 시간과 처리 시간 간의 딜레이가 발생할 수 있음.