Q99 — AWS DEA-C01 第1章

第 99/100 题 | ← 返回第1章

一家银行公司使用一个应用程序收集大量交易数据。该公司使用Amazon Kinesis Data Streams进行实时分析。该公司的应用程序使用PutRecord操作将数据发送至Kinesis Data Streams。 一名数据工程师观察到每天特定时段出现网络中断。该数据工程师希望为整个处理管道配置恰好一次（exactly-once）交付。 哪项解决方案能满足此要求？

• A. 设计应用程序，使其在处理过程中通过在每条记录源端嵌入唯一ID来移除重复项。 ✓
• B. 更新Amazon Managed Service for Apache Flink（此前称为Amazon Kinesis Data Analytics）数据采集应用程序的检查点（checkpoint）配置，以避免事件的重复处理。
• C. 设计数据源，确保事件不会被多次摄取到Kinesis Data Streams中。
• D. 停止使用Kinesis Data Streams，改用Amazon EMR。在Amazon EMR中使用Apache Flink和Apache Spark Streaming。

正确答案: A. 设计应用程序，使其在处理过程中通过在每条记录源端嵌入唯一ID来移除重复项。

解析

为了确保整个处理管道中的“恰好一次”传递，需要在数据处理过程中解决可能的重复问题。选项A通过在每条记录中嵌入一个唯一ID，并在处理过程中移除重复项，可以有效地解决这一问题。这种方法确保了即使在网络中断或其他问题导致数据重复发送的情况下，也能通过去重处理来保证数据的唯一性。选项B提到的更新检查点配置可能有助于恢复状态，但不直接解决重复数据处理的问题。选项C提出了避免数据多次进入Kinesis Data Streams的方法，但这并不是一个可行的解决方案，因为问题出在数据传输和处理过程中，而不是数据源。选项D提出了使用不同的技术栈，但没有直接解决“恰好一次”传递的问题。因此，选项A是最合适的解决方案。