AWS - Amazon Kinesis( Amazon Kinesis)
Amazon Kinesis是一种托管，可扩展，基于云的服务，允许实时处理每秒流式传输大量数据。 它专为实时应用程序而设计，允许开发人员从多个来源接收任何数量的数据，可以在EC2实例上运行扩展和缩小。
它用于从大型分布式流（如事件日志和社交媒体源）捕获，存储和处理数据。 处理完数据后，Kinesis会同时将其分发给多个消费者。
如何使用亚马逊KCL？
它用于我们需要快速移动数据及其连续处理的情况。 Amazon Kinesis可用于以下情况 -
Data log and data feed intake - 我们无需等待批量处理数据，我们可以在数据生成后立即将数据推送到Amazon Kinesis流。 它还可以在数据生产者失败时保护数据丢失。 例如:系统和应用程序日志可以连续添加到流中，并在需要时可以在几秒钟内可用。
Real-time graphs - 我们可以使用Amazon Kinesis流提取图表/指标来创建报告结果。 我们不需要等待数据批量。
Real-time data analytics - 我们可以使用Amazon Kinesis运行实时流数据分析。
亚马逊Kinesis的限制？
以下是使用Amazon Kinesis Streams时应牢记的一些限制 -
默认情况下，流的记录最多可以访问24小时，并且可以通过启用扩展数据保留最多延长7天。
一条记录中数据blob（Base64编码前的数据有效负载）的最大大小为1兆字节（MB）。
一个分片每秒最多支持1000个PUT记录。
有关限制的更多信息，请访问以下链接 - https://docs.aws.amazon.com/kinesis/latest/dev/service-sizes-and-limits.html
如何使用Amazon Kinesis？
以下是使用Amazon Kinesis的步骤 -
Step 1 - 使用以下步骤设置Kinesis Stream -
登录AWS账户。 从Amazon Management Console中选择Amazon Kinesis。
单击“创建”流并填写所需的字段，例如流名称和分片数。 单击“创建”按钮。
现在，流将在流列表中可见。
Step 2 - 在Kinesis流上设置用户。 创建新用户并为每个用户分配策略。（我们已经讨论了创建用户并为其分配策略的上述过程）
Step 3 - 将您的应用程序连接到Amazon Kinesis; 在这里，我们将Zoomdata连接到Amazon Kinesis。 以下是连接的步骤。
以管理员身份登录Zoomdata，然后单击菜单中的Sources。
选择Kinesis图标并填写所需的详细信息。 单击“下一步”按钮。
在“流”选项卡上选择所需的流。
在“字段”选项卡上，根据需要创建唯一标签名称，然后单击“下一步”按钮。
在“图表”选项卡上，启用数据图表。 根据需要自定义设置，然后单击“完成”按钮以保存设置。
亚马逊Kinesis的特点
Real-time processing - 它允许像股票交易价格一样实时收集和分析信息，否则我们需要等待数据输出报告。
Easy to use - 使用Amazon Kinesis，我们可以创建新流，设置其要求，并快速开始流式传输数据。
High throughput, elastic - 它允许实时收集和分析信息，如股票交易价格，否则我们需要等待数据输出报告。
Integrate with other Amazon services - 它可以与Amazon Redshift，Amazon S3和Amazon DynamoDB集成。
Build kinesis applications - Amazon Kinesis为开发人员提供了客户端库，可以实现实时数据处理应用程序的设计和操作。 将Amazon Kinesis客户端库添加到Java应用程序，它将在新数据可用于处理时通知。
Cost-efficient - 亚马逊Kinesis适用于任何规模的工作负载，具有成本效益。 支付所使用的资源，并按小时支付所需的吞吐量。
