AWS - 快速指南
Amazon Web Services - Cloud Computing
2006年, Amazon Web Services (AWS)开始以Amazon Web Services (AWS)的形式向市场提供IT服务,现在称为cloud computing 。 有了这个云,我们就不需要计划提前占用大量时间的服务器和其他IT基础设施。 相反,这些服务可以在几分钟内立即启动数百或数千台服务器,并更快地提供结果。 我们只为我们使用的产品付费,没有前期费用,也没有长期承诺,这使得AWS具有成本效益。
如今,AWS在云中提供了一个高度可靠,可扩展,低成本的基础架构平台,为全球190个国家/地区的众多企业提供支持。
什么是云计算?
Cloud computing是一种基于互联网的计算服务,其中大型远程服务器组联网以允许集中数据存储,以及在线访问计算机服务或资源。
使用云计算,组织可以使用共享计算和存储资源,而不是自己构建,运营和改进基础架构。
云计算是一种支持以下功能的模型。
用户可以按需配置和发布资源。
资源可以自动扩展或缩小,具体取决于负载。
可以通过具有适当安全性的网络访问资源。
云服务提供商可以启用“按需付费”模式,根据资源类型和每次使用情况向客户收取费用。
云的类型
有三种类型的云 - 公共云,私有云和混合云。
公共云
在公共云中,第三方服务提供商通过Internet为其客户提供资源和服务。 客户的数据和相关安全性与服务提供商拥有的基础设施相关。
私有云
私有云还提供与公共云几乎相似的功能,但数据和服务由组织或仅由客户组织的第三方管理。 在这种类型的云中,主要控制权在基础设施上,因此安全相关问题最小化。
混合云
混合云是私有云和公共云的组合。 在私有云或公共云上运行的决定通常取决于各种参数,如数据和应用程序的敏感性,行业认证和所需的标准,法规等。
云服务模型
云中有三种类型的服务模型 - IaaS,PaaS和SaaS。
IaaS
IaaS代表Infrastructure as a Service 。 它为用户提供按需配置处理,存储和网络连接的功能。 使用此服务模型,客户可以在这些资源上开发自己的应用程序。
PaaS
PaaS代表Platform as a Service 。 这里,服务提供商向其客户提供各种服务,如数据库,队列,工作流引擎,电子邮件等。 然后,客户可以使用这些组件来构建自己的应用程序。 服务提供商处理服务,资源可用性和数据备份,帮助客户更专注于应用程序的功能。
SaaS
SaaS代表Software as a Service 。 顾名思义,第三方提供商在这里为客户提供最终用户应用程序,在应用程序级别具有一些管理功能,例如创建和管理用户的能力。 此外,还可以实现某种程度的可定制性,例如客户可以使用自己的公司徽标,颜色等。
云计算的优势
以下列出了云计算提供的一些最重要的优势 -
Cost-Efficient - 构建我们自己的服务器和工具既费时又昂贵,因为我们需要在需要之前订购,支付,安装和配置昂贵的硬件。 但是,使用云计算,我们只需支付使用量以及使用计算资源的时间。 通过这种方式,云计算具有成本效益。
Reliability - 云计算平台提供比内部IT基础架构更加可管理,可靠和一致的服务。 它保证24x7和365天的服务。 如果任何服务器出现故障,则托管的应用程序和服务可以轻松转移到任何可用的服务器。
Unlimited Storage - 云计算提供几乎无限的存储容量,即我们无需担心存储空间不足或增加我们当前的存储空间可用性。 我们可以根据需要尽可能多地访问。
Backup & Recovery - 将数据存储在云中,备份并恢复数据比将其存储在物理设备上要容易得多。 云服务提供商也有足够的技术来恢复我们的数据,因此可以随时恢复我们的数据。
Easy Access to Information - 一旦您在云中注册,您就可以在世界任何地方访问您的帐户,前提是此时有互联网连接。 各种存储和安全设施因所选帐户类型而异。
云计算的缺点
尽管云计算提供了一系列优势,但它也存在一些缺点,往往会对其效率产生疑问。
安全问题
安全性是云计算的主要问题。 云服务提供商实施最佳安全标准和行业认证,但是,将数据和重要文件存储在外部服务提供商上始终存在风险。
AWS云基础架构旨在成为最灵活,最安全的云网络。 它提供可扩展且高度可靠的平台,使客户能够快速,安全地部署应用程序和数据。
技术问题
随着云服务提供商每天向多个客户提供服务,有时系统可能会遇到一些严重问题导致业务流程暂时被暂停。 此外,如果互联网连接处于脱机状态,那么我们将无法访问云中的任何应用程序,服务器或数据。
切换服务提供商并不容易
云服务提供商向供应商承诺云将灵活使用和集成,但是切换云服务并不容易。 大多数组织可能会发现很难在另一个平台上托管和集成当前的云应用程序。 可能会出现互操作性和支持问题,例如在Linux平台上开发的应用程序可能无法在Microsoft Development Framework(.Net)上正常运行。
Amazon Web Services - Basic Architecture
这是AWS EC2的基本结构,其中EC2代表Elastic Compute Cloud。 EC2允许用户根据需要使用不同配置的虚拟机。 它允许各种配置选项,单个服务器的映射,各种定价选项等。我们将在AWS产品部分详细讨论这些。 以下是架构的图示。
Note - 在上图中, S3代表简单存储服务。 它允许用户使用API调用存储和检索各种类型的数据。 它不包含任何计算元素。 我们将在AWS产品部分详细讨论此主题。
负载均衡
Load balancing简单地意味着通过Web服务器加载硬件或软件,改进者是服务器和应用程序的效率。 以下是具有负载平衡的AWS体系结构的图形表示。
硬件负载平衡器是传统Web应用程序体系结构中使用的非常常见的网络设备。
AWS提供Elastic Load Balancing服务,它将流量分配到多个可用源的EC2实例,并从负载平衡轮换中动态添加和删除Amazon EC2主机。
Elastic Load Balancing可以动态增长和缩小负载平衡容量,以适应流量需求,并支持粘性会话以满足更高级的路由需求。
Amazon Cloud-front
它负责内容交付,即用于交付网站。 它可以包含使用边缘位置的全局网络的动态,静态和流式传输内容。 用户端内容请求将自动路由到最近的边缘位置,从而提高性能。
Amazon Cloud-front经过优化,可与其他Amazon Web Services(如Amazon S3和Amazon EC2)配合使用。 它也适用于任何非AWS源服务器,并以类似方式存储原始文件。
在亚马逊网络服务中,没有合同或每月承诺。 我们只为通过服务提供的内容付费。
弹性负载均衡器
它用于将流量分散到Web服务器,从而提高性能。 AWS提供Elastic Load Balancing服务,其中流量通过多个可用区域分发到EC2实例,并从负载平衡轮换中动态添加和删除Amazon EC2主机。
Elastic Load Balancing可以根据流量条件动态增长和缩小负载平衡容量。
安全管理
亚马逊的弹性计算云(EC2)提供了一种称为安全组的功能,类似于入站网络防火墙,我们必须在其中指定允许到达EC2实例的协议,端口和源IP范围。
可以为每个EC2实例分配一个或多个安全组,每个安全组将适当的流量路由到每个实例。 可以使用特定子网或IP地址配置安全组,从而限制对EC2实例的访问。
弹性缓存
Amazon Elastic Cache是一种管理云中内存缓存的Web服务。 在内存管理中,缓存具有非常重要的作用,有助于减少服务负载,通过缓存常用信息来提高数据库层的性能和可伸缩性。
亚马逊RDS
Amazon RDS(关系数据库服务)提供与MySQL,Oracle或Microsoft SQL Server数据库引擎类似的访问。 Amazon RDS可以使用相同的查询,应用程序和工具。
它会自动修补数据库软件并根据用户的指令管理备份。 它还支持时间点恢复。 不需要预先投资,我们只需为我们使用的资源付费。
在EC2实例上托管RDMS
Amazon RDS允许用户在EC2实例上安装您选择的RDBMS(关系数据库管理系统),如MySQL,Oracle,SQL Server,DB2等,并可根据需要进行管理。
Amazon EC2使用类似于网络附加存储的Amazon EBS(弹性块存储)。 在EC2实例上运行的所有数据和日志都应放在Amazon EBS卷上,即使数据库主机发生故障也可以使用这些卷。
Amazon EBS卷自动在可用区内提供冗余,从而提高了简单磁盘的可用性。 此外,如果卷不足以满足我们的数据库需求,可以添加卷以提高数据库的性能。
使用Amazon RDS,服务提供商管理存储,我们只关注管理数据。
存储和备份
AWS云提供了各种用于存储,访问和备份Web应用程序数据和资产的选项。 Amazon S3(简单存储服务)提供了一个简单的Web服务接口,可用于随时从Web上的任何位置存储和检索任何数量的数据。
Amazon S3将数据存储为称为buckets资源中的对象。 用户可以根据桶中的要求存储任意数量的对象,并且可以从桶中读取,写入和删除对象。
Amazon EBS对于需要作为块存储进行访问的数据非常有效,并且需要在运行实例的生命周期内持久化,例如数据库分区和应用程序日志。
Amazon EBS卷最大可以达到1 TB,这些卷可以进行条带化以获得更大的卷和更高的性能。 预配置IOPS卷旨在满足对存储性能和一致性敏感的数据库工作负载的需求。
Amazon EBS目前支持每卷最高1,000 IOPS。 我们可以将多个卷捆绑在一起,为每个实例提供数千个IOPS到应用程序。
Auto Scaling
AWS云架构与传统托管模型之间的区别在于AWS可以根据需要动态扩展Web应用程序机群以处理流量变化。
在传统的托管模型中,流量预测模型通常用于在预计流量之前配置主机。 在AWS中,可以根据一组触发器动态配置实例,以便对机群进行扩展和扩复。亚马逊Auto Scaling可以创建可按需增长或缩减的服务器容量组。
AWS中Web托管的关键考虑因素
以下是网络托管的一些关键考虑因素 -
无需物理网络设备
在AWS中,AWS应用程序的防火墙,路由器和负载平衡器等网络设备不再驻留在物理设备上,而是替换为软件解决方案。
有多种选择可确保高质量的软件解决方案。 对于负载均衡,请选择Zeus,HAProxy,Nginx,Pound等。要建立VPN连接,请选择OpenVPN,OpenSwan,Vyatta等。
没有安全问题
AWS提供了更安全的模型,其中每个主机都被锁定。 在Amazon EC2中,安全组是针对架构中的每种类型的主机而设计的,可以创建各种简单和分层的安全模型,以根据需要在架构内的主机之间实现最小的访问。
数据中心的可用性
AWS区域中的大多数可用区域都可以轻松获得EC2实例,并提供跨数据中心部署应用程序的模型,以实现高可用性和可靠性。
AWS - Management Console
AWS管理控制台是用于管理Amazon Web Services的Web应用程序。 AWS管理控制台包含可供选择的各种服务的列表。 它还提供与我们的帐户相关的所有信息,如结算。
此控制台提供内置用户界面,以执行AWS任务,例如使用Amazon S3存储桶,启动和连接到Amazon EC2实例,设置Amazon CloudWatch警报等。
以下是适用于Amazon EC2服务的AWS管理控制台的屏幕截图。
如何访问AWS?
Step 1 - 点击服务。 我们得到了各种服务的清单。
Step 2 - 从类别列表中选择选项,我们在以下屏幕截图中选择了他们的子类别,如计算机和数据库类别。
Step 3 - 选择您选择的服务,该服务的控制台将打开。
自定义仪表板
创建服务快捷方式
单击导航栏上的“编辑”菜单,将显示一个服务列表。 我们只需将它们从菜单栏拖到导航栏即可创建快捷方式。
添加服务快捷方式
当我们将服务从菜单栏拖动到导航栏时,将创建并添加快捷方式。 我们也可以按任何顺序安排它们。 在下面的屏幕截图中,我们为S3,EMR和DynamoDB服务创建了快捷方式。
删除服务快捷方式
要删除快捷方式,请单击编辑菜单,然后将快捷方式从导航栏拖动到服务菜单。 快捷方式将被删除。 在下面的屏幕截图中,我们删除了EMR服务的快捷方式。
选择地区
许多服务都是特定于区域的,我们需要选择一个区域以便管理资源。 某些服务不需要像AWS Identity and Access Management(IAM)那样选择区域。
要选择区域,首先我们需要选择一个服务。 单击Oregon菜单(位于控制台左侧),然后选择一个区域
更改密码
我们可以更改AWS账户的密码。 要更改密码,请执行以下步骤。
Step 1 - 单击导航栏左侧的帐户名称。
Step 2 - 选择安全凭证,将打开一个包含各种选项的新页面。 选择密码选项以更改密码并按照说明进行操作。
Step 3 - 登录后,会再次打开一个页面,其中包含更改密码的某些选项并按照说明操作。
如果成功,我们将收到确认消息。
了解您的账单信息
单击导航栏中的帐户名称,然后选择“结算和成本管理”选项。
现在将打开一个新页面,其中包含与金钱部分相关的所有信息。 使用此服务,我们可以支付AWS账单,监控我们的使用情况和预算估算。
Amazon Web Services - Console Mobile App
Amazon Web Services提供的AWS Console移动应用程序允许其用户查看选定服务的资源,并且还支持针对所选资源类型的一组有限管理功能。
以下是可以使用移动应用程序访问的各种服务和支持的功能。
EC2 (Elastic Compute Cloud)
- 浏览,过滤和搜索实例。
- 查看配置详细信息
- 检查CloudWatch指标和警报的状态。
- 通过启动,停止,重启,终止等实例执行操作。
- 管理安全组规则。
- 管理弹性IP地址。
- View block devices.
弹性负载平衡
- 浏览,过滤和搜索负载均衡器。
- 查看附加实例的配置详细信息。
- 从负载均衡器添加和删除实例。
S3
- 浏览存储桶并查看其属性。
- 查看对象的属性。
53号公路
- 浏览并查看托管区域。
- 浏览并查看记录集的详细信息。
RDS (Relational Database Service)
- 浏览,过滤,搜索和重新启动实例。
- 查看配置详细信息,安全性和网络设置。
Auto Scaling
- 查看组详细信息,策略,指标和警报。
- 根据情况管理实例数。
Elastic Beanstalk
- 查看应用程序和事件。
- 查看环境配置和交换环境CNAME。
- 重启app服务器。
DynamoDB
- 查看表格及其详细信息,如指标,索引,警报等。
CloudFormation (CloudFormation)
- 查看堆栈状态,标记,参数,输出,事件和资源。
OpsWorks
- 查看堆栈,层,实例和应用程序的配置详细信息。
- 查看实例及其日志,然后重新启动它们。
CloudWatch (CloudWatch)
- 查看资源的CloudWatch图。
- 按状态和时间列出CloudWatch警报。
- 警报的动作配置。
服务仪表板
- 提供可用服务及其状态的信息。
- 所有与用户计费相关的信息。
- 切换用户以查看多个帐户中的资源。
AWS Mobile App的功能
要访问AWS Mobile App,我们必须拥有现有的AWS账户。 只需使用帐户凭据创建身份,然后在菜单中选择区域。 此应用程序允许我们同时保持登录多个身份。
出于安全原因,建议使用密码保护设备并使用IAM用户的凭据登录应用程序。 如果设备丢失,则可以停用IAM用户以防止未经授权的访问。
无法通过移动控制台停用根帐户。 使用AWS多重身份验证(MFA)时,出于帐户安全考虑,建议在单独的移动设备上使用硬件MFA设备或虚拟MFA。
最新版本是1.14。 应用程序菜单中有一个反馈链接,可以分享我们的经验和任何疑问。
Amazon Web Services - Account
如何使用AWS账户?
以下是访问AWS服务的步骤 -
- 创建AWS账户。
- 注册AWS服务。
- 创建密码并访问您的帐户凭据。
- 在学分部分激活您的服务。
创建AWS账户
亚马逊提供功能齐全的免费帐户,供用户使用和学习AWS的不同组件一年。 您可以免费访问EC2,S3,DynamoDB等AWS服务。 但是,基于所消耗的资源存在某些限制。
Step 1 - 要创建AWS账户,请打开此链接https://aws.amazon.com并注册新账户并输入所需的详细信息。
如果我们已经拥有帐户,那么我们可以使用现有的AWS密码登录。
Step 2 - 提供电子邮件地址后,填写此表单。 亚马逊使用此信息进行结算,开票和识别帐户。 创建帐户后,注册所需的服务。
Step 3 - 要注册服务,请输入付款信息。 亚马逊针对文件上的卡执行最小额外交易以检查其是否有效。 此费用因地区而异。
Step 4 - 接下来,是身份验证。 亚马逊打回电话以验证提供的联系电话号码。
Step 5 - 选择支持计划。 订阅其中一个计划,如基本,开发人员,业务或企业。 基本计划不需要任何费用,资源有限,这对熟悉AWS很有帮助。
Step 6 - 最后一步是确认。 单击该链接再次登录,它将重定向到AWS管理控制台。
现在该帐户已创建,可用于利用AWS服务。
AWS账户标识符
AWS为每个AWS账户分配两个唯一ID。
- AWS账户ID
- A conical user ID
AWS账户ID
它是一个12位数字,如123456789000,用于构建亚马逊资源名称(ARN)。 此ID有助于将我们的资源与其他AWS账户中的资源区分开来。
要了解AWS账号,请单击AWS管理控制台导航栏右上角的Support,如以下屏幕截图所示。
圆锥形字符串用户标识
它是一长串字母数字字符,如1234abcdef1234。 此ID在Amazon S3存储桶策略中用于跨帐户访问,即访问另一个AWS账户中的资源。
帐户别名
帐户别名是您登录页面的网址,默认情况下包含帐户ID。 我们可以使用公司名称自定义此URL,甚至覆盖前一个URL。
如何创建/删除您自己的AWS账户别名?
Step 1 - 使用以下链接登录AWS管理控制台并打开IAM控制台https://console.aws.amazon.com/iam/
Step 2 - 选择自定义链接并创建选择的别名。
Step 3 - 要删除别名,请单击自定义链接,然后单击是,删除按钮。 这将删除别名,并恢复为帐户ID。
多重身份验证
Multi Factor Authentication (MFA)通过验证用户在访问AWS网站或服务时从批准的身份验证设备或SMS文本消息输入唯一身份验证代码来提供额外的安全性。 如果MFA代码正确,则只有用户可以访问AWS服务,否则无法访问。
要求(Requirements)
要使用MFA服务,用户必须为IAM用户或AWS root帐户分配设备(硬件或虚拟)。 分配给用户的每个MFA设备必须是唯一的,即用户不能从另一个用户的设备输入代码进行身份验证。
如何启用MFA设备?
Step 1 - 打开以下链接,https:// console.aws.amazon.com/iam/
Step 2 - 在网页上,从右侧导航窗格中选择用户以查看用户名列表。
Step 3 - 向下滚动到安全凭据并选择MFA。 点击激活MFA。
Step 4 - 按照说明操作,MFA设备将通过该帐户激活。
有三种方法可以启用MFA设备 -
SMS MFA设备
在此方法中,MFA要求我们使用用户的SMS兼容移动设备的电话号码配置IAM用户。 当用户登录时,AWS会通过SMS文本消息向用户的移动设备发送六位数代码。 在登录期间,用户需要在第二个网页上输入相同的代码以验证正确的用户。 此基于SMS的MFA不能与AWS root帐户一起使用。
硬件MFA设备
在此方法中,MFA要求我们将IFA设备(硬件)分配给IAM用户或AWS根帐户。 设备根据时间同步的一次性密码算法生成六位数字代码。 在登录期间,用户必须在第二个网页上从设备输入相同的代码,以验证正确的用户。
虚拟MFA设备
在此方法中,MFA要求我们将IFA设备(虚拟)分配给IAM用户或AWS根帐户。 虚拟设备是在模拟物理设备的移动设备上运行的软件应用程序(移动应用程序)。 设备根据时间同步的一次性密码算法生成六位数字代码。 在登录期间,用户必须在第二个网页上从设备输入相同的代码,以验证正确的用户。
AWS身份和访问管理(IAM)
IAM是我们在AWS中创建的用户实体,用于表示使用它且对资源具有有限访问权限的人员。 因此,我们不必在日常活动中使用root帐户,因为root帐户可以无限制地访问我们的AWS资源。
如何在IAM中创建用户?
Step 1 - 打开链接https://console.aws.amazon.com/iam/以登录AWS管理控制台。
Step 2 - 选择左侧导航窗格中的“用户”选项以打开所有用户的列表。
Step 3 - 我们还可以使用“创建新用户”选项创建新用户,将打开一个新窗口。 输入我们要创建的用户名。 选择创建选项,将创建一个新用户。
Step 4 - 我们还可以通过选择Show Users Security Credentials链接查看Access Key ID和密钥。 我们还可以使用“下载凭据”选项将这些详细信息保存在计算机上。
Step 5 - 我们可以管理用户自己的安全凭证,例如创建密码,管理MFA设备,管理安全证书,创建/删除访问密钥,将用户添加到组等。
还有许多可选的功能,可在网页上找到。
AWS - Elastic Compute Cloud
Amazon EC2 (Elastic Compute Cloud)是一种Web服务接口,可在AWS云中提供可调整大小的计算容量。 它专为开发人员设计,可以完全控制Web扩展和计算资源。
可以调整EC2实例的大小,并根据我们的要求按比例放大或缩小实例数。 可以在一个或多个地理位置或区域以及Availability Zones (AZs)启动这些实例。 每个区域由不同位置的几个AZ组成,通过同一区域内的低延迟网络连接。
EC2组件
在AWS EC2中,用户必须了解EC2组件,其操作系统支持,安全措施,定价结构等。
操作系统支持
Amazon EC2支持多个操作系统,我们需要支付额外的许可费用,如:Red Hat Enterprise,SUSE Enterprise和Oracle Enterprise Linux,UNIX,Windows Server等。这些操作系统需要与Amazon Virtual Private Cloud(VPC)一起实施。
安全 (Security)
用户可以完全控制其AWS账户的可见性。 在AWS EC2中,安全系统允许创建组并根据要求将运行实例放入其中。 您可以指定其他组可以与之通信的组,以及Internet上可以与之通信的IP子组的组。
Pricing
AWS提供各种定价选项,具体取决于资源类型,应用程序类型和数据库。 它允许用户配置其资源并相应地计算费用。
容错
Amazon EC2允许用户访问其资源以设计容错应用程序。 EC2还包括地理区域和隔离位置,称为可用区域,用于容错和稳定性。 出于安全原因,它不会共享区域数据中心的确切位置。
当用户启动实例时,他们必须选择与运行实例的区域相同的AMI。 实例分布在多个可用区域中以提供故障中的连续服务,弹性IP(EIP)地址用于将故障实例地址快速映射到其他区域中的并发运行实例,以避免服务延迟。
迁移(Migration)
此服务允许用户将现有应用程序移动到EC2。 每个存储设备的成本为80美元,数据加载的成本为每小时2.49美元。 此服务适合具有大量数据的用户移动。
EC2的特点
以下列出了EC2的一些突出特点 -
Reliable - Amazon EC2提供了一个高度可靠的环境,可以快速更换实例。 服务水平协议承诺是每个Amazon EC2区域的99.9%可用性。
Designed for Amazon Web Services - Amazon EC2可与Amazon S3,Amazon RDS,Amazon DynamoDB和Amazon SQS等Amazon服务一起使用。 它为各种应用程序的计算,查询处理和存储提供了完整的解决方案。
Secure - Amazon EC2可在Amazon Virtual Private Cloud中运行,为资源提供安全可靠的网络。
Flexible Tools - Amazon EC2为开发人员和系统管理员提供了构建故障应用程序并将自己与常见故障情况隔离开来的工具。
Inexpensive - 亚马逊EC2希望我们只为我们使用的资源付费。 它包括多个购买计划,如按需实例,预留实例,竞价实例等,我们可以根据我们的要求选择。
如何使用AWS EC2
Step 1 - 使用以下链接登录AWS账户并打开IAM控制台https://console.aws.amazon.com/iam/.
Step 2 - 在导航面板中,创建/查看组并按照说明进行操作。
Step 3 - 创建IAM用户。 在导航窗格中选择用户。 然后创建新用户并将用户添加到组。
Step 4 - 使用以下说明创建虚拟私有云。
使用以下链接打开Amazon VPC控制台 - https://console.aws.amazon.com/vpc/
从导航面板中选择VPC。 然后选择我们在其中创建密钥对的相同区域。
在VPC仪表板上选择启动VPC向导。
选择VPC配置页面并确保选择了具有单个子网的VPC。 选择选择。
将打开具有单个公有子网页面的VPC。 在名称字段中输入VPC名称,并将其他配置保留为默认值。
选择“创建VPC”,然后选择“确定”。
Step 5 - 使用以下说明创建WebServerSG安全组并添加规则。
在VPC控制台上,在导航面板中选择安全组。
选择创建安全组并填写所需的详细信息,如组名,名称标签等。
从菜单中选择您的VPC ID。 然后选择是,创建按钮。
现在创建了一个组。 在入站规则选项卡中选择编辑选项以创建规则。
Step 6 - 使用以下指示将EC2实例启动到VPC中。
使用以下链接打开EC2控制台 - https://console.aws.amazon.com/ec2/
在仪表板中选择启动实例选项。
将打开一个新页面。 选择“实例类型”并提供配置。 然后选择Next:Configure Instance Details。
将打开一个新页面。 从网络列表中选择VPC。 从子网列表中选择子网,并将其他设置保留为默认值。
单击Next,直到出现Tag Instances页面。
Step 7 - 在Tag Instances页面上,提供一个带有实例名称的标签。 选择Next:配置安全组。
Step 8 - 在Configure Security Group(配置安全组)页面上,选择Select an existing security group(选择现有安全组)选项。 选择我们之前创建的WebServerSG组,然后选择Review and Launch。
Step 9 - 在Review Instance Launch页面上检查实例详细信息,然后单击Launch按钮。
Step 10 - 将打开一个弹出对话框。 选择现有密钥对或创建新密钥对。 然后选中确认复选框,并单击“启动实例”按钮。
Amazon Web Services - Auto Scaling
顾名思义,自动缩放允许您根据用户设置的指令自动扩展或缩小Amazon EC2实例。 最小和最大实例数等参数由用户设置。 使用此功能,您正在使用的Amazon EC2实例的数量会随着需求的增加而自动增加以保持性能,并随着需求的减少而自动降低以最小化成本。
Auto Scaling对于每小时,每天或每周使用波动的应用程序尤其有效。 Amazon CloudWatch启用Auto Scaling,无需额外费用即可使用。 AWS CloudWatch可用于衡量CPU利用率,网络流量等。
弹性负载平衡
Elastic Load Balancing (ELB)自动在多个Amazon EC2实例之间分配传入的请求流量,从而实现更高的容错能力。 它会检测不合适的实例并自动重新路由流量以适应实例,直到以循环方式恢复不合适的实例。 但是,如果我们需要更复杂的路由算法,那么请选择其他服务,如Amazon Route53。
ELB由以下三个部分组成。
负载均衡器
这包括监视和处理通过Internet/Intranet传入的请求,并将它们分发到向其注册的EC2实例。
控制服务
这包括通过根据需要添加和删除负载平衡器来自动调整处理容量以响应传入流量。 它还执行实例的适应性检查。
SSL终止
ELB提供SSL终结,可以节省宝贵的CPU周期,在连接到ELB的EC2实例中编码和解码SSL。 需要在ELB中配置X.509证书。 EC2实例中的此SSL连接是可选的,我们也可以终止它。
ELB的特点
以下是ELB最突出的特点 -
ELS旨在通过逐渐增加的负载模式来处理每秒无限的请求。
我们可以配置EC2实例和负载均衡器来接受流量。
我们可以根据需要添加/删除负载均衡器,而不会影响整体信息流。
它不是为处理在线考试,在线交易等请求的突然增加而设计的。
客户可以在单个可用区域内或跨多个区域启用Elastic Load Balancing,以实现更加一致的应用程序性能。
如何创建负载均衡器?
Step 1 - 使用此链接访问Amazon EC2控制台 - https://console.aws.amazon.com/ec2/ 。
Step 2 - 从右侧的区域菜单中选择负载均衡器区域。
Step 3 - 从导航窗格中选择Load Balancers,然后选择Create Load Balancer选项。 将打开一个弹出窗口,我们需要提供所需的详细信息。
Step 4 - 在“负载均衡器名称”框中:输入负载均衡器的名称。
Step 5 - 在框内创建LB:选择您为实例选择的同一网络。
Step 6 - 如果选择了默认VPC,请选择启用高级VPC配置。
Step 7 - 单击“添加”按钮,将出现一个新的弹出窗口,从可用子网列表中选择子网,如以下屏幕截图所示。 每个可用区域仅选择一个子网。 如果我们不选择启用高级VPC配置,则不会出现此窗口。
Step 8 - 选择下一步; 弹出窗口将打开。 选择VPC作为网络后,将安全组分配给Load Balancers。
Step 9 - 按照说明将安全组分配给负载平衡器,然后单击“下一步”。
Step 10 - 将打开一个新的弹出窗口,其中包含具有默认值的运行状况检查配置详细信息。 值可以自己设置,但这些是可选的。 单击Next:添加EC2实例。
Step 11 - 将打开一个弹出窗口,其中包含有关已注册实例等实例的信息,通过选择ADD EC2 Instance选项向负载均衡器添加实例并填写所需信息。 单击添加标签。
Step 12 - 向负载均衡器添加标签是可选的。 要添加标签,请单击“添加标签”页面,并将标签中的密钥,值等详细信息填充。 然后选择Create Tag选项。 单击“查看并创建”按钮。
将打开一个评论页面,我们可以在其中验证设置。 我们甚至可以通过选择编辑链接来更改设置。
Step 13 - 单击“创建”以创建负载均衡器,然后单击“关闭”按钮。
如何删除负载均衡器?
Step 1 - 使用此链接访问Amazon EC2控制台 - https://console.aws.amazon.com/ec2/ 。
Step 2 - 从导航窗格中选择Load Balancers选项。
Step 3 - 选择Load balancer并单击Action按钮。
Step 4 - 单击“删除”按钮。 将出现一个警告窗口,单击是,删除按钮。
Amazon Web Services - WorkSpaces
Amazon WorkSpaces是云中完全托管的桌面计算服务,允许其客户为其最终用户提供基于云的桌面。 通过这种方式,最终用户可以使用他们选择的设备访问文档,应用程序和资源,例如笔记本电脑,iPad,Kindle Fire或Android平板电脑。 推出此服务是为了满足客户对基于云的“桌面即服务”(DaaS)不断增长的需求。
它是如何工作的 (How It Works?)
每个WorkSpace都是一个持久的Windows Server 2008 R2实例,看起来像Windows 7,托管在AWS云上。 桌面通过PCoIP流式传输给用户,默认情况下,每12小时将备份一次备份的数据。
用户要求
用户端需要具有TCP和UDP开放端口的Internet连接。 他们必须为他们的设备下载免费的Amazon WorkSpaces客户端应用程序。
如何创建亚马逊工作区?
Step 1 - 创建和配置VPC。 (我们将在VPC章节中详细讨论。)
Step 2 - 使用以下步骤创建AD目录。
使用以下链接打开Amazon WorkSpace控制台 - https://console.aws.amazon.com/workspaces/
选择目录,然后在导航面板中选择“设置目录”。
将打开一个新页面。 选择Create Simple AD按钮,然后填写所需的详细信息。
在VPC部分中,填写VPC详细信息并选择下一步。
将打开审核页面以查看信息。 如果不正确则进行更改,然后单击“创建简单AD”按钮。
Step 3 - 使用以下步骤创建WorkSpace。
使用以下链接打开Amazon WorkSpace控制台 - https://console.aws.amazon.com/workspaces/
选择Workspaces and然后在导航面板中启动WorkSpaces选项。
选择云目录。 为此目录中的所有用户启用/禁用WorkDoc,然后单击是,下一步按钮。
将打开一个新页面。 填写新用户的详细信息,然后选择“ Create Users按钮。 将用户添加到WorkSpace列表后,选择Next。
在WorkSpaces Bundles页面的value字段中输入所需的包数,然后选择Next。
将打开一个评论页面。 检查详细信息并根据需要进行更改。 选择Launch WorkSpaces。
将有一条消息来确认帐户,之后我们可以使用WorkSpaces。
Step 4 - 使用以下步骤测试WorkSpaces。
使用以下链接下载并安装Amazon WorkSpaces客户端应用程序 - https://clients.amazonworkspaces.com/ 。
运行该应用程序。 我们第一次需要输入电子邮件中收到的注册码,然后点击注册。
通过输入用户的用户名和密码连接到WorkSpace。 选择登录。
现在显示WorkSpace桌面。 在网络浏览器上打开此链接http://aws.amazon.com/workspaces/ 。 导航并验证是否可以查看该页面。
一条消息说“恭喜! 您的Amazon WorkSpaces云目录已创建,您的第一个WorkSpace工作正常,并且将“收到”Internet访问权限。
亚马逊WorkSpaces功能
网络健康检查
此AWS WorkSpaces功能验证网络和Internet连接是否正常工作,检查WorkSpaces及其关联的注册服务是否可访问,检查端口4172是否已打开以进行UDP和TCP访问。
客户端重新连接
此AWS WorkSpaces功能允许用户在每次断开连接时无需输入凭据即可访问其WorkSpace。 安装在客户端设备上的应用程序将访问令牌保存在安全存储中,该存储有效期为12小时,用于对正确的用户进行身份验证。 用户单击应用程序上的“重新连接”按钮以访问其WorkSpace。 用户可以随时禁用此功能。
自动恢复会话
此AWS WorkSpaces功能允许客户端在20分钟内恢复由于网络连接中的任何原因而断开连接的会话(默认情况下可以延长4小时)。 用户可以随时在组策略部分中禁用此功能。
控制台搜索
此功能允许管理员按用户名,包类型或目录搜索WorkSpaces。
亚马逊WorkSpaces的好处
Easy to set up - 客户可以选择自己选择的AWS WorkSpaces计划,并提供CPU类型,内存,存储和应用程序以及桌面数量等要求。
Choice of devices and applications - 客户可以免费在其设备(笔记本电脑,iPad,平板电脑)上安装Amazon WorkSpace应用程序,并可从可用列表中选择应用程序。
Cost-effective - 亚马逊WorkSpaces不需要预先承诺,客户每月定制桌面时付费。
Amazon Web Services - Lambda
AWS Lambda是一种响应式云服务,可检查应用程序中的操作,并通过部署用户定义的代码(称为functions响应。 它可以自动管理多个可用区域中的计算资源,并在触发新操作时对其进行扩展。
AWS Lambda支持使用Java,Python和Node.js编写的代码,该服务可以使用Amazon Linux支持的语言(包括Bash,Go和Ruby)启动流程。
以下是使用AWS Lambda时的一些建议提示。
以无状态样式编写Lambda函数代码。
永远不要在处理程序范围之外声明任何函数变量。
确保对上传的ZIP中的文件具有一组+ rx permissions ,以确保Lambda可以代表您执行代码。
不再需要时删除旧的Lambda函数。
如何配置AWS Lambda?
请按照以下步骤首次配置AWS Lambda。
Step 1 - 登录AWS账户。
Step 2 - 从AWS服务部分选择Lambda。
Step 3 - 选择蓝图(可选),然后单击“跳过”按钮。
Step 4 - 提供创建Lambda function所需的详细信息,如以下屏幕截图所示,并粘贴Node.js代码,每当在DynamoDB中添加新项目时,这些代码将自动触发。 选择所有必需的权限。
Step 5 - 单击“下一步”按钮并验证您的详细信息。
Step 6 - 单击“创建功能”按钮。
现在,当我们选择Lambda服务并选择Event Sources选项卡时,将没有记录。 将至少一个源添加到Lambda函数中。 在这里,我们将向其添加DynamoDB表。
我们使用DynamoDB创建了一个表(我们将在DynamoDB章节中详细讨论)。
Step 7 - 选择流选项卡并将其与Lambda函数关联。
您将在Lambda Service页面的Event Sources选项卡中看到此条目。
Step 8 - 在表格中添加一些条目。 当条目被添加并保存时,Lambda服务应该触发该功能。 可以使用Lambda日志进行验证。
Step 9 - 要查看日志,请选择Lambda服务,然后单击“监控”选项卡。 然后单击CloudWatch中的查看日志。
AWS Lambda的优点
以下是使用Lambda任务的一些好处 -
Lambda任务不需要像Amazon SWF活动类型那样注册。
我们可以使用您已在工作流程中定义的任何现有Lambda函数。
Lambda函数由Amazon SWF直接调用; 没有必要设计一个程序来实现和执行它们。
Lambda为我们提供了跟踪功能执行的指标和日志。
AWS Lambda限制
以下是三种Lambda限制。
节流限制
限制是每个帐户100个并发的Lambda函数执行,并应用于同一区域内所有函数的总并发执行。
计算函数的并发执行次数的公式=(函数执行的平均持续时间)X(AWS Lambda处理的请求或事件的数量)。
达到油门限制时,它会返回一个错误代码为429的限制错误.15-30分钟后,您可以再次开始工作。 可以通过联系AWS支持中心来增加节流限制。
资源限制
下表显示了Lambda函数的资源限制列表。
资源 | 默认限制 |
---|---|
短暂的磁盘容量(“/ tmp”空间) | 512 MB |
文件描述符的数量 | 1,024 |
进程数和线程数(总计) | 1,024 |
每个请求的最长执行时间 | 300秒 |
调用请求主体有效负载大小 | 6 MB |
调用响应主体有效负载大小 | 6 MB |
服务限额
下表显示了部署Lambda函数的服务限制列表。
项目 | 默认限制 |
---|---|
Lambda函数部署包大小(.zip/.jar文件) | 50 MB |
可以压缩到部署包中的代码/依赖项的大小(未压缩的zip/jar大小) | 250 MB |
每个区域可以上载的所有部署包的总大小 | 1.5 GB |
每个帐户的计划事件源类型的唯一事件源数 | 50 |
可以连接到每个计划事件的唯一Lambda函数的数量 | 5 |
有关最新更新的限制结构和更多信息,请访问 - https://docs.aws.amazon.com/lambda/latest/dg/limits.html/
Amazon Web Services - Virtual Private Cloud
Amazon Virtual Private Cloud (VPC)允许用户在虚拟网络中使用AWS资源。 用户可以根据需要自定义其虚拟网络环境,例如选择自己的IP地址范围,创建子网以及配置路由表和网络网关。
可与Amazon VPC一起使用的AWS服务列表包括 -
- 亚马逊EC2
- 亚马逊53号线
- 亚马逊WorkSpaces
- Auto Scaling
- Elastic Load Balancing
- AWS Data Pipeline
- Elastic Beanstalk
- 亚马逊弹性缓存
- 亚马逊EMR
- 亚马逊OpsWorks
- 亚马逊RDS
- 亚马逊Redshift
如何使用Amazon VPC?
以下是创建VPC的步骤。
创建VPC
Step 1 - 使用以下链接打开Amazon VPC控制台 - https://console.aws.amazon.com/vpc/
Step 2 - 选择在导航栏右侧创建VPC选项。 确保选择与其他服务相同的区域。
Step 3 - 单击“启动VPC向导”选项,然后单击左侧的“使用单个公有子网选项的VPC”。
Step 4 - 将打开配置页面。 填写VPC名称,子网名称等详细信息,并将其他字段保留为默认值。 单击“创建VPC”按钮。
Step 5 - 将打开一个对话框,显示正在进行的工作。 完成后,选择确定按钮。
将打开“您的VPC”页面,其中显示了可用的VPC列表。 可以在此处更改VPC的设置。
选择/创建VPC组
Step 1 - 使用以下链接打开Amazon VPC控制台 - https://console.aws.amazon.com/vpc/
Step 2 - 在导航栏中选择安全组选项,然后选择创建安全组选项。
Step 3 - 将打开一个表单,输入组名称,名称标签等详细信息。从VPC菜单中选择您的VPC ID,然后选择是,创建按钮。
Step 4 - 打开组列表。 从列表中选择组名称并设置规则。 然后单击“保存”按钮。
将实例启动到VPC中
Step 1 - 使用以下链接打开Amazon VPC控制台 - https://console.aws.amazon.com/vpc/
Step 2 - 选择与创建VPC和安全组时相同的区域。
Step 3 - 现在选择导航栏中的Launch Instance选项。
Step 4 - 打开一个页面。 选择要使用的AMI。
Step 5 - 打开一个新页面。 选择实例类型,然后选择硬件配置。 然后选择Next: Configure Instance Details 。
Step 6 - 从“网络”列表中选择最近创建的VPC,从“子网”列表中选择子网。 将其他设置保留为默认值,然后单击“下一步”直到“标记实例”页面。
Step 7 - 在Tag Instance页面上,使用Name标签标记实例。 这有助于从多个实例列表中识别您的实例。 单击下一步:配置安全组。
Step 8 - 在Configure Security Group(配置安全组)页面上,从列表中选择最近创建的组。 然后,选择Review and Launch按钮。
Step 9 - 在Review Instance Launch页面上,检查您的实例详细信息,然后选择Launch。
Step 10 - 出现一个对话框。 选择选择现有密钥对或创建新密钥对,然后单击启动实例按钮。
Step 11 - 打开确认页面,显示与实例相关的所有详细信息。
将弹性IP地址分配给VPC实例
Step 1 - 使用以下链接打开Amazon VPC控制台 - https://console.aws.amazon.com/vpc/
Step 2 - 在导航栏中选择弹性IP选项。
Step 3 - 选择分配新地址。 然后选择是,分配按钮。
Step 4 - 从列表中选择弹性IP地址,然后选择“操作”,再单击“关联地址”按钮。
Step 5 - 将打开一个对话框。 首先从“关联”列表中选择“实例”。 然后从“实例”列表中选择您的实例。 最后单击Yes,Associate按钮。
删除VPC
删除VPC有几个步骤而不会丢失任何与之关联的资源。 以下是删除VPC的步骤。
Step 1 - 使用以下链接打开Amazon VPC控制台 - https://console.aws.amazon.com/vpc/
Step 2 - 在导航栏中选择Instances选项。
Step 3 - 从列表中选择实例,然后选择操作→实例状态→终止按钮。
Step 4 - 打开一个新对话框。 展开“附加的发布弹性IP”部分,然后选中弹性IP地址旁边的复选框。 单击是,终止按钮。
Step 5 - 再次使用以下链接打开Amazon VPC控制台 - https://console.aws.amazon.com/vpc/
Step 6 - 从导航栏中选择VPC。 然后选择Actions并最后单击Delete VPC按钮。
Step 7 - 出现确认消息。 单击是,删除按钮。
VPC的特点
Many connectivity options - Amazon VPC中存在各种连接选项。
通过公共子网将VPC直接连接到Internet。
通过私有子网使用网络地址转换连接到Internet。
通过加密的IPsec硬件VPN连接安全地连接到公司数据中心。
私下连接到其他VPC,我们可以通过AWS账户在多个虚拟网络中共享资源。
无需使用互联网网关即可连接到Amazon S3,并可以很好地控制S3存储桶,用户请求,组等。
通过配置Amazon VPC路由表以将所有流量定向到其目标,可以组合VPC和数据中心的连接。
Easy to use - 通过根据需要选择网络设置,可以通过非常简单的步骤轻松创建VPC。 单击“启动VPC向导”,将自动创建子网,IP范围,路由表和安全组。
Easy to backup data - 使用Amazon EBS卷定期将数据从数据中心备份到Amazon EC2实例。
Easy to extend network using Cloud - 移动应用程序,启动其他Web服务器并通过将其连接到VPC来增加存储容量。
Amazon Web Services - Route 53
Amazon Route 53是一种高度可用且可扩展的域名系统(DNS)Web服务。 它专为开发人员和企业设计,通过将人类可读的名称(如www.mydomain.com)转换为计算机用于相互连接的数字IP地址(如192.0.2.1),将最终用户路由到Internet应用程序。
如何配置Amazon Route 53?
以下是配置Route 53的步骤。
Step 1 - 使用此链接打开Amazon Route 53控制台 - https://console.aws.amazon.com/route53/ 。
Step 2 - 单击导航栏左上角的“创建托管区域”选项。
Step 3 - 打开表单页面。 提供所需的详细信息,例如域名和注释,然后单击“创建”按钮。
Step 4 - 将创建域的托管区域。 将有四个名为委托集的DNS端点,并且必须在域名Nameserver设置中更新这些端点。
Step 5 - 如果是godaddy.com,则选择域的控制面板并更新Route 53 DNS端点。 删除其余默认值。 更新需要2-3分钟。
Step 6 - 返回Route 53控制台并选择转到记录集选项。 这将显示记录集列表。 默认情况下,有两个类型为NS和SOA的记录集。
Step 7 - 要创建记录集,请选择“创建记录集”选项。 填写所需的详细信息,例如:名称,类型,别名,TTL秒,值,路由策略等。单击“保存记录集”按钮。
Step 8 - 为其他某个区域再创建一个记录集,以便有两个具有相同域名的记录集,使用您选择的路由策略指向不同的IP地址。
完成后,将根据网络策略路由用户请求。
53号公路的特点
轻松注册您的域名 - 我们可以直接从Route 53购买所有级别的域名,如.com,.net,.org等。
Highly reliable - Route 53使用AWS基础架构构建。 它对DNS服务器的分布式特性有助于确保路由最终用户应用程序的一致能力。
Scalable - Route 53的设计使其无需用户的交互即可自动处理大量查询。
Can be used with other AWS Services - Route 53也可与其他AWS服务一起使用。 它可用于将域名映射到我们的Amazon EC2实例,Amazon S3存储桶,Amazon和其他AWS资源。
Easy to use - 易于注册,易于配置DNS设置,并提供对DNS查询的快速响应。
运行状况检查:Route 53监视应用程序的运行状况。 如果检测到中断,则会自动将用户重定向到健康资源。
Cost-Effective - 仅为域服务付费以及服务为每个域应答的查询数。
Secure - 通过将Route 53与AWS(IAM)集成,可以完全控制AWS账户中的每个用户,例如决定哪个用户可以访问Route 53的哪个部分。
Amazon Web Services - Direct Connect
AWS Direct Connect允许从我们的网络到AWS位置创建专用网络连接。 它使用802.1q VLAN,可以将其划分为多个虚拟接口,以使用相同的连接访问公共资源。 这导致网络成本降低和带宽增加。 可以根据需要随时重新配置虚拟接口。
使用AWS Direct Connect的要求
我们的网络必须满足以下条件之一才能使用AWS Direct Connect -
我们的网络应位于AWS Direct Connect位置。 访问此链接以了解可用的AWS Direct Connect位置https://aws.amazon.com/directconnect/ 。
我们应该与AWS Direct Connect合作伙伴合作,该合作伙伴是AWS合作伙伴网络(APN)的成员。 访问此链接以了解AWS Direct Connect合作伙伴列表 - https://aws.amazon.com/directconnect/
我们的服务提供商必须可移植才能连接到AWS Direct Connect。
此外,我们的网络必须满足以下必要条件 -
与AWS Direct Connect的连接需要单模光纤,1000BASE-LX(1310nm)用于1千兆以太网,或10GBASE-LR(1310nm)用于10千兆以太网。 必须禁用端口的自动协商。 应提供对这些连接的802.1Q VLAN的支持。
网络必须支持边界网关协议(BGP)和BGP MD5身份验证。 可选地,我们可以配置双向转发检测(BFD)。
如何配置AWS Direct Connect?
以下是配置AWS Direct Connect的步骤 -
Step 1 - 使用此链接打开AWS Direct Connect控制台 - https://console.aws.amazon.com/directconnect/
step 2 - 从导航栏中选择AWS Direct Connect区域。
step 3 - AWS Direct Connect的欢迎页面打开。 选择“直接连接入门”。
step 4 - 打开“创建连接”对话框。 填写所需的详细信息,然后单击“创建”按钮。
AWS将在72小时内向授权用户发送确认电子邮件。
Step 5 - 使用以下步骤创建虚拟接口。
再次打开AWS控制台页面。
在导航栏中选择“连接”,然后选择“创建虚拟接口”。 填写所需的详细信息,然后单击“继续”按钮。
选择Download Router Configuration,然后单击Download按钮。
验证虚拟接口(可选)。 要验证AWS Direct Connect连接,请使用以下过程。
To verify virtual interface connection to the AWS cloud - 运行traceroute并验证AWS Direct Connect标识符是否在网络跟踪中。
To verify virtual interface connection to Amazon VPC - 使用任何可ping的AMI并将Amazon EC2实例启动到连接到虚拟专用网关的VPC中。
当实例运行时,获取其私有IP地址并ping IP地址以获得响应。
直接连接的功能
Reduces bandwidth costs - 成本降低两种方式,即直接与AWS之间传输数据。 通过专用连接传输的数据以降低的AWS Direct Connect数据传输速率而非Internet数据传输速率收费。
Compatible with all AWS services - AWS Direct Connect是一种网络服务,支持可通过Internet访问的所有AWS服务,如Amazon S3,Amazon EC2,Amazon VPC等。
Private connectivity to Amazon VPC - AWS Direct Connect可用于直接以高带宽建立从家庭网络到Amazon VPC的专用虚拟接口。
Elastic - AWS Direct Connect提供1 Gbps和10 Gbps连接,可根据要求提供多个连接。
Easy and simple - 使用AWS管理控制台轻松注册AWS Direct Connect。 使用此控制台,可以管理所有连接和虚拟接口。
Amazon Web Services - Amazon S3
Amazon S3 (简单存储服务)是一种可扩展,高速,低成本的基于Web的服务,专为在线备份和归档数据和应用程序而设计。 它允许上传,存储和下载任何类型的文件,最大为5 GB。 此服务允许订户访问Amazon用于运行其自己的网站的相同系统。 订户控制数据的可访问性,即私人/公共可访问。
如何配置S3?
以下是配置S3帐户的步骤。
Step 1 - 使用此链接打开Amazon S3控制台 - https://console.aws.amazon.com/s3/home
Step 2 - 使用以下步骤创建一个Bucket。
将打开一个提示窗口。 单击页面底部的“创建存储桶”按钮。
将打开“创建存储桶”对话框。 填写所需的详细信息,然后单击“创建”按钮。
存储桶在Amazon S3中成功创建。 控制台显示存储桶列表及其属性。
选择静态网站托管选项。 单击单选按钮启用网站托管并填写所需的详细信息。
Step 3 - 使用以下步骤将对象添加到存储桶。
使用以下链接打开Amazon S3控制台 - https://console.aws.amazon.com/s3/home
单击“上载”按钮。
单击“添加文件”选项。 选择要从系统上载的文件,然后单击“打开”按钮。
单击开始上载按钮。 文件将上传到存储桶中。
To open/download an object - 在Amazon S3控制台的“对象和文件夹”列表中,右键单击要打开/下载的对象。 然后,选择所需的对象。
如何移动S3对象?
以下是移动S3对象的步骤。
step 1 - 打开Amazon S3控制台。
step 2 - 在面板中选择文件和文件夹选项。 右键单击要移动的对象,然后单击“剪切”选项。
step 3 - 打开我们想要此对象的位置。 右键单击要移动对象的文件夹/存储桶,然后单击“粘贴到”选项。
如何删除对象?
Step 1 - 打开Amazon S3。
Step 2 - 在面板中选择文件和文件夹选项。 右键单击要删除的对象。 选择删除选项。
Step 3 - 将打开一个弹出窗口进行确认。 单击确定。
如何清空水桶?
Step 1 - 打开Amazon S3控制台。
Step 2 - 右键单击要清空的存储桶,然后单击空存储桶选项。
Step 3 - 弹出窗口中将显示确认消息。 仔细阅读并单击Empty bucket按钮进行确认。
亚马逊S3功能
Low cost and Easy to Use - 使用Amazon S3,用户可以以极低的费用存储大量数据。
Secure - Amazon S3支持通过SSL进行数据传输,数据上传后会自动加密。 通过使用AWS IAM配置存储桶策略,用户可以完全控制其数据。
Scalable - 使用Amazon S3,无需担心存储问题。 我们可以存储尽可能多的数据并随时访问它。
Higher performance - Amazon S3与Amazon CloudFront集成,可以低延迟地向最终用户分发内容,并提供高数据传输速度,而无需任何最低使用承诺。
Integrated with AWS services集成的Amazon S3包括Amazon CloudFront,Amazon CLoudWatch,Amazon Kinesis,Amazon RDS,Amazon Route 53,Amazon VPC,AWS Lambda,Amazon EBS,Amazon Dynamo DB等。
Amazon Web Services - Elastic Block Store
Amazon Elastic Block Store (EBS)是一种用于存储持久数据的块存储系统。 通过提供高可用性块级存储卷,Amazon EBS适用于EC2实例。 它有三种类型的卷,即通用(SSD),预置IOPS(SSD)和磁性。 这三种卷类型的性能,特性和成本不同。
EBS卷类型
以下是三种类型。
EBS General Purpose (SSD)
此卷类型适用于中小型工作负载,如根磁盘EC2卷,中小型数据库工作负载,频繁访问工作负载的日志等。默认情况下,SSD支持3 IOPS(每秒输入输出操作)/ GB表示1 GB卷将给出3 IOPS,10 GB的容量将给出30 IOPS。 它的存储容量为1 GB到1 TB。 一个卷的成本是每GB 0.10美元一个月。
Provisioned IOPS (SSD)
此卷类型适用于要求最苛刻的I/O密集型,事务性工作负载和大型关系,EMR和Hadoop工作负载等。默认情况下,IOPS SSD支持30 IOPS/GB意味着10GB容量将提供300 IOPS。 它的存储容量为1GB,容量从10GB到1TB不等。 一个卷的成本为配置存储一个月每GB 0.125美元,一个月每个配置IOPS 0.10美元。
EBS Magnetic Volumes
它以前称为标准卷。 此卷类型适用于不经常访问数据的理想工作负载,即用于恢复的数据备份,日志存储等。其一个卷的存储容量范围为10GB到1TB。 一个卷的成本为每GB 0.05美元,配置存储为一个月,0美元。 每百万个I/O请求中有05个。
附加到一个实例的卷
每个帐户将限制为20个EBS卷。 如需超过20个EBS卷,请联系亚马逊支持团队。 我们最多可以在一个实例上附加20个卷,每个卷的大小范围为1GB到1TB。
在EC2实例中,我们将数据存储在本地存储中,该存储在实例运行之前可用。 但是,当我们关闭实例时,数据会丢失。 因此,当我们需要保存任何内容时,建议将其保存在Amazon EBS上,因为我们可以在将文件附加到EC2实例后随时访问和读取EBS卷。
亚马逊EBS的好处
Reliable and secure storage - 每个EBS卷都将自动响应其可用区,以防止组件故障。
Secure - 亚马逊的灵活访问控制策略允许指定谁可以访问哪些EBS卷。 访问控制和加密为数据提供了强大的纵深防御安全策略。
Higher performance - Amazon EBS使用SSD技术提供具有一致的应用程序I/O性能的数据结果。
Easy data backup - 可以通过获取Amazon EBS卷的时间点快照来保存数据备份。
如何设置Amazon EBS?
Step 1 - 使用以下步骤创建Amazon EBS卷。
打开Amazon EC2控制台。
在导航栏中选择要创建卷的区域。
在导航窗格中,选择Volumes,然后选择Create Volume。
提供所需的信息,如卷类型列表,大小,IOPS,可用区域等,然后单击“创建”按钮。
卷名称可以在卷列表中看到。
Step 2 - 使用以下步骤从快照存储EBS卷。
重复上述1到4步以创建音量。
在要从中还原卷的“快照ID”字段中键入快照ID,然后从建议选项列表中选择它。
如果需要更多存储空间,请在“大小”字段中更改存储大小。
选择是创建按钮。
Step 3 - 使用以下步骤将EBS卷附加到实例。
打开Amazon EC2控制台。
在导航窗格中选择Volumes。 选择一个卷,然后单击“附加卷”选项。
将打开“附加卷”对话框。 输入实例的名称/ ID以在“实例”字段中附加卷,或从建议选项列表中选择它。
单击“附加”按钮。
连接到实例并使卷可用。
Step 4 - 从实例中分离卷。
首先,使用cmd中的命令/ dev/sdh卸载设备。
打开Amazon EC2控制台。
在导航窗格中,选择“卷”选项。
选择一个卷,然后单击Detach Volumes选项。
将打开确认对话框。 单击是,分离按钮进行确认。
Amazon Web Services - Storage Gateway
AWS Storage Gateway提供内部部署IT环境与AWS存储基础架构之间的集成。 用户可以将数据存储在AWS云中,以实现可扩展的数据安全功能和经济高效的存储。
AWS Gateway提供两种类型的存储,即基于卷和基于磁带。
卷网关
此存储类型提供云支持的存储卷,可以从本地应用程序服务器安装为Internet小型计算机系统接口(iSCSI)设备。
Gateway-cached Volumes
AWS Storage Gateway将所有本地应用程序数据存储在Amazon S3的存储卷中。 其存储容量范围从1GB到32TB,最多20个卷,总存储量为150TB。 我们可以使用来自本地应用程序服务器的iSCSI设备附加这些卷。 它有两个类别 -
缓存存储磁盘
每个应用程序都需要存储卷来存储其数据。 此存储类型用于在将数据写入AWS中的存储卷时初始存储数据。 来自缓存存储磁盘的数据正在等待从上传缓冲区上传到Amazon S3。 缓存存储磁盘保留最近访问的数据以进行低延迟访问。 当应用程序需要数据时,首先检查缓存存储磁盘,然后再检查Amazon S3。
确定为缓存存储分配的磁盘空间量的准则很少。 我们应该将现有文件存储大小的至少20%分配为缓存存储。 它应该不仅仅是上传缓冲区。
Upload buffer disk - 此类型的存储磁盘用于在通过SSL连接将数据上载到Amazon S3之前存储数据。 存储网关通过SSL连接将数据从上传缓冲区上传到AWS。
Snapshots - 有时我们需要备份Amazon S3中的存储卷。 这些备份是增量备份,称为snapshots 。 快照作为Amazon EBS快照存储在Amazon S3中。 增量备份意味着新快照仅备份自上次快照以来已更改的数据。 我们可以按计划的时间间隔或根据要求拍摄快照。
Gateway-stored Volumes
激活虚拟机(VM)后,将创建网关卷并将其映射到本地直接连接的存储磁盘。 因此,当应用程序从网关存储卷写入/读取数据时,它会从映射的本地磁盘读取和写入数据。
网关存储卷允许在本地存储主数据,并为本地应用程序提供对整个数据集的低延迟访问。 我们可以将它们作为iSCSI设备安装到本地应用程序服务器。 它的大小范围为1 GB到16 TB,每个网关最多支持12个卷,最大存储容量为192 TB。
Gateway-Virtual Tape Library (VTL)
此存储类型提供虚拟磁带基础架构,可根据业务需求无缝扩展,并消除配置,扩展和维护物理磁带基础架构的运营负担。 每个网关VTL都预先配置了介质更换器和磁带驱动器,这些驱动器可作为iSCSI设备与现有客户端备份应用程序一起使用。 可以根据需要稍后添加磁带盒以存档数据。
架构中使用的术语很少在下面解释。
Virtual Tape - 虚拟磁带类似于物理磁带盒。 它存储在AWS云中。 我们可以通过两种方式创建虚拟磁带:使用AWS Storage Gateway控制台或使用AWS Storage Gateway API。 每个虚拟磁带的大小从100 GB到2.5 TB。 一个网关的大小高达150 TB,一次最多可以有1500个磁带。
Virtual Tape Library (VTL) - 每个网关VTL都带有一个VTL。 VTL类似于带有磁带驱动器的本地物理磁带库。 网关首先在本地存储数据,然后异步上传到VTL的虚拟磁带。
Tape Drive - VTL磁带驱动器类似于可以在磁带上执行I/O操作的物理磁带驱动器。 每个VTL由10个磁带驱动器组成,这些磁带驱动器用作备份应用程序作为iSCSI设备。
Media Changer - VTL媒体转换器类似于在物理磁带库的存储插槽和磁带驱动器中移动磁带的机器人。 每个VTL都配有一个介质更换器,用于备份应用程序作为iSCSI设备。
Virtual Tape Shelf (VTS) - VTS用于将磁带从网关VTL归档到VTS,反之亦然。
Archiving Tapes - 当备份软件弹出磁带时,网关将磁带移动到VTS进行存储。 它用于数据存档和备份。
Retrieving Tapes - 无法直接读取存档到VTS的磁带,因此要读取存档磁带,我们需要使用AWS Storage Gateway控制台或使用AWS Storage Gateway API从网关VTL检索磁带。
Amazon Web Services - CloudFront
CloudFront是CDN (Content Delivery Network) 。 它从Amazon S3存储桶中检索数据并将其分发到多个数据中心位置。 它通过称为edge locations的数据中心网络提供数据。 当用户请求数据时,最近的边缘位置被路由,导致最低延迟,低网络流量,快速访问数据等。
AWS CloudFront如何提供内容?
AWS CloudFront按以下步骤提供内容。
Step 1 - 用户访问网站并请求像图像文件一样下载对象。
Step 2 - DNS将您的请求路由到最近的CloudFront边缘位置以提供用户请求。
Step 3 - 在边缘位置,CloudFront检查其缓存中是否有所请求的文件。 如果找到,则将其返回给用户,否则执行以下操作 -
第一个CloudFront将请求与规范进行比较,并将其转发到适用的原始服务器以获取相应的文件类型。
源服务器将文件发送回CloudFront边缘位置。
一旦第一个字节从原点到达,CloudFront就会开始将其转发给用户,并在有人再次请求同一文件时将文件添加到边缘位置的缓存中。
Step 4 - 对象现在位于边缘缓存中24小时或文件头中提供的持续时间。 CloudFront执行以下操作 -
CloudFront将对象的下一个请求转发到用户的源,以检查边缘位置版本是否已更新。
如果更新了边缘位置版本,则CloudFront会将其传递给用户。
如果未更新边缘位置版本,则origin会将最新版本发送到CloudFront。 CloudFront将对象传递给用户,并将最新版本存储在该边缘位置的缓存中。
CloudFront的功能
Fast - 广泛的边缘位置网络和CloudFront可以将内容副本缓存到最终用户附近,从而降低延迟,提高数据传输速率和降低网络流量。 所有这些都使CloudFront变得更快。
Simple - 易于使用。
Can be used with other AWS Services - Amazon CloudFront的设计方式使其可以轻松地与其他AWS服务集成,如Amazon S3,Amazon EC2。
Cost-effective - 使用Amazon CloudFront,我们只为您通过网络提供的内容付费,无需任何隐藏费用且无需支付前期费用。
Elastic - 使用Amazon CloudFront,我们无需担心维护。 如果需求增加或减少,服务会自动响应是否需要采取任何措施。
Reliable - Amazon CloudFront构建于亚马逊高度可靠的基础架构之上,即如果在某些情况下需要,其边缘位置将自动将最终用户重新路由到下一个最近的位置。
Global - Amazon CloudFront使用位于大多数区域的全球边缘位置网络。
如何设置AWS CloudFront?
可以使用以下步骤设置AWS CloudFront。
Step 1 - 使用以下链接登录AWS管理控制台 - https://console.aws.amazon.com/
Step 2 - 上传Amazon S3并选择公开的每个权限。 (第14章讨论了如何将内容上传到S3存储桶)
Step 3 - 使用以下步骤创建CloudFront Web分配。
使用以下链接打开CloudFront控制台 - https://console.aws.amazon.com/cloudfront/
单击选择内容页面的交付方法的Web部分中的“获取”按钮。
Create Distribution页面打开。 选择在Origin Domain Name中创建的Amazon S3存储桶,并将其余字段保留为默认值。
将打开“默认缓存行为设置”页 将值保持为默认值并移至下一页。
将打开“分发设置”页面。 根据您的要求填写详细信息,然后单击“创建分发”按钮。
“状态”列从“正在进行”更改为“已部署”。 选择“启用”选项以启用分发。 域名在分发列表中可用大约需要15分钟。
测试链接
创建分发后,CloudFront会知道Amazon S3服务器的位置,并且用户知道与分发关联的域名。 但是,我们还可以使用该域名创建指向Amazon S3存储桶内容的链接,并让CloudFront为其提供服务。 这有助于节省大量时间。
以下是链接对象的步骤 -
Step 1 - 将以下HTML代码复制到新文件,并将CloudFront分配给域名的域名写入域名。 在object-name的位置写入Amazon S3存储桶的文件名。
<html>
<head>CloudFront Testing link</head>
<body>
<p>My Cludfront.</p>
<p><img src = "http://domain-name/object-name" alt = "test image"/>
</body>
</html>
Step 2 - 将文本保存在扩展名为.html的文件中。
Step 3 - 在浏览器中打开网页以测试链接以查看它们是否正常工作。 如果没有,则交叉检查设置。
AWS - Relational Database Service
Amazon RDS (Relational Database Service)是一种完全托管的SQL数据库云服务,允许创建和运行关系数据库。 使用RDS,您可以以经济高效且高度可扩展的方式访问您的文件和数据库。
亚马逊RDS的功能
Amazon RDS具有以下功能 -
Scalable - Amazon RDS允许使用AWS管理控制台或RDS特定的API扩展关系数据库。 我们可以在几分钟内增加或减少您的RDS要求。
Host replacement - 有时,当Amazon RDS的硬件发生故障时会出现这些情况。 无需担心,它将自动被亚马逊取代。
Inexpensive - 使用Amazon RDS,我们只为我们消耗的资源付费。 没有前期和长期的承诺。
Secure - Amazon RDS提供对网络的完全控制,以访问其数据库及其相关服务。
Automatic backups - Amazon RDS备份数据库中的所有内容,包括最近五分钟的事务日志,还管理自动备份计时。
Software patching - 自动获取数据库软件的所有最新修补程序。 我们还可以指定何时使用数据库引擎版本管理修补软件。
如何设置Amazon RDS?
Step 1 - 登录AWS管理控制台。 使用以下链接打开Amazon RDS控制台 - https://console.aws.amazon.com/rds/
Step 2 - 在Amazon RDS控制台的右上角选择要创建数据库实例的区域。
Step 3 - 在导航窗格中选择Instances,然后单击Launch DB Instance按钮。
Step 4 - 启动“启动数据库实例向导”。 根据需要选择实例类型,然后单击“选择”按钮。
Step 5 - 在Specify DB Details页面上,提供所需的详细信息,然后单击Continue按钮。
Step 6 - 在Additional configuration页面上,提供启动MySQL数据库实例所需的其他信息,然后单击Continue按钮。
Step 7 - 在管理选项页面上,进行选择并单击继续按钮。
Step 8 - 在Review页面上,验证详细信息并单击Launch DB Instance按钮。
现在,数据库实例显示在数据库实例列表中。
如何将数据库连接到MySQL数据库实例?
以下是在MySQL数据库实例上连接数据库的步骤 -
Step 1 - 在客户端计算机上的命令提示符中键入以下命令,以连接MySQL数据库实例上的数据库(使用MySQL监视器)。
Step 2 - 将“myDBI”替换为数据库实例的DNS名称,将“myusername”替换为主用户名,将“mypassword”替换为主密码。
PROMPT> mysql -h <myDBI> -P 3306 -u <myusername> -p
运行上面的命令后,输出看起来像 -
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 350
Server version: 5.2.33-log MySQL Community Server (GPL)
Type 'help;' or '\h' for help. Type '\c' to clear the buffer.
mysql>
如何删除数据库实例?
完成任务后,我们应该删除数据库实例,因此不会对其收费。 请按照以下步骤删除数据库实例 -
Step 1 - 登录AWS管理控制台并使用以下链接打开Amazon RDS控制台。
https://console.aws.amazon.com/rds/
Step 2 - 在“数据库实例”列表中,选择要删除的数据库实例。
Step 3 - 单击Instance Actions按钮,然后从下拉菜单中选择Delete选项。
Step 4 - 在“创建最终快照”中选择“否”。
Step 5 - 单击是,删除以删除数据库实例。
亚马逊RDS的成本
使用Amazon RDS时,只需支付使用费用,无需支付任何最低费用和设置费用。 结算基于以下标准 -
Instance class - 定价基于所使用的数据库实例的类。
Running time - 价格按实例小时计算,相当于每小时运行一个实例。
Storage - 帐单根据按GB选择的存储容量计划计算。
I/O requests per month - 计费结构还包括计费周期中的存储I/O请求总数。
Backup storage - 备份存储高达100%的数据库无需额外费用。 此服务仅对活动数据库实例免费。
有关最新的更新价格结构和其他详细信息,请访问以下链接 - https://aws.amazon.com/rds/pricing/
Amazon Web Services - DynamoDB
Amazon DynamoDB是一个完全托管的NoSQL数据库服务,允许创建可以存储和检索任意数量数据的数据库表。 它自动管理多个服务器上的表的数据流量并保持性能。 它还使客户免于操作和扩展分布式数据库的负担。 因此,亚马逊管理硬件配置,设置,配置,复制,软件修补,群集扩展等。
如何在计算机上运行DynamoDB?
以下是设置DynamoDB的步骤。
Step 1 - 以下是设置DynamoDB的步骤。
使用以下链接下载DynamoDB(.jar文件)。 它支持多种操作系统,如Windows,Linux,Mac等。
.tar.gz format - http://dynamodb-local.s3-website-us-west2.amazonaws.com/dynamodb_local_latest.tar.gz
.zip format - http://dynamodb-local.s3-website-us-west2.amazonaws.com/dynamodb_local_latest.zip。
下载完成后,提取内容并将解压缩的目录复制到您想要的位置。
打开命令提示符并导航到解压缩DynamoDBLocal.jar的目录,然后执行以下命令 -
java -Djava.library.path=./DynamoDBLocal_lib -jar DynamoDBLocal.jar -sharedDb
现在可以访问内置的javaScript shell。
Step 2 - 使用以下步骤创建表。
打开AWS管理控制台并选择DynamoDB。
选择要创建表的区域,然后单击“创建表”按钮。
“创建表格”窗口打开 将详细信息填入各自的字段,然后单击“继续”按钮。
最后,我们会打开一个审核页面,查看详细信息。 单击“创建”按钮。
现在,表名在列表中可见,并且可以使用Dynamo表。
Amazon DynamoDB的优点
托管service - Amazon DynamoDB是一种托管服务。 没有必要聘请专家来管理NoSQL安装。 开发人员无需担心设置,配置分布式数据库集群,管理正在进行的集群操作等。它可以处理在更多计算机资源上扩展,分区和重新分区数据的所有复杂性,以满足I/O性能要求。
可扩展 - Amazon DynamoDB旨在扩展。 无需担心每个表可以存储的数据量的预定义限制。 可以存储和检索任何数量的数据。 随着表的增长,DynamoDB将随着存储的数据量自动传播。
快速 - Amazon DynamoDB以极低的延迟提供高吞吐量。 随着数据集的增长,由于DynamoDB的数据放置和请求路由算法的分布式特性,延迟保持稳定。
耐用且高度a - 亚马逊DynamoDB在至少3个不同数据中心的结果中复制数据。 即使在各种故障条件下,系统也能运行和提供数据。
灵活:Amazon DynamoDB允许创建动态表,即表可以包含任意数量的属性,包括多值属性。
具有成本效益:付款是我们使用的,没有任何最低费用。 其定价结构简单易行。
Amazon Web Services - Redshift
Amazon Redshift是云中完全托管的数据仓库服务。 它的数据集范围从100千兆字节到1千兆字节。 创建数据仓库的初始过程是启动一组称为nodes的计算资源,这些计算资源被组织成称为cluster 。 之后,您可以处理您的查询。
如何设置Amazon Redshift?
以下是设置Amazon Redshift的步骤。
Step 1 - 使用以下步骤登录并启动Redshift群集。
登录AWS管理控制台并使用以下链接打开Amazon Redshift控制台 - https://console.aws.amazon.com/redshift/
使用屏幕右上角的“区域”菜单选择要创建群集的区域。
单击“启动群集”按钮。
“群集详细信息”页面打开 提供所需的详细信息,然后单击“继续”按钮,直到查看页面。
将打开确认页面。 单击“关闭”按钮完成,以便群集在“群集”列表中可见。
在列表中选择群集,然后查看群集状态信息。 该页面将显示群集状态。
Step 2 - 配置安全组以授权客户端与群集的连接。 授权访问Redshift取决于客户端是否授权EC2实例。
按照以下步骤操作EC2-VPC平台上的安全组。
打开Amazon Redshift Console,然后单击导航窗格上的Clusters。
选择所需的群集。 其配置选项卡打开。
单击“安全”组。
安全组页面打开后,单击“入站”选项卡。
单击“编辑”按钮。 如下所示设置字段,然后单击“保存”按钮。
Type - 自定义TCP规则。
Protocol - TCP。
Port Range - 键入启动集群时使用的相同端口号。 Amazon Redshift的默认端口为5439。
Source - 选择自定义IP,然后键入0.0.0.0/0。
Step 3 - 连接到Redshift群集。
有两种方法可以直接或通过SSL连接到Redshift群集。
以下是直接连接的步骤。
使用SQL客户端工具连接群集。 它支持与PostgreSQL JDBC或ODBC驱动程序兼容的SQL客户端工具。
使用以下链接下载 - JDBC https://jdbc.postgresql.org/download/postgresql-8.4-703.jdbc4.jar
用于64位机器的ODBC https://ftp.postgresql.org/pub/odbc/versions/msi/psqlodbc_08_04_0200.zip或http://ftp.postgresql.org/pub/odbc/versions/msi/psqlodbc_09_00_0101x64.zip
使用以下步骤获取连接字符串。
打开Amazon Redshift控制台,然后在“导航”窗格中选择“群集”。
选择所选群集,然后单击“配置”选项卡。
将打开一个页面,如以下屏幕截图所示,其中包含Cluster Database Properties下的JDBC URL。 复制URL。
使用以下步骤将Cluster与SQL Workbench/J连接。
打开SQL Workbench/J.
选择“文件”,然后单击“连接”窗口。
选择创建新的连接配置文件并填写所需的详细信息,如名称等。
单击管理驱动程序和管理驱动程序对话框打开
单击“创建新条目”按钮并填写所需的详细信息。
单击文件夹图标并导航到驱动程序位置。 最后,单击“打开”按钮。
将“类名”框和“示例URL”框保留为空。 单击确定。
从列表中选择驱动程序。
在URL字段中,粘贴复制的JDBC URL。
输入各自字段的用户名和密码。
选择“自动提交”框,然后单击“保存配置文件列表”。
Amazon Redshift的功能
以下是Amazon Redshift的功能 -
Supports VPC - 用户可以在VPC内启动Redshift,并通过虚拟网络环境控制对群集的访问。
Encryption - 在Redshift中创建表时,可以加密和配置存储在Redshift中的数据。
SSL - SSL加密用于加密客户端和Redshift之间的连接。
Scalable - 只需点击几下,就可以根据需要在Redshift数据仓库中轻松扩展节点数量。 它还允许扩展存储容量而不会降低性能。
Cost-effective - Amazon Redshift是传统数据仓库实践的经济高效的替代方案。 没有前期成本,没有长期承诺和按需定价结构。
Amazon Web Services - Kinesis
Amazon Kinesis是一种托管,可扩展,基于云的服务,允许实时处理每秒流式传输大量数据。 它专为实时应用程序而设计,允许开发人员从多个来源接收任何数量的数据,可以在EC2实例上运行扩展和缩小。
它用于从大型分布式流(如事件日志和社交媒体源)捕获,存储和处理数据。 处理完数据后,Kinesis会同时将其分发给多个消费者。
如何使用亚马逊KCL?
它用于我们需要快速移动数据及其连续处理的情况。 Amazon Kinesis可用于以下情况 -
Data log and data feed intake - 我们无需等待批量处理数据,我们可以在数据生成后立即将数据推送到Amazon Kinesis流。 它还可以在数据生产者失败时保护数据丢失。 例如:系统和应用程序日志可以连续添加到流中,并在需要时可以在几秒钟内可用。
Real-time graphs - 我们可以使用Amazon Kinesis流提取图表/指标来创建报告结果。 我们不需要等待数据批量。
Real-time data analytics - 我们可以使用Amazon Kinesis运行实时流数据分析。
亚马逊Kinesis的限制?
以下是使用Amazon Kinesis Streams时应牢记的一些限制 -
默认情况下,流的记录最多可以访问24小时,并且可以通过启用扩展数据保留最多延长7天。
一条记录中数据blob(Base64编码前的数据有效负载)的最大大小为1兆字节(MB)。
一个分片每秒最多支持1000个PUT记录。
有关限制的更多信息,请访问以下链接 - https://docs.aws.amazon.com/kinesis/latest/dev/service-sizes-and-limits.html
如何使用Amazon Kinesis?
以下是使用Amazon Kinesis的步骤 -
Step 1 - 使用以下步骤设置Kinesis Stream -
登录AWS账户。 从Amazon Management Console中选择Amazon Kinesis。
单击“创建”流并填写所需的字段,例如流名称和分片数。 单击“创建”按钮。
现在,流将在流列表中可见。
Step 2 - 在Kinesis流上设置用户。 创建新用户并为每个用户分配策略。(我们已经讨论了创建用户并为其分配策略的上述过程)
Step 3 - 将您的应用程序连接到Amazon Kinesis; 在这里,我们将Zoomdata连接到Amazon Kinesis。 以下是连接的步骤。
以管理员身份登录Zoomdata,然后单击菜单中的Sources。
选择Kinesis图标并填写所需的详细信息。 单击“下一步”按钮。
在“流”选项卡上选择所需的流。
在“字段”选项卡上,根据需要创建唯一标签名称,然后单击“下一步”按钮。
在“图表”选项卡上,启用数据图表。 根据需要自定义设置,然后单击“完成”按钮以保存设置。
亚马逊Kinesis的特点
Real-time processing - 它允许像股票交易价格一样实时收集和分析信息,否则我们需要等待数据输出报告。
Easy to use - 使用Amazon Kinesis,我们可以创建新流,设置其要求,并快速开始流式传输数据。
High throughput, elastic - 它允许实时收集和分析信息,如股票交易价格,否则我们需要等待数据输出报告。
Integrate with other Amazon services - 它可以与Amazon Redshift,Amazon S3和Amazon DynamoDB集成。
Build kinesis applications - Amazon Kinesis为开发人员提供了客户端库,可以实现实时数据处理应用程序的设计和操作。 将Amazon Kinesis客户端库添加到Java应用程序,它将在新数据可用于处理时通知。
Cost-efficient - 亚马逊Kinesis适用于任何规模的工作负载,具有成本效益。 支付所使用的资源,并按小时支付所需的吞吐量。
Amazon Web Services - Elastic MapReduce
Amazon Elastic MapReduce (EMR)是一种Web服务,它提供了一个托管框架,以简单,经济高效且安全的方式运行Apache Hadoop,Apache Spark和Presto等数据处理框架。
它用于数据分析,Web索引,数据仓库,财务分析,科学模拟等。
如何设置Amazon EMR?
请按照以下步骤设置Amazon EMR -
Step 1 - 登录AWS账户并在管理控制台上选择Amazon EMR。
Step 2 - 为群集日志和输出数据创建Amazon S3存储桶。 (程序在Amazon S3部分详细说明)
Step 3 - 启动Amazon EMR集群。
以下是创建集群并将其启动到EMR的步骤。
使用此链接打开Amazon EMR控制台 - https://console.aws.amazon.com/elasticmapreduce/home
选择create cluster并在Cluster Configuration页面上提供所需的详细信息。
将“标记”部分选项保留为默认值并继续。
在“软件配置”部分,将选项调整为默认值。
在“文件系统配置”部分,保留默认设置的EMRFS选项。 EMRFS是HDFS的一种实现,它允许Amazon EMR集群在Amazon S3上存储数据。
在“硬件配置”部分,在EC2实例类型字段中选择m3.xlarge,并将其他设置保留为默认值。 单击“下一步”按钮。
在“安全和访问”部分,对于EC2密钥对,从EC2密钥对字段的列表中选择该对,并将其他设置保留为默认值。
在“引导操作”部分,将字段保留为默认设置,然后单击“添加”按钮。 引导操作是在Hadoop在每个群集节点上启动之前在设置期间执行的脚本。
在“步骤”部分,将设置保留为默认值并继续。
单击“创建群集”按钮,将打开“群集详细信息”页 这是我们应该将Hive脚本作为集群步骤运行并使用Hue Web界面查询数据的地方。
Step 4 - 使用以下步骤运行Hive脚本。
打开Amazon EMR控制台并选择所需的群集。
移至“步骤”部分并展开它。 然后单击“添加步骤”按钮。
将打开“添加步骤”对话框。 填写必填字段,然后单击“添加”按钮。
要查看Hive脚本的输出,请使用以下步骤 -
打开Amazon S3控制台并选择用于输出数据的S3存储桶。
选择输出文件夹。
查询将结果写入单独的文件夹。 选择os_requests 。
输出存储在文本文件中。 该文件可以下载。
亚马逊EMR的好处
以下是亚马逊EMR的好处 -
Easy to use - Amazon EMR易于使用,即易于设置群集,Hadoop配置,节点配置等。
Reliable - 从重试失败的任务并自动替换性能不佳的实例的意义上讲它是可靠的。
Elastic - Amazon EMR允许计算大量实例以处理任何规模的数据。 它可以轻松增加或减少实例数量。
Secure - 它自动配置Amazon EC2防火墙设置,控制对实例的网络访问,在Amazon VPC中启动集群等。
Flexible - 它允许完全控制集群和对每个实例的root访问权限。 它还允许安装其他应用程序并根据要求自定义群集。
Cost-efficient - 其定价易于估算。 它每小时收取一次使用的实例。
Amazon Web Services - Data Pipeline
AWS Data Pipeline是一种Web服务,旨在使用户能够更轻松地集成跨多个AWS服务的数据,并从单个位置对其进行分析。
使用AWS Data Pipeline,可以从源访问数据,进行处理,然后将结果有效地传输到相应的AWS服务。
如何设置数据管道?
以下是设置数据管道的步骤 -
Step 1 - 使用以下步骤创建管道。
登录AWS账户。
使用此链接打开AWS Data Pipeline控制台 - https://console.aws.amazon.com/datapipeline/
在导航栏中选择区域。
单击“创建新管道”按钮。
在相应字段中填写所需的详细信息。
在“源”字段中,选择“使用模板构建”,然后选择此模板 - 使用ShellCommandActivity入门。
仅当选择模板时,“参数”部分才会打开。 保留S3输入文件夹和Shell命令以使用其默认值运行。 单击S3输出文件夹旁边的文件夹图标,然后选择存储桶。
在Schedule中,将值保留为默认值。
在管道配置中,将日志记录保留为已启用。 单击S3 location下的文件夹图标以获取日志,然后选择存储桶。
在Security/Access中,将IAM角色值保留为默认值。
单击“激活”按钮。
如何删除管道?
删除管道也将删除所有关联的对象。
Step 1 - 从管道列表中选择管道。
Step 2 - 单击“操作”按钮,然后选择“删除”。
Step 3 - 打开确认提示窗口。 单击删除。
AWS Data Pipeline的功能
Simple and cost-efficient - 其拖放功能使您可以轻松地在控制台上创建管道。 它的可视化管道创建者提供了一个管道模板库。 这些模板可以更轻松地为处理日志文件,将数据存档到Amazon S3等任务创建管道。
Reliable - 其基础架构专为容错执行活动而设计。 如果活动逻辑或数据源发生故障,则AWS Data Pipeline会自动重试该活动。 如果故障仍然存在,那么它将发送故障通知。 我们甚至可以为成功运行,失败,活动延迟等情况配置这些通知警报。
Flexible - AWS Data Pipeline提供各种功能,如调度,跟踪,错误处理等。它可以配置为执行诸如运行Amazon EMR作业,直接对数据库执行SQL查询,执行在Amazon EC2上运行的自定义应用程序等操作。
Amazon Web Services - Machine Learning
Amazon Machine Learning是一种服务,允许通过使用算法,基于用户数据的数学模型开发预测应用程序。
Amazon Machine Learning通过Amazon S3,Redshift和RDS读取数据,然后通过AWS管理控制台和Amazon Machine Learning API可视化数据。 可以通过S3存储桶将此数据导入或导出到其他AWS服务。
它使用“行业标准逻辑回归”算法生成模型。
亚马逊机器学习执行的任务类型
Amazon Machine学习服务可以执行三种不同类型的任务 -
二元分类模型可以预测两种可能结果中的一种,即是或否。
多类分类模型可以预测多种条件。 例如,它可以跟踪客户的在线订单。
回归模型产生精确值。 回归模型可以预测产品的最畅销价格或销售的单位数量。
如何使用亚马逊机器学习?
Step 1 - 登录AWS账户并选择机器学习。 单击“开始”按钮。
Step 2 - 选择“标准设置”,然后单击“启动”。
Step 3 - 在输入数据部分,填写所需的详细信息并选择数据存储选项,S3或Redshift。 单击“验证”按钮。
Step 4 - S3位置验证完成后,将打开Schema部分。 根据要求填写字段,然后继续下一步。
Step 5 - 在Target部分中,重新选择Schema部分中选择的变量,然后继续下一步。
Step 6 - 在“行ID”部分中将值保留为默认值,然后继续执行“查看”部分。 验证详细信息,然后单击“继续”按钮。
以下是机器学习服务的一些截图。
Data Set Created by Machine Learning
Summary Made by Machine Learning
Exploring Performance Using Machine Learning
亚马逊机器学习的特点
Easy to create machine learning models - 可以使用Amazon S3,Amazon Redshift,Amazon RDS中存储的数据轻松创建ML模型,并使用Amazon ML API和向导查询这些模型以进行预测。
High performance - 可以进一步使用Amazon ML预测API为应用程序生成数十亿的预测。 我们可以在交互式Web,移动或桌面应用程序中使用它们。
Cost-efficient - 只需支付我们使用的费用,无需任何安装费用和预先承诺。
AWS - Simple WorkFlow Service
以下服务属于“应用服务”部分 -
- 亚马逊CloudSearch
- 亚马逊简单队列服务(SQS)
- 亚马逊简单通知服务(SNS)
- 亚马逊简单电子邮件服务(SES)
- 亚马逊SWF
在本章中,我们将讨论Amazon SWF。
Amazon Simple Workflow Service (SWF)是一种基于任务的API,可以轻松协调跨分布式应用程序组件的工作。 它提供了一种编程模型和基础结构,用于协调分布式组件并以可靠的方式维护其执行状态。 使用Amazon SWF,我们可以专注于构建区分它的应用程序的各个方面。
workflow是一组执行某些目标的活动,包括协调活动以实现所需输出的逻辑。
Workflow history包括自工作流程执行开始以来发生的每个事件的完整且一致的记录。 它由SWF维护。
如何使用SWF?
Step 1 - 登录AWS账户并在服务仪表板上选择SWF。
Step 2 - 单击“启动示例演练”按钮。
Step 3 - 打开“运行示例工作流”窗口。 单击“开始”按钮。
Step 4 - 在“创建域”部分中,单击“创建新域”单选按钮,然后单击“继续”按钮。
Step 5 - 在注册部分,阅读说明,然后单击继续按钮。
Step 6 - 在“部署”部分中,选择所需选项,然后单击“继续”按钮。
Step 7 - 在Run an Execution部分中,选择所需选项,然后单击Run the Execution按钮。
最后,将创建SWF并将在列表中提供。
Amazon SWF的好处
它使应用程序成为无状态,因为有关工作流程执行的所有信息都存储在其工作流程历史记录中。
对于每个工作流程执行,历史记录提供已安排的活动,其当前状态和结果的记录。 工作流程执行使用此信息来确定后续步骤。
历史记录提供了详细步骤,可用于监视正在运行的工作流程执行并验证已完成的工作流程执行。
Amazon Web Services - WorkMail
Amazon WorkMail以前称为Zocalo。 它是一个在云中运行的托管电子邮件和日历服务。 它提供安全控制,旨在与您现有的PC和基于Mac的Outlook客户端一起使用,包括预先打包的即点即用版本。 它还适用于使用Exchange ActiveSync协议的移动客户端。
其迁移工具允许将邮箱从本地电子邮件服务器移动到服务,并与支持Microsoft Exchange ActiveSync协议的任何设备一起使用,例如Apple的iPad和iPhone,Google Android和Windows Phone。
如何使用亚马逊WorkMail?
Step 1 - 使用以下链接登录AWS账户并打开Amazon WorkMail控制台 - https://console.aws.amazon.com/workmail/
Step 2 - 单击“开始”按钮。
Step 3 - 选择所需选项,然后从导航栏右上角选择“区域”。
Step 4 - 填写所需的详细信息,然后继续下一步以配置帐户。 按照说明操作。 最后,邮箱将如下面的屏幕截图所示。
亚马逊WorkMail的功能
Secure - Amazon WorkMail使用AWS密钥管理服务使用加密密钥自动加密整个数据。
Managed - 亚马逊WorkMail提供对电子邮件的完全控制,无需担心安装软件,维护和管理硬件。 Amazon WorkMail自动处理所有这些需求。
Accessibility - Amazon WorkMail支持Windows和Mac OS X上的Microsoft Outlook。因此,用户可以使用现有的电子邮件客户端,而无需任何其他要求。
Availability - 用户可以在任何地方使用Microsoft Exchange ActiveSync协议将电子邮件,联系人和日历与iOS,Android,Windows Phone等同步。
Cost-efficient - 亚马逊WorkMail每个用户每月收费4美元,最高可达50GB存储空间。