您当前的位置:世界科技网资讯正文

AWS宁夏区域上线两项新服务AWSGlue和AmazonAthena

2020-03-24 19:09:30  阅读:3119 作者:责任编辑NO。石雅莉0321

3月24日,AWS今日宣告,AWSGlue、AmazonAthena在由西云数据运营的AWS我国(宁夏)区域正式上线。

AWSGlue全新的ETL服务

据介绍,AWSGlue是一种全保管的数据提取、转化和加载(ETL)服务及元数据目录。它让客户更简略预备数据,加载数据到数据库、数据仓库和数据湖,用于数据剖析。运用AWSGlue,在几分钟之内便能够预备好数据用于剖析。由于AWSGlue是无服务器服务,客户在履行ETL使命时,只需要为他们所耗费的核算资源付费。

客户在运用数据湖架构完成数据剖析处理方案时,一般有75%的时刻花在数据集成使命上,需要从各种数据源提取数据,对其进行规范化,并将其加载到数据存储中。AWSGlue消除了ETL作业基础设施方面的一切重复劳动,让AmazonS3数据湖中的数据集能够被发现、可用于查询和剖析,极大地缩短剖析项目中做ETL和数据编目阶段的时刻,让ETL变得很简略。

详细而言,AWSGlue在从客户挑选的数据源把数据爬取出来之后,会主动识别数据格式和形式(schema),构建一致的数据目录,并为客户供给所选数据的中心视图。这使得客户很简略跨过各种数据存储,检索和办理一切数据,而不用手动转移它们。当客户从数据目录中标识出数据源(例如一个数据库表)和数据方针(例如一个数据仓库)时,AWSGlue将匹配相应的形式,生成可定制、可重用、可移植、可同享的数据转化代码。开发人员能够调度恣意数量的ETL作业,AWSGlue则会办理其他的作业,依照每个客户ETL作业负载主动启用或封闭核算资源。经过简化创立ETL作业的进程,AWSGlue让客户能够构建可弹性、牢靠的数据预备渠道。这些渠道能够跨过数千个ETL作业,具有内置的依赖性解析、调度、资源办理和监控功用。

据了解,现在包含德比软件、嘉云数据、壳木软件和趣加等在内的许多我国客户都在运用AWSGlue处理杂乱的数据应战。

AmazonAthena全新的即用即付交互式查询服务

据介绍,AmazonAthena是一种交互式查询服务,它让客户能够正常的运用规范SQL言语、轻松剖析AmazonSimpleStorageService(AmazonS3)中的数据。由于Athena是一种无服务器服务,因而客户不需要办理基础设施,并且只为他们运转的查询付费。Athena能够主动扩展,并行履行查询,所以即便是大型数据集和杂乱的查询,也能很快取得查询成果。

详细而言,AWS供给了比如AmazonRedshift和AmazonElasticMapReduce(AmazonEMR)等剖析服务,让各种规划的公司都能轻松完成PB级数据的剖析。经过AmazonRedshift,客户能够对大规划的结构化数据履行杂乱的查询,并取得超高速的功能。关于非结构化数据,AmazonEMR运用盛行的分布式结构,例如ApacheSpark、Presto、Hive和Pig,横跨多个可动态弹性的集群,处理和剖析很多数据,快速又经济。尽管这些服务是可弹性的,并且满足强壮到能够处理大且杂乱的大数据运用,可是,许多客户也期望能够很快地查询AmazonS3上的数据,例如web日志、点击流、原始日志文件等,而无需敞开、装备和办理Hadoop集群或数据仓库。现在,运用Athena剖析AmazonS3中的数据就像编写SQL查询相同简略。Athena运用完好支撑规范SQL的Presto,能够处理各种规范数据格式,包含CSV、JSON、ORC和Parquet。由于Athena运用多个可用区的核算资源履行查询,并且运用AmazonS3作为底层数据存储,所以它具有高可用性和持久性,数据冗余存储在多处基础设施中,并且是每处基础设施上的多个设备上。

据悉,凭仗快速、易用、经济和灵敏的特性,AmazonAthena现已取得茄子快传、大宇无限、汇量科技、壳木软件等许多我国客户的信任。

“如果发现本网站发布的资讯影响到您的版权,可以联系本站!同时欢迎来本站投稿!