Presto-Amazon Kinesis连接器实现了流数据交互式查询
发表于 21:40|
作者Qubole
摘要：Amazon Kinesis 是一项可伸缩的，完全托管业务，可以流化大规模的分布式数据集。随着各种应用（特别是那些运行在移动和可穿戴设备上的）开始收集越来越多的数据，Amazon Kinesis正在成为将数据摄入AWS的起始点。
是一项可伸缩的，完全托管业务，可以流化大规模的分布式数据集。随着各种应用（特别是那些运行在移动和可穿戴设备上的）开始收集越来越多的数据，Amazon
Kinesis正在成为将数据摄入AWS的起始点。但是，所有那些数据只有在其可以被分析并用来影响商业决策时才是有用的。很多解决方案因以各种方式处理数据而可以消耗Kinesis流，但是没有一种解决方案能够使用SQL提供近乎实时的Kinesis查询。在Qubole的我们意识到了这一点，并从事于针对Kinesis的Presto连接器的研究。
旨在满足交互式，近乎实时的SQL查询场景。最初是由Facebook开发并开放其资源代码，从那时起Presto已经广泛地被诸如Netflix，Dropbox和Airbnb这样的组织采用去交互性地查询千万亿字节规模的数据集。在Qubole，我们在AWS上提供
（Presto即服务），所以我们的终端客户，典型的客户是数据科学家和商业分析师，可以轻松地开始交互式SQL查询。Qubole管理底层的Presto集群配置，自动提供和伸缩集群规模来满足任务要求。
我们的大部分客户在亚马逊S3中存储数据，使用Presto，Hive，Spark和MapReduce（Qubole将所有这些以服务的形式提供）共同完成交互式的批量工作负载。但是，随着Presto实现了快速的交互式处理，我们越来越多地从客户那里听到实时流数据源（例如Amazon
Kinesis）查询的需求。为了满足这一需求，我们为Presto构建了
（开放源连接器），从Kinesis直接读取和查询数据。下面的图展示了连接器的工作原理（该草图是受Martin
Kleppman的博客启发）。
用户应用将数据推入Kinesis碎片。Presto集群包括很多处理进程和一个协调器进程。Kinesis连接器将每一个碎片映射到一个处理进程，每个处理进程使用
API从碎片中读取数据。Kinesis中的每条记录只是一个二进制对象，连接器必须被告知如何将其作为一张逻辑表进行翻译。用户，作为表定义（后面会讲到）的一部分，告诉连接器如何翻译这个对象。然后连接器将Kinesis记录翻译成表记录，然后表记录会在Presto引擎中经过不同的查询阶段被处理。每一个处理进程也会视需要在DynamoDB表中记录它们在每一个碎片中已读取了多少数据。这在本篇文章稍后描述的检查点特性中也被用到。
我们使用一个示例应用展示在Qubole范围内该连接器的能力。该应用将会把我们带回到90年代，当时NASA( 美国国家航空和宇宙航行局)向位于佛罗里达的NASA肯尼迪航天中心的万维网服务器发出公开的HTTP请求。为了能返回那个年代，遵循下面的步骤。
1.你需要一个AWS账户来访问Kinesis数据流。确保你创建数据的这台电脑可以通过
叙述的设置访问Kinesis。例如，你可以设置环境变量AWS_ACCESS_KEY_ID和AWS_SECRET_ACCESS_KEY。
2.下载，构建，解压缩
工具。使用这个工具创建名为nasahttp的Amazon Kinesis数据流，并将JSON形式的http日志推入数据流中。你可以使用sample_data.txt作为种子数据。
localhost datagen-0.0.1-SNAPSHOT]$ ./bin/kinesis-datagen -f etc/sample_data.txt -create -n nasahttp -s 1
Jun 29, 11:01:26 AM com.qubole.kinesis.nasa.DataGenerator safeDeleteStream INFO: trying to delete nasahttp
Jun 29, 11:01:32 AM com.qubole.kinesis.nasa.DataGenerator safeDeleteStream INFO: stream nasahttp not found
Jun 29, 11:01:36 AM com.qubole.kinesis.nasa.DataGenerator safeCheckStream INFO: waiting for stream to become active
Jun 29, 11:01:36 AM com.qubole.kinesis.nasa.DataGenerator safeCheckStream INFO: CREATING
Jun 29, 11:01:38 AM com.qubole.kinesis.nasa.DataGenerator safeCheckStream INFO: CREATING
Jun 29, 11:02:25 AM com.qubole.kinesis.nasa.DataGenerator safeCheckStream INFO: ACTIVE
Jun 29, 11:02:25 AM com.qubole.kinesis.nasa.DataGenerator pushRecords INFO: opening file etc/sample_data.txt
Jun 29, 11:02:25 AM com.qubole.kinesis.text.FileLineReader end INFO: records = 9
Jun 29, 11:02:25 AM com.qubole.kinesis.executor.StreamProducerRunnable run INFO: producer is done
Jun 29, 11:02:25 AM com.qubole.kinesis.executor.StreamExperiment runExperiment INFO: producer is done
Jun 29, 11:02:25 AM com.qubole.kinesis.executor.StreamExperiment runExperiment INFO: waiting for consumers to finish
Jun 29, 11:02:25 AM com.qubole.kinesis.nasa.RecordParser parseRecord SEVERE: unable to parse:
Jun 29, 11:02:26 AM com.qubole.kinesis.executor.StreamConsumerRunnable run INFO: no-op count 1
Jun 29, 11:02:26 AM com.qubole.kinesis.executor.StreamExperiment runExperiment INFO: Produced 9 records
Jun 29, 11:02:26 AM com.qubole.kinesis.executor.StreamExperiment runExperiment INFO: Consumed 9 records
Jun 29, 11:02:26 AM com.qubole.kinesis.executor.StreamExperiment runExperiment INFO: Total time 1. seconds
Jun 29, 11:02:26 AM com.qubole.kinesis.executor.StreamExperiment runExperiment INFO: Records per second 7.8225
3.要创建一个更大的数据流，从这里下载NASA HTTP请求。你可以使用这些文件作为示例文件来填充数据发生器。
4.在Qubole中注册一个账户，使用Qubole的Presto即服务。你可以输入你的AWS证书，访问你创建的Amazon Kinesis数据流。这篇简短的指南将会指导你如何设置你的Presto集群。
5.一旦你在Qubole创建了账户，你就会在你的Clusters页面看到自动配置的Presto集群。点击编辑图标，查看集群配置详情并滚动到Presto
Settings部分。
6.在这一部分，你可以输入以下文本。你可以阅读维基百科页的
部分来详细地理解该文本的含义。
config.properties:
datasources=jmx,hive,kinesis
catalog/kinesis.properties:
connector.name=kinesis
kinesis.table-names=nasahttp
kinesis/nasahttp.json:
"tableName": "nasahttp",
"schemaName": "default",
"streamName": "nasahttp",
"message": {
"dataFormat": "json",
"fields": [
{"name": "host", "mapping": "host", "type": "VARCHAR"},
{"name": "at", "mapping": "timestamp", "type": "VARCHAR"},
{"name": "request", "mapping": "request", "type": "VARCHAR"},
{"name": "code", "mapping": "code", "type": "BIGINT"},
{"name": "bytes", "mapping": "bytes", "type": "BIGINT"}
7.返回到Analyze页面，构建针对该表的Presto命令。下面的截图展示了Analyze页面的各个组成部分。第一个Presto查询将会启动集群，启动过程可能持续大约2分钟。在查询进行过程中你将会看到包含进程信息的日志，查询完成后，你将会看到查询结果。该示例中的查询结果列出了向HTTP服务器请求最多字节的主机。
select host, sum(bytes) as total_bytes from kinesis.default.nasahttp group by host order by total_bytes desc limit 2;
祝贺你！你刚刚已使用Presto对Amazon Kinesis数据流进行了你的第一次SQL查询。你可以使用相同的kinesis-datagen工具（不要使用-create选项）将附加的数据插入到Kinesis中，重新进行同样的查询。你将会在total_bytes列看到不同的数字。
Presto-Amazon Kinesis连接器也支持检查点查询。如果你想查询自上次查询以来的增量数据，你可以使用该特性。例如，你可以使用该特性创建一个仪表板来显示每分钟内的前五名请求者。你可以
检查点文档来查看如何使用该特性。
该连接器是开源的（使用Apache许可证），可从
文件向你描述了如何创建针对特定Presto版本的连接器和如何安装二进制文件。
维基百科页将会向你展示正确的配置元素，使你能够连接到Amazon Kinesis。
维基百科页则向你展示了如何描述Presto-Amazon Kinesis表，包括数据格式和字段映射。你也可以发现关于如何在你的笔记本电脑或集群中安装和运行Presto的说明。
最后，Amazon Kinesis只能将数据保存特定的期限。每天将数据以更适于分析的格式，如ORC或Parquet，卸载到S3中，是很令人满意的。Hive很适合这个使用案例。我们已经构建了Amazon
Kinesis存储处理器（可从
上获取），并开放其资源代码。该存储处理器可在Hive中使用，从Amazon Kinesis中直接查询，并以优化的格式，像ORC或Parquet，将查询结果写入到HDFS或S3中的分段表中。该连接器也支持设置检查点的Amazon
Kinesis访问，确保数据一旦做过历史分析就会被准确地写出。
原文链接：&
活动推荐：
& & & & & & & &&& & & & & & & & && & & & & & & &&
& （ 翻译/李贻丽& 责编/王鑫贺 ）
订阅“AWS中文技术社区”微信公众号，实时掌握AWS技术及产品消息！
AWS中文技术社区为广大开发者提供了一个Amazon Web Service技术交流平台，推送AWS最新资讯、技术视频、技术文档、精彩技术博文等相关精彩内容，更有AWS社区专家与您直接沟通交流！快加入AWS中文技术社区，更快更好的了解AWS云计算技术。
推荐阅读相关主题：
CSDN官方微信
扫描二维码,向CSDN吐槽
微信号：CSDNnews
相关热门文章已关闭评论
　　北京时间9月4日早间消息，苹果公司刚刚把Siri的负责人从内容主管艾迪?库伊（Eddy
Cue）变成操作系统主管克雷格?费德里奇（Craig
Federighi），表明该公司希望将语音助手更加深入地整合到核心操作系统，以应对谷歌和亚马逊的挑战。
克雷格?费德里奇
　　苹果已经更新了公司高管页面。该公司发言人也证实此事，但并未发表更多评论。
　　库伊是苹果高级副总裁，自时任苹果软件主管的斯科特?福斯特(603806,股吧)尔（Scott
Forestall）2012年被CEO蒂姆?库克（Tim Cook）解雇后，他便一直负责Siri。
　　库伊在苹果内部以擅长达成内容交易而著称，他曾经在iTunes时代帮助该公司与唱片公司签订重要交易，最近还帮助Apple
Music及其电视内容业务签订了流媒体协议。但库伊也负责iCLoud等苹果互联网服务。
　　但最近几年，苹果开始将语音助手更加深度整合到iOS和macOS中，增加了日程安排等功能，还将其引入笔记本电脑。Siri现在可以控制第三方应用完成约车和订餐等业务。
　　费德里奇也是苹果高级副总裁，主要负责上述操作系统。
　　此次变化正值苹果在语音助手市场面临激烈竞争之际。尽管苹果在2011年率先引入语音助手，但亚马逊Alaxa、微软Cortana和谷歌语音助手都已经迅速壮大，吸引了消费者的关注。
　　亚马逊和谷歌都发布了内置语音助手的智能音箱。亚马逊甚至开始在470家全食超市门店内出售搭载Alexa的Echo设备。
　　苹果今年圣诞购物季也将参与这场大战，销售内置Siri的HomePod智能音箱。
（责任编辑：程璐 HA010）
文章转载网络，如有版权问题请联系删除AmazonBasics 蓝牙 音频 连接器 开箱_开箱晒物_什么值得买
AmazonBasics 蓝牙 音频 连接器 开箱
& &最近入了一对音箱放在客厅看电影用，但平时只是听歌的时候如果把手机连着音箱就不能拿着手机玩了，很不方便，萌生了购买一个蓝牙音频连接器的想法，于是开始了苦苦寻找合适的型号与纠结。。。选购& &如果要追求蓝牙播放的音质，apt-x这个格式基本是最好的（按数据的话年初发布的LDAC基本是蓝牙音频传输的顶级规范，但普及率低得不行，基本只有索尼自家用上），市场上比较靠谱的有2歀产品，一款是的YBA-11，但只有同轴数字输出，也就是说必须配解码器使用，美亚最低有到差不多30刀,但近期价格是45.45刀，转运到手大概要300+，不想等底价还是算了。。。不然降价了心里不平衡啊，另外300+可以上淘宝买下面BOSE的二手货了（很新的成色）&Yamaha YBA-11&& 另一款是BOSE的蓝牙连接器:淘宝全新价440左右，接近海淘价格，淘宝也有二手的330左右，成色也还凑合&& 本想买这款BOSE的，美亚60刀，转运到手410左右，淘宝也有接近海淘价格的新货和300+的二手货(搜索关键词：BOSE 蓝牙 适配器)，但看了一下带aptx传输协议的S1000价格，直接扰动了我的购买动力。。。& 仔细想想，我把音频从手机上搞到音箱上出来主要目的是什么？其实音质能比手机外放好一些就能接受，如果真有高音质的需求，还是解码器靠谱，于是，我开始寻找一款性价比高的蓝牙音频适配器。。。& 期间，我还在淘宝上看了wifi音频连接器(搜索关键词：wifi 音频 连接器)，评价基本可以判定目前那些产品不靠谱(不是差评比利，现在淘宝很多都是刷单，好评的真实性比较难评估，真有用的其实是中差评是否客观)；另外淘宝上有200+的国产品牌蓝牙连接器，自称带aptx，但百度一下拆解图，那芯片就不支持aptx的。。。& 淘宝上有买带APTX的CSR芯片的成品电路板售卖，可以直接看到芯片型号，所以是否支持aptx一看便知（可以去CSR官网查看芯片是否支持APTX，并非所有的CSR芯片都支持APTX)&关键词：CSR APT-X 蓝牙 接收&&这个比较适合用于汽车改装，鉴于评价里提及抗干扰不行云云，我最终还是放弃了。& 某宝里评论让我开始将注意力转向美亚海淘，发现Basics出了一款蓝牙连接器，之前买过AmazonBasics的电池，用下来感觉很不错，靠谱货的赶脚，另外美亚对这货的评价对这货的评价蛮不错，决定搞下此货（中亚海外购也有这个的）。&&中亚海外购&美亚链接&开箱：& &&AmazonBasics系列一如既往的简洁包装& &箱内货物& 蓝牙连接器的底部& 电源& 随机附带的3.5转RCA& 注意：这货不是配合耳机用的，是配合有源音箱或者使用的，这也是配的是RCA接头的原因，说明书里写着&Note: Designed for use with receiver or speaker only.&没看说明书时我拿来连耳机了。。。然后结果是音量一大就爆音。。。连接音箱时没有任何问题& 正面照，原谅我不想撕掉保护膜。。背面和官网是一样的，从左到右依次是配对、电源输入、音频输出& 使用的时候蓝灯会闪烁（尚未链接蓝牙设备）或常亮（蓝牙设备已链接），蓝牙配对时该设备的名称是“Amazon_Basic”& 使用评测：& 音质：感觉不会比手机3.5音频接口出来连接到音箱上的差，甚至还会更好一点，不知道蓝牙音频传输的时候解码是不是在AmazonBasic这个设备上进行的，音质能接受，但和解码器上比起来肯定有差距，但是手机直接输出也是和解码器差距不小的，所以我的要求是不比手机3.5输出接音箱的效果差很多，但现在的情况是感觉还好一点或者说差不多，这是最关键的一点& 距离：没有障碍物时完全能达到说明书里标称的10米，但不能穿墙，实测穿墙能链接，但声音断续太明显了，手机放在木质桌上5米没问题& 多人配对：这方面有欠缺，如果第一台设备链接后，第二台设备要链接的话必须按设备的“Pair”按钮，并且如果2台设备同时链接且同时播放音频，声音会卡顿（只播放当次链接中最先连上的设备）& 补充：& &关于Apt-x，还有很重要的一点，让我没有付出多很多的价格去购买Apt-x的设备，那就是苹果不支持该协议，这台设备用的应该是蓝牙4.0的A2DP，而苹果的蓝牙音频输出貌似也用就到这个，如果说Apt-x真的非常好用到比A2DP多很多，我想苹果应该也不至于不把这个搞进自己手机& 总得来说，这个价值160+的蓝牙音频适配器性价比相当可以。
推荐关注：
鼠标移到标签上方，
尝试关注标签~
相关热门原创
作者其他原创（1）
Divoom Tivoo像素蓝牙音箱
700Kids 柒小佰 TF1 柒小佰变形儿童车
Anker超极无线充
搜狗Sogou Travel Translator 搜狗旅行翻译宝
逸途科技 ET-Yidou 0308尊贵版 翻译机 逸豆智能旅行管家
【轻众测】Mi6蜂巢锁暖科技2 in 1型动衣
极米无屏电视Z6
Sennheiser森海塞尔 IE80S 耳机
赞244评论112
赞104评论92
赞148评论54
赞741评论267
赞711评论573
赞696评论325
赞750评论324
赞607评论308
扫一下，分享更方便，购买更轻松
用户名/邮箱
两周内免登录亚马逊意外错误报歉，由于程序执行时，遇到意外错误，您刚刚操作没有执行成功，请稍后重试。或将此错误报告给我们的客服中心：推荐您，确认您的操作无误后，再继续其他操作。您可以通过亚马逊，获得更多的帮助。LEVITON decora 视频插座组件， F 连接器 在 亚马逊 的历史价格走势图 - 盒子比价网
商城降价榜：
分类降价榜：
盒子比价网自日 开始收录LEVITON decora 视频插座组件， F 连接器在亚马逊的历史价格数据；
最新价格：￥42.03,最后更新时间为：日 ；
历史最低价格：￥24.55,最近一次出现最低价格时间为；日
目前有货。
此商品由亚马逊第三方商铺销售;
目前在该商城暂无用户评论
赞助商广告