zookeeper 实现高可用Alluxio 高可用的方法有哪些

金融副总裁
甲骨文公司
副总裁及技术产品事业部总经理
高级副总裁
武汉达梦数据库有限公司
高级副总经理兼数据库总设计师
阿里巴巴集团
大数据主任架构师
数据库总监
云平台技术负责人
技术委员会主席&高级技术总监
去哪儿网数据库总监
Oracle MySQL ACE Director
解决方案架构师
数据库团队高级技术专家
中国技术产品事业部高级技术总监
杭州沃趣科技
MySQL高级技术专家
数据库管理员
金融云数据库技术专家
高级工程师
MySQL用户组
MySQL研发工程师
数据库支持工程师
数据库研发工程师
中国人民大学
博士研究生
本来生活网
大数据业务中心总监
滴滴研究院
技术研究员
数据项目经理
Bloom Software
联合创始人&CTO
华为杭州研究院
主任工程师
Testin云测公司
大数据技术专家
软件工程师
YoshinoriMatsunobu
Production Engineer
OceanBase系统架构师
清华大学软件学院大数据中心
创始人/Oracle ACE总监
亚太研发中心Spark团队研发经理
联合创始人&CTO
数据库技术团队技术专家
高级工程师
网易杭州研究院
数据库运维专家
高级技术专家
联合创始人兼CEO
资深数据库开发工程师
资深架构师
上海热璞网络科技有限公司
创始人兼CTO
高级运维工程师
大数据部在线数据服务团队架构师
数据系统服务平台DBA
MongoDB中文社区
数据战略团队高级经理
资深工程师
甲骨文公司
资深大数据架构师
Joel Perez
首席技术顾问&Oracle ACE总监
分布式算法实验室负责人
北京永洪商智科技有限公司
咨询部总监
大数据研发总监
大数据首席架构师
数据集成平台分组经理
深度学习研究院高级研发工程师
苏宁技术研究院北京分院
数据挖掘资深研发工程师
微软(中国)有限公司
云平台技术顾问
技术委员会主席
性能优化总监/ITPUB论坛版主
福富软件研究院
凡普金科集团
DBA Team Leader
数据库架构师
中间件高级技术专家
讲师(专职科研)
数据库负责人
分析平台架构部高级工程师
家数据平台工程师
资深产品经理
软件工程师
高级算法专家
白帽汇公司
创始人&CTO
搜索推荐研发负责人
资深架构师
联合创始人
Oracle用户组联合创始人
数据库专家
数据库技术负责人
Production Engineer
上讯信息技术股份有限公司
数据安全产品部高级研发经理
富麦信息科技有限公司
数据库团队主管
DBA技术负责人
中国工商银行
测试部高级经理
Deepleaper跃盟科技
高级工程师
高级技术专家
苏宁云商IT总部
广告数据分析负责人
区块链铅笔
联合创始人兼CTO
深圳数字奇点科技有限公司
IBM中国研究院
区块链高级架构师
DataV 资深前端工程师
匠意咨询公司
北京数字冰雹信息技术有限公司
中国传媒大学
资深软件技术顾问
北京敏捷艾科数据技术有限公司
资深主任工程师
北京大学计算机科学技术研究所
消息组技术主管
百度 NewSQL数据库系统
演讲简介:
主要是向大家介绍百度在 NewSQL 领域的最新工作。NewSQL 集 OldSQL 和 NoSQL 于一体,并且提供分布式事务,灵活的 online schema changing,具备 secondary index, 提供异地多活机制。
马如悦 大数据主任架构师
嘉宾介绍:
马如悦,百度大数据主任架构师,负责百度大数据的工程架构相关技术方向
宽表列存储在大数据分析中的应用与优化
演讲简介:
目前在很多企业的数据分析任务中,常见几百上千列的宽表数据。这些宽表通常数据量巨大、存储在HDFS等分布式文件系统中。HDFS上宽表存储优化重要且具有挑战。宽表在数据分析中的可以避免一些频繁的连接操作,在用户画像、数据挖掘负载中,宽表也是一种高效的数据存取方式。对于宽表上的分析型负载,列存储可以有效减少不必要的I/O、提高数据压缩效果。HDFS上也已经有RC File、ORC、Parquet等成熟的列存储格式,但这些存储格式的设计只考虑了传统的数据分析负载,并没有针对宽表做深入的研究和优化。本工作介绍了HDFS上宽表列存储的特征和优化方法。该工作已在微软Bing日志分析产品中应用,并发表在SIGMOD 17上。
卞昊穹 中国人民大学 博士研究生
嘉宾介绍:
中国人民大学博士研究生,研究方向为数据库系统和实时数据分析,从事SQL-on-Hadoop系统测试和开发。在HDFS列存储优化、高性能数据索引和装载、分布式等值连接算法、海量知识库扩充等方面的研究成果发表在SIGMOD、CIKM等国际顶级学术会议上。
基于SparkSQL的海量数据仓库设计与实践
演讲简介:
SparkSQL近年来以更强的性能优势正逐渐取代Hive在数据仓库领域强势地位,在奇虎360公司同样得到了大范围的推广使用。为了进一步提供提升SparkSQL的性能、扩展SparkSQL多数据源的处理能力,我们整合了ES、Kylin、Luence等开源组件,最终实现了一套统一的OLAP平台。本次分享会介绍SparkSQL的那些坑和整合ES、Kylin的设计思路以及借助Luence实现的海量数据即席查询的技术方案。
李振炜 奇虎360 高级工程师
嘉宾介绍:
2015年毕业后加入奇虎360系统部大数据团队,负责Spark分布式计算平台及相关服务的开发与维护,完成了整个公司hive作业向Spark的迁移,设计并实现基于SparkSQL的数据仓库,有丰富的海量数据场景下Spark改进调优经验。关注大数据计算和机器学习。
新的里程碑--PostgreSQL 10.0 新特性介绍
演讲简介:
经过二十多年的持续发展,PostgreSQL即将迎来一个里程碑式的新版本—10.0。PostgreSQL 10.0不仅仅是在版本号方面采用了新的编码方式,也迎来了更多新的特性和功能。本次分享将会介绍PostgreSQL 10.0 为我们带来的新特性以及更进一步的路线图。
彭煜玮 武汉大学 副教授
嘉宾介绍:
长期从事数据库、地理信息系统的教学和研究。主持自然科学基金、国家863项目子课题等项目,参与包括国家863项目、自然科学基金重点项目等科研项目,作为技术负责人领导开发了国产对象代理数据管理系统TOTEM。著有《PostgreSQL数据库内核分析》一书,是PostgreSQL消息本地化和文档中文化工作的主要贡献者之一。现任中国计算机学会数据库专业委员会委员、PostgreSQL中国用户协会常务委员。
面向未来的数据库体系架构的思考
演讲简介:
内容大纲:1. 数据存储多样性与支撑体系的思考;2. 异地多活与数据一致性的思考;3. 容器和调度在数据库的应用;4. 自动化系统的建设思路;5. 未来发展方向。
张瑞 阿里巴巴集团 研究员
嘉宾介绍:
阿里巴巴集团数据库技术团队总负责人,研究员,2005年加入阿里巴巴,经历了阿里数据库技术的变革历程。目前,阿里数据库技术团队正在建设阿里下一代数据库技术体系,希望能够把我们的成果、踩过的坑以及面向未来思考介绍跟大家做一些深入的探讨,能够为中国数据库技术的发展出一份力。
数据库发展概览
演讲简介:
作为IT产业之基础磐石的数据库未来的发展方向展望;新的技术层出不穷,数据库也走向了云时代,但是数据管理的核心理念依然是初心不变;甲骨文中国与改革开放同行,与IT建设共振, 共同成长,共同创新。
吴承杨 甲骨文公司 副总裁及中国区技术产品事业部总经理
嘉宾介绍:
甲骨文公司副总裁及中国区技术产品事业部总经理
吴承杨2010年加入甲骨文公司,现任公司副总裁及中国区技术产品事业部总经理。在此之前,吴承杨曾担任中国区技术产品部新兴市场行业总经理。新兴市场包括:城市商业银行、农商行、证券、医疗卫生以及教育等行业。
吴承杨拥有25年的IT从业经验。在加入甲骨文公司之前,曾在惠普,戴尔和DEC 担任重要职务。
吴承杨获得计算机硕士学位以及马斯赫里赫特学院的MBA。
达梦如何冲击核心业务系统 ——国产数据库的产品发展之道
演讲简介:
2017年,随着基于达梦数据库的电子客票系统在东方航空公司投产,国内三大航空公司中,已有两家将票务系统运行在了国产数据库之上。这是国产数据库在核心业务系统上的又一个突破:电力调度、民航票务、社保发放、企业信用公示……,在这些背后,达梦数据库影响和支撑着越来越多人们的工作生活,而且还将更广泛的深入到社会的方方面面。一个国产数据库厂商,是如何在这些核心业务上实现突破发展的?本次演讲将从产品和技术层面进行介绍。
韩朱忠 武汉达梦数据库有限公司 高级副总经理兼达梦数据库总设计师
嘉宾介绍:
武汉达梦数据库有限公司高级副总经理兼达梦数据库总设计师,上海交通大学硕士毕业。2002至今韩朱忠,武汉达梦数据库有限公司高级总经理兼达梦数据库总设计师,上海交通大学硕士毕业。2002至今负责公司核心技术研发,带领团队采用了国际上先进的数据库体系架构,自主研发完成了达梦(DM)系列大型通用数据库管理系统,技术上保持着国内领先水平。2010年-2012年作为项目负责人承担国家“核高基”课题《大型通用数据库管理系统研发与产业化》工作。
甲骨文云数据库技术十大变革
演讲简介:
在云计算风起云涌广为市场拥抱的今天,数据库技术在云技术上有什么特别的需求和特点,数据库的未来在哪里,广为传统私有云架构接受的甲骨文数据库又会有什么卓越表现?作为数据库技术的领头羊,甲骨文云数据库技术十大变革的重点推介。
李珈 甲骨文中国 技术产品事业部高级技术总监
嘉宾介绍:
甲骨文中国技术产品事业部高级技术总监,负责中国区数据库及云技术咨询团队
超过二十年Oracle数据库、数据仓库及企业应用软件领域相关工作经验,丰富的电信、金融及政府和制造业行业经验,曾主持设计电信及金融行业大型关键业务系统及大型数据仓库系统,对关系型数据库系统、ERP、CRM系统及大数据应用有深刻理解, 致力于企业信息化战略及IT架构设计与咨询领域,对于企业云计算包括私有云和公有云、混合云的设计和推广有较多经验。 目前负责甲骨文中国区数据库技术咨询团队工作。
服务视角下的云分布式数据库
演讲简介:
随着互联网的发展,全社会生活和生产的日益在线化,越来越多的IT业务,触达到单机数据库的天花板,分布式数据库技术逐渐成为行业热点。作为一家拥有5年公有云数据库研发和运营经验的厂商,UCloud认为,分布式数据库取胜的关键在于服务,而非全新的架构或产品。基于这一理念,UCloud在过去一年构建并推出了UDDB(UCloud Distributed DataBase)这一在线服务,来有效满足客户在分布式数据库上的需求。在本次DTCC大会中,我们将为大家分享,对于云上的分布式数据库这个事情,UCloud的思考和实践。
Robert UCloud 资深数据库开发工程师
嘉宾介绍:
Robert,2007年毕业于华中科技大学数据库和多媒体技术研究所,曾先后在达梦数据库、腾讯从事过多年数据库内核和分布式后台服务的研发工作,目前专注于分布式数据库服务的研发和运营,UCloud UDDB产品和技术负责人。
自然语言技术在文智趋势分析产品上的应用
演讲简介:
介绍腾讯自然语言技术(NLP)在网络舆情服务中的应用,结合腾讯云大数据服务能力,腾讯云如何提供有价值的公众趋势服务产品。
田兰 腾讯云 产品经理
嘉宾介绍:
腾讯云公众趋势分析服务产品经理。从事多年数据服务应用产品设计。
年业务量暴涨50倍之数据库成长烦恼
演讲简介:
描述大概在短短一年间,支持易到用车业务量级数倍增长的过程中,数据库层面面临的挑战以及对应。在保障处理量急速增长,榨干旧系统潜力的同时,完成系统重构,最终架构处理能力得到近百倍的提升的经历,分享过程中间的成功技术经验以及实际踩过的坑。
徐海鹏 易到用车数据库总监
嘉宾介绍:
徐海鹏,在国外大型企业,著名互联网公司和机构数据库运营和管理,信息化建设领域有近20年的丰富经验。先后在美国杜邦公司,美国DoubleClick和加拿大保险局任职。在DoubleClick和加拿大保险局,负责数据库与BI部门的运营,数据安全管理以及技术方向选型。2016年,归国,加入易到任职数据库总监,负责数据部门的规划,执行管理,系统的性能与效率提升,并负责对大数据系统的支持。在任职期间,大幅提升了公司数据库系统的处理能力,建立了数据库部门对大数据的支持体系。
100亿数据量1万属性数据库架构设计
演讲简介:
演讲提纲:
一、需求缘起:为何会有1万属性的业务需求;
二、属性扩展架构解决方案;
三、属性搜索架构解决方案;
四、100亿数据量数据库存储架构解决方案;
五、总结:一切脱离业务的架构设计都是耍流氓。
沈剑 58到家技术委员会主席&高级技术总监
嘉宾介绍:
互联网架构技术专家,“架构师之路”公众号作者。曾任百度高级工程师,58同城高级架构师,58同城技术委员会主席,58同城C2C技术部负责人,58同城技术学院优秀讲师。现任58到家技术委员会主席,高级技术总监,负责企业,支付,营销、客户关系等多个后端业务部门。本质,技术人一枚。
阿里巴巴数据库容器化资源调度与实践
演讲简介:
随着docker生态及开源调度的发展和 PaaS平台层出不穷,应用从中获益巨大,数据库作为一款特殊的应用,他的容器化总会因各种各样的问题让人望而却步。在2016年阿里数据库通过Docker化调度和云资源调度,实现了新的混合云架构,成功支撑了双11大促。
数据有状态,如何做到最小成本迁移和故障快速恢复?
内存波动大,如何保证业务流量高峰期不OOM?
机型演变快,如何保证主备库性能一致?
存储占比重,如何提升整机资源利用率?
网络要求高,如何解决在多种网络模式中选择?
且看阿里巴巴双十一大促压力下数据库的容器化架构、实践及演进。
秦国安 阿里巴巴数据库团队高级技术专家
嘉宾介绍:
花名炎烈,阿里巴巴数据库团队高级技术专家,先后在云壤、百度、奇虎360、豌豆荚从事过运维与运维开发相关工作超过八年,2016年加入阿里巴巴数据库团队,目前负责阿里巴巴数据库资源交付和容器化调度及存储计算分离相关系统开发。
云上的春节-微博cache混合云实践
演讲简介:
众所周知每年春节时分都是微博一年压力最高的时候,往年我们都会投入较多的设备,较多的人力来保障大家可以在微博上「愉快的吐槽」,而今年我们结合某云即实现了业务保障的工作,又达到了成本节省的目的,本次分享会详细给大家介绍我们面临的问题,如何进行思辨,最终实践成功的全过程。其中会介绍我们用到的各种解决方案,希望可以给大家提供一些借鉴建议,也可以让大家都可以在控制成本的前提下完成服务保障工作。
张欣 新浪微博数据库管理员
嘉宾介绍:
微博研发中心数据库管理员,负责Redis、Pika、MySQL等多个数据库及周边自动化开发,全程参加cache混合云管控系统的设计和开发,亲身经历的春晚值班的全过程,来自绝对一线的亲身经历。
魅族数据库平台建设实践
演讲简介:
硬件资源日益更新,如何充分利用系统资源,在提高服务质量的同时,有效的降低资源成本,都是大家关心的问题,魅族各个业务迅速发展的同时,DB服务面临着资源利用率低,成本高,交付效率低,扩展性差等一系列问题,在这个背景下,魅族数据库平台应运而生,该平台是一个综合的数据库服务托管平台,专注于给各个产品线提供专业的,高效率,扩展性强,高可用,高质量的数据库服务,同时也解决了资源利用率低,成本高,交付效率低,扩展性差等一系列问题。本次分享主要围绕该平台展开,介绍数据库平台的设计,高可用,mysql proxy接入,备份恢复,性能分析等主要技术点。技术亮点:完全兼容mysql协议的mysql proxy,自动读写分离,负载均衡,性能统计分析,多租户,资源隔离。
龙启东 魅族云平台技术负责人
嘉宾介绍:
魅族高级DBA,主要负责MySQL,Redis,Mongodb相关技术,目前主要专注于魅族自建RDS平台建设,负责方案选型,产品设计与规划,高可用平台,慢日志平台。擅长MySQL高可用方案、SQL性能优化、故障诊断、自动化平台建设。
数据库的并发控制技术深度探索
演讲简介:
1. 数据库的数据异常现象知多少?------数据库为什么要实现并发控制;2. 数据库的并发控制技术知多少?------数据库的哪些并发控制技术解决了哪些问题;3. 数据库的并发控制技术原理知多少?------数据库的并发控制技术的原理和多种技术的深度比较。
李海翔 腾讯金融云数据库技术专家
嘉宾介绍:
从事数据库研发、数据库架构、数据库技术管理等工作10余年;历任人北京大金仓研发中心多个项目的技术经理、测试部经理、测试中心总监;Oracle公司MySQL全球开发组Optimizer Team的核心开发人员;现任XX技术有限公司,技术专家,数据库架构师。对数据库的内核有深入研究,长于PostgreSQL、MySQL、GreenPlum、Informix等数据库的内核与架构。十几年的数据库研发经历,先后成功主导开发有数据库管理工具套件、JDBC驱动程序、数据库逻辑备份与还原系统、数据库物理备份与恢复系统、数据库安全审计系统、数据库查询优化器、数据库自动化测试系统、数据库性能测试系统、数据库监控系统等多种数据库相关软件系统。技术涉猎极广,涉及数据库的高可靠、高性能、高可用、数据库安全等各个方面。业余时间喜欢分享个人心得于博客(http://blog.163.com/li_hx)。
深入理解MySQL Group Replication
演讲简介:
本主题将为大家介绍MySQL Group Replication的主要功能、及使用特点。为了让大家对MySQL Group Replication有很好的理解,主题演讲中还将介绍Group Replication的框架和实现原理。
宋利兵 MySQL用户组MySQL研发工程师
嘉宾介绍:
MySQL研发工程师,2009年加入MySQL Replication研发团队,从事复制方面的研发工作。
Tencent MySQL内核优化解析
演讲简介:
本次主题主要介绍 Tencent MySQL(TXSQL)在腾讯云发展过程中遇到的各种问题以及在解决这些问题的过程中TXSQL 内核所做的一系列优化,包括 read_view 优化、Lock_log 拆分、分布式 token 锁、Redo log 锁拆分、Binlog 限速等功能,从功能、性能和稳定性上对 TXSQL 进行深入的解析。
张青林 腾讯高级工程师
嘉宾介绍:
腾讯云布道师、MySQL架构师,隶属腾讯TEG-基础架构部- 数据库内核研发团队,专注于MySQL内核研发&相关架构工作,有着服务多个10W级QPS客户的数据库优化及稳定性维护经验。
MySQL复制演进:基于InnoDB的复制新框架
演讲简介:
背景: InnoDB是一个广泛使用的事务型存储引擎,对事务产生的变更会记录redo日志。而为了在存储引擎之上实现统一的复制架构,MySQL在server层增加了统一格式的日志,也就是binary log。 这意味着一个事务需要写两份日志。而为了保证事务的持久化,还需要两次对日志的fsync。这会严重的影响到数据库的写入性能 基于InnoDB是当前最流行的存储引擎这样的事实,我们对InnoDB进行了功能上的扩展,不仅可以实现基于Redo的物理复制,并且支持基于共享文件的Read Workload的水平扩展。 演讲内容: - 新的复制架构介绍 - 日志传输和重放 - 只读节点的事务MVCC实现 - 基于共享文件的buffer pool管理 - 容灾切换实现 - 测试性能数据
翟卫祥 阿里巴巴 数据库研发工程师
嘉宾介绍:
MySQL内核开发者, 从2011年至今就职于阿里数据库内核组,是《高性能MySQL 第三版》译者之一,活跃于MySQL社区,BugList,etc...
MySQL分布式平台在金融业的最佳实践
演讲简介:
从传统企业所关注重点出发,对比MySQL数据库特点,讲解使用MySQL最佳实践。介绍使用MySQL常见的处理案例。主要技术特点:数据一致性原理、MariaDB/MySQL Binlog复制演变历程、Galera强一致性架构。面向人群:DBA。
董红禹 杭州沃趣科技 MySQL高级技术专家
嘉宾介绍:
杭州沃趣科技MySQL高级技术专家,Oracle MySQL OCP,精通MySQL内部架构原理。服务多家大型企业,如光大银行、浙江联合银行、中信证券、华泰保险等。曾在CSDN技术论坛发表过多篇MySQL/MariaDB 技术文章被置顶阅读量过十万。分享活动:
2016象形中国杭州站《MySQL流行中间件对比及实现原理》
CSDN线上公开课《深入理解MySQL中的Redo、Undo、MVCC》
关系数据库大数据处理核心技术
演讲简介:
大数据时代来临,NoSQL、NewSQL、DocDB,各种SQL on Hadoop方案,眼花缭乱,如何平衡选择?演讲内容主要包括数据存储方案选型、关系数据库性能优化及处理大数据下的技术要点。
高亚芳 唯品会 架构师
嘉宾介绍:
在IT行业工作20年,互联网工作9年。主要关注平台、数据库、存储。目前在唯品会技术任职,负责数据架构工作。拥抱开源,用技术服务世界。爱好传统文化。
大数据在本来生活的应用
演讲简介:
1.小数据到大数据(介绍本来生活数据仓库的演变:SQL Server到Hadoop生态):
a)用SQL Server做数据仓库的优势。
b)什么样的问题导致了我们要狠下决心走向hadoop。主要会涉及SQL Server数据仓库实战技术,Hadoop实战技术。
2.大数据在CRM中的应用:
a)介绍会员流失预测在精细化营销上的应用。
b)会员聚类分析的应用。主要会涉及预测算法从训练到应用的过程、聚类分析的关键要点。
3.大数据在竟品分析上的应用:
a)如何通过挖掘商品评论数据来获知销量、销售额、以及用户满意度。
b)如何通过大数据探知竟争对手的运营策略。主要涉及Python 爬虫技术介绍、Python和大数据应用相结合的要点。
范学蠡 本来生活网 BI总监
嘉宾介绍:
2014年加入本来生活网,现任本来生活网BI总监,组建了BI团队,建立了基于SQL Server的数据仓库和数据分析体系,现今又从SQL Server转向Hadoop体系,并在这基础上建立了分析型CRM、用户行为数据分析平台等BI应用。喜欢关注电商行业、大数据应用等。
滴滴大数据应用
演讲简介:
介绍滴滴的机器学习应用、包括体验建模、价格建模、司乘供需预测等项目的应用。主要是机器学习和具体应用结合的建模方法论,以及滴滴的机器学习应用发展进程、现有的成果、以及未来还要做那些事。
韩冰 滴滴 研究院技术研究员
嘉宾介绍:
现任滴滴研究院技术研究员,负责滴滴定价和生态技术。曾在百度凤巢任职8年,任职期间作为算法架构师参与凤巢核心算法的开发和优化,有丰富的机器学习领域建模经验,曾获得最有价值百度人。
下一代实时流数据处理平台介绍
演讲简介:
新一代流数据处理技术介绍
1Google DataFlow架构介绍
2Google DataFlow应用场景介绍
3 AWS KInesis 架构介绍
4AWS kinesis应用场景介绍
5 SnappyData架构介绍
6 SnappyData应用场景介绍
7三个流处理平台综合对比分析
杨旭钧 Bloom Software 联合创始人&CTO
嘉宾介绍:
Bloom Software创始人之一,公司 CTO,Apache Geode 中国社区(opengeode.cn)发起人之一、代码贡献者,SnappyData 中国社区发起人之一、代码贡献者。有着多年的银行、保险行业的金融系统的规划,设计和开发经验,参与过多个国内外银行、互联网电商与移动支付领域项目。曾就职于慧聪、VMware、Pivotal、 Accenture、等多家公司,服务客户包括花旗银行、中国外汇交易中心、中国人民银行、中国银行、中国交通银行、国家电网、南方电网等,参与过中国银行手机银行、慧聪核心交易系统、南方电网营销系统的。近期致力于实时数据处理平台(Bloom Stream Platform)的研发工作和 SnappyData 国内战略合作、技术推广工作。
年度主题解读
演讲简介:
曹鹏 京东金融副总裁
嘉宾介绍:
曹鹏拥有近十五年应用研发等技术经验,曾先后供职于新华惠阳网络公司、华夏国际信用咨询有限公司。2007年加入京东后,历任研发总监,产品总监,职能研发副总裁,现负责京东金融IT系统建设与维护。曹鹏毕业于北方交通大学计算机科学与技术系,已获得中国人民大学商学院EMBA学位。
让Amazon Aurora助您的业务腾飞
演讲简介:
做为Amazon RDS的一项完全云托管的关系数据库服务,Amazon Aurora 兼容 MySQL 和 PostgreSQL ,既具备高端商用数据库的速度和可用性,又有开源数据库的简单性和成本效益。Amazon Aurora 的性能最高可达到 MySQL 的五倍,并且能以十分之一的成本提供商用数据库的安全性、可用性和可靠性。议题如下:什么是Amazon Aurora;为什么使用Amazon Aurora;案例与分享。
杨海俊 亚马逊AWS 解决方案架构师
嘉宾介绍:
现任亚马逊AWS解决方案架构师,为客户提供云计算技术咨询、架构设计等服务。有17年在关系数据库、商业智能、应用架构设计和开发、云计算、软件推广等领域的工作经历,曾从事过多个大型软件项目的设计、开发与项目管理工作。
企业级大数据应用实践
演讲简介:
大数据技术的发展与成熟,为企业打破了数据在管理和运营中时间和空间的限制,为企业提供了一套强有力的方法与手段,突破了传统技术的壁垒。在此大数据应用百花齐放之时,传统企业也纷纷将大数据技术应用到传统应用中,搭建统一与完整的企业级数据处理平台,为企业的经营与管理提供最坚实的技术保障。
吕潇 星环科技 技术专家
嘉宾介绍:
吕潇,现任星环信息科技(上海)有限公司资深技术专家,主要负责星环科技大数据基础平台及解决方案推广与落地工作,负责中国北方区电信、金融、保险、证券、政府、公安、交通、电力、媒体领域解决方案及产品支持支持工作,并为其提供企业级大数据基础平台方案及应用系统集成方案的信息化咨询、方案设计以及相关技术支持和架构规划等,并负责星环科技大数据平台的市场推广、以及ISV、SI等合作伙伴的合作。
数据库存储虚拟化及内核架构优化
演讲简介:
介绍在 K-RAC架构下的存储虚拟化技术及实现原理,同时,还会介绍近一年在数据库内核领域进行的若干技术升级以及软硬件结合领域新的进展。
蒋琪 浪潮 数据库支持工程师
嘉宾介绍:
数据库支持工程师,多年K-DB数据库支持及内部测试经验,对数据库内核如优化器,虚拟化存储等各个模块比较了解,善于处理诊断问题。
金仓大数据应用实践
演讲简介:
通过金仓大数据平台产品和技术在政府、能源等行业的应用场景解析,介绍了相关大数据技术,展示了大数据技术应用在实际案例中的效果,分享了人大金仓的探索体验与应用收获。
白芸 人大金仓 大数据业务中心总监
嘉宾介绍:
白芸,毕业于中国人民大学信息学院,获得计算机及应用专业硕士学位。
Flink技术栈及其适用场景
演讲简介:
数据处理随着延时递增价值递减,即越实时越有价值。流计算框架比拼的就是低延时、高吞吐以及流之上的丰富特性,以满足实际业务需要。这里向大家介绍Flink的各个组成部分,深入浅出了解其内在机制原理。以便清晰如何用Flink解决实际业务场景。大数据和云计算密不可分,Flink如何在云上提供实时计算能力,这里会简要介绍流计算在云上的两种形态。
时金魁 华为杭州研究院主任工程师
嘉宾介绍:
目前就职于华为杭研所,负责流计算研发团队。毕业后一直从事开发工作,近些年专注于Spark/Flink等分布式计算框架。
大数据实时处理架构实践
演讲简介:
当今互联网早已不是蛮荒生长的时代,各大公司也在自己的领域深耕细作,伴随着市场的成熟,如何提供更好的服务、更快的数据决策,成为竞争的关键点。实时计算技术作为其中的一项关键技术,开始在业界广泛流行。如何依据自己的业务,在众多的实时计算技术中做出选择,如何处理实时计算中遇到的各种问题,保证数据的效率和正确,成为所有人都要面对的极具挑战的工作。本次分享将会从实时计算的业务要求出发,结合具体的一个基于spark streaming的实践例子,总结大数据实时处理架构设计上需要处理的几个关键问题,同时基于此对实时计算技术提出一些要求。
朱健 京东商城大数据技术专家
嘉宾介绍:
京东广告部大数据技术专家,长期从事大数据技术的实践和研究工作,在分布式系统架构设计、开发方面有丰富的实践经验。目前负责京东广告日志系统、广告实时效果系统的研发工作。
Kudu架构介绍及其在小米的应用实践
演讲简介:
Kudu是Cloudera在15年9月开源的分布式数据存储引擎,其结合了Hbase和HDFS的优势,可以同时提供高效的随机访问以及数据扫描能力。Kudu支持数据的实时插入和分析,为实时的OLAP计算提供了另外一种选择。小米是Kudu在中国最早的一批用户,目前内部已经有较大规模的业务在使用,并且在不断探索新的应用场景。本次演讲将会介绍Kudu的大致技术架构,新版本的新增功能,以及未来的开发计划。同时会介绍Kudu在小米计算架构中所扮演的角色,分享一些Kudu在实际使用中的经验,希望可以促进Kudu在中国的发展和使用。
张震 小米软件工程师
嘉宾介绍:
曾就职于老牌BI厂商MicroStrategy,15年加入小米云平台计算组,先后负责Impala,Hive,Kudu的维护和及内部需求开发。在分布式计算和存储领域有多年的积累和实战经验
MySQL集群化的三种武器——MNC,MGC与MIC
演讲简介:
在多年运维MySQL的过程中,我一直固执地认为MySQL最终的发展路线一定是集群化。所以在很多年前,就开始关注MySQL集群。MySQL NDB Cluster(MNC),MySQL Galera Cluster(MGC),MySQL InnoDB Cluster(MIC),这三者是MySQL历史上三种不同的集群实现方式。在我的前东家人人网的时候,我实践过MNC,在目前的去哪儿网,我们正在维护者中国乃至全球都算较大规模的MGC,同时我们也在密切关注MIC的发展,我相信MySQL会在集群化的道路上不断前行。
周彦伟 去哪儿网数据库总监/Oracle MySQL ACE Director
嘉宾介绍:
在去哪儿网负责数据库平台的管理和维护工作。工作范围包括MySQL,Redis,HBase平台的架构设计,性能调优,日常运维以及自动化运维平台设计。曾经担任人人网(校内网)MySQL技术主管,负责数千规模的MySQL数据库实例的运维管理。中国MySQL用户组(ACMUG)创始人兼主席,领导和组织中国MySQL社区活动。
DBA日常修炼咒
演讲简介:
当我回首往事的时候,常常会因虚度年华而悔恨,也会因碌碌无为而羞耻,当我站在讲台上的时候,会非常心虚地说:我的青春和经历,虽然都献给了数据库,但好像并没有什么值得回忆,除了——稀里糊涂入行诀水涨船高顺风诀避凶就吉跳坑诀力挽狂澜泰山诀速效救心求生诀……
刘启荣 京东 技术总监
嘉宾介绍:
北漂十余年,身无旁技,唯攻MySQL运维一术。曾在社交服务域内摸爬滚打就年半,供职猫扑与人人,除习就一副刀枪不入厚颜技外,亦初得DB运维之妙法,便得意忘形,指划他人,幸麾下众人皆聪颖坚毅之人,辩事明理,不为惑我,终皆有大成。现居京东金融,又现别样风光,更欣喜若狂,欲于此处有所获耳。
云端数据仓库HashData的设计与实现
演讲简介:
云计算的敏捷性与低成本推动了企业基础设施新变革。随着企业将越来越多的应用部署在云平台上面,产生和积累爆炸性增长的数据,云端大数据分析势在必行。HashData数据仓库是一个高性能、完全托管的PB级数据仓库服务,使您能够利用标准SQL进行海量数据分析,轻松把握商业趋势。 与市场上很多只是简单地把传统数据仓库部署在云端虚拟机的解决方案不同,HashData是一个真正意义上的云原生数据仓库,主要体现在如下几方面: (1)计算与存储分离:云平台的对象存储服务作为数据仓库的数据持久层。 (2)独立的数据仓库元数据服务:解决传统MPP数据仓库可扩展性问题的同时,实现多集群共享统一数据存储层的创新架构。 (3)在线升级:一套系统中同时运行两个版本的数据仓库软件。 (4)动态伸缩:在保证数据hash分布属性不变的前提下,实现秒级扩容。 听众收益: (1)在不可更改的文件系统(对象存储)上构建分布式数据库的最佳实践; (2)分布式系统元数据保证一致性的最佳实践; (3)分布式数据库在线升级的实现; (4)一致性hash在分布式数据库中的使用;
简丽荣 酷客数据联合创始人兼CEO
嘉宾介绍:
简丽荣是HashData(一家专注于云端数据仓库的初创公司)的联合创始人兼CEO,开源分布式数据库Apache HAWQ的committer和Greenplum Database的contributor。创业前,先后在IBM中国研究院、雅虎北京研发中心、和Pivotal中国研发中心从事分布式计算相关的研发工作,发表了多篇国际会议期刊论文(包括数据库顶级会议SIGMOD和计算机网络顶级会议INFOCOM)和10多个国际专利,涉及无线网络、云计算、Hadoop和分布式数据库。2008年清华大学计算机本科,2010年香港科技大学计算机硕士。 在SACC 2016大会上,简丽荣代表HashData作了题为“数据仓库架构的变迁”演讲,相关演讲内容在社交网站上受到国内从事PostgreSQL研发工作主要机构组织(包括阿里,PostgreSQL中国社区,EMC/Pivotal)的高度称赞和转发。
数据技术在能源行业应用
演讲简介:
能源行业运营维护优化数据解决方案,能源物联网产业链金融解决方案等。
林嵩 中国石油数据项目经理
嘉宾介绍:
从事能源行业的运行维护数据和机器学习解决方案,持有中科院研究生院硕士学位。
基于实时大数据OLAP引擎Druid实现的AB测试平台实践
演讲简介:
今天正处于互联网发展的下半场,流量红利日渐消失,此时玩家们需要比拼各自深度运营的能力,而AB测试正是能够迅速提高产品运营效率的一把利器。AB测试本质上是基于数据分析的一种方法论,而且它往往会需要在大量的历史数据上进行多维度的数据分析,而这也恰恰是实时OLAP引擎Druid所擅长的。本演讲将会从AB测试原理、Druid项目技术剖析以及AB测试平台技术实践这几个方面来分享testin公司在相关领域的实践和经验。主要技术点:Druid,实时OLAP,AB测试。
刘麒赟 Testin云测公司技术总监
嘉宾介绍:
现任Testin云测公司技术总监,全面负责领导团队完成数据分析产品的研发。作为资深数据技术专家,曾为Hadoop等多个著名开源项目贡献源代码,在互联网大数据分析、企业级产品研发和客户支持方面拥有丰富的实战经验。之前,曾任OneAPM公司大数据架构师,以及任IBM全球大数据平台产品BigInsights的Advisory Software Engineer。
万物互联时代的数据库支撑平台---SinoDB
演讲简介:
2017作为物联网的商业元年,万物互联时代的到来,迫切需要物联网、边缘计算、大数据处理、云计算平台等技术深度融合。星瑞格SinoDB平台融入了新一代物联网的数据分析技术,包括OLTP处理引擎,Nosql处理引擎,时间序列处理引擎,大数据处理引擎,GIS处理引擎。时序大数据解决方案采用特殊数据存储方式,极大提高了时间相关数据的处理能力,相对于关系型数据库它的存储空间减半,查询速度极大的提高,非常适合在物联网分析应用。NoSQL引擎
内置mongoDB处理引擎,有效处理半结构化数据。统一访问接口集成大数据生态圈常用平台与组件,通过BigData Connector方便数据访问。
林俊仁 星瑞格 总经理
嘉宾介绍:
林俊仁,出生于1960年4月,资讯工程研专业硕士,福建星瑞格软件有限公司总经理。曾任美商英孚美(Informix) 资讯软体股份有限公司区域总经理(),2000年荣获全球年度最佳销售贡献奖。曾任美商安升索 (Ascential) 资讯软体股份有限公司总经理(),荣获2001年全球最佳销售经理人奖。2002年林俊仁创立库柏信息软件股份有限公司,并任董事长兼总经理。2013年10月 dbAegis v3.0 全新改版上市, 获得市场评比为具国际竞争力的大型数据库安全审计产品。年,连续五年获得IBM年度最佳软件解决方案经销伙伴奖。
分布式数据库高性能技术实现与实践
演讲简介:
介绍新一代分布式数据库在高性能、高并发的读写上的技术实现和关键技术点。然后以金融、互联网等用户的实际应用场景为案例,介绍分布式数据库高性能的最佳实践
王涛 巨杉 联合创始人 CTO
嘉宾介绍:
王涛,巨杉数据库联合创始人,CTO及总架构师,作为公司创始人之一,参与公司发展战略规划,负责整个数据库研发项目的管理,包括数据库系统的构建,管理公司的整体核心技术,组织制定和实施重大技术决策和技术方案等。
曾就职于IBM多伦多实验室IBM TorontoLab(DB2 UDB Development Lab), 是DB2领域的专家,作为IBM DB2全球最高技术专家小组的成员,参与了IBM下一代大数据平台的架构规划,精通数据库内核及体系结构。其中,王涛也是IBM DB2 DPF的专家。
32 Tips to Boost MongoDB Performance
演讲简介:
MongoDB 作为 NoSQL 里的领头羊,目前在电商、游戏、物联网等场景都着有广泛的应用,而数据库性能优化的话题一直广受用户关注。MongoDB 中文社区自成立以来,一直致力于让中国区的用户更好的交流和使用 MongoDB 数据库技术,本次作为中文社区的代表,我将分享提升 MongoDB 性能的关键技术、及优化技巧,让你的数据库发挥更强大的作用。
张友东 MongoDB中文社区 发起人
嘉宾介绍:
MongoDB数据库专家,MongoDB 中文社区联合发起人,主要关注分布式存储、NoSQL数据库等技术领域,先后参与TFS(淘宝分布式文件系统)、Redis云数据库等项目,目前主要从事MongoDB云数据库的研发工作,致力于让开发者用上最好的MongoDB云服务。
大规模redis集群的服务治理之路
演讲简介:
大规模redis集群在多租户场景下的性能优化、运维经验、服务化介绍。性能优化主要介绍redis集群在上百万QPS场景下踩过的坑以及优化经验;运维经验介绍了集群搭建、故障处理、集群水平伸缩、集群迁移、监控体系搭建等经验;服务化指的是在多租户使用redis集群时,为集群搭建http proxy层的好处、资源申请及管理平台。主要技术点:针对大规模redis cluster的服务搭建、运维、优化技术。
高嵩 优酷 数据战略团队高级经理
嘉宾介绍:
多年分布式领域及大规模互联网平台的架构及实践经验,对并发编程、分布式缓存、实时计算领域有浓厚兴趣。
数据化运营理论与实践
演讲简介:
无论是政府还是企业,过去在IT信息建设过程中,主要以基础平台的搭建为主,基本上如数据仓库、数据中心、大数据平台等均已搭建完成,但是在数据应用还是非常缺乏。那么如何才能让数据发挥更大的数据价值,如何才能在基础平台的基础之上构建出百花齐放,人人可用的数据分析应用平台,如何才能将基础平台的价值最大化?本次报告将深入思考困境的本质,深入剖析目前行业数据分析应用的现状,从而从核心技术和分析应用上找到最佳解决方案。
符鹏飞 北京永洪商智科技有限公司 咨询部总监
嘉宾介绍:
华北电力大学管理学学士,拥有5年需求分析、产品研发、项目实施经验。曾在某知名ERP负责产品需求分析、产品设计、产品研发工作,在集成、大数据、BI领域有丰富的项目经验,目前主要负责产品咨询、售前支持工作,已成功推进多个大型项目,如美的、格力、华为、亚信、东软等。
扩展Spark引擎支持MPP计算场景替换大规模企业级传统数据仓库
演讲简介:
在传统企业有大量的Oracle、SQL server、DB2、Mysql等关系型数据库,在其业务系统中,有大量的CRUD和存储过程使用场景。随着业务数据增多,这些关系型数据库,很难满足业务日常使用要求。如何为这些传统关系型数据库,提供一个更高效的大数据平台,如何快速、平滑的将这些旧的业务,迁移到导数据平台上,已经成为传统企业技术转型迫切需要解决的问题。本topic讲述了扩展Spark引擎以支持MPP计算场景的方案,以便替换大规模企业的传统数据仓库等。
张成松 联想 大数据研发总监
嘉宾介绍:
联想大数据研发总监,联想大数据平台首席架构师。十多年的互联网公司从业经验,超过6年的大数据技术研究和应用。带领团队从无到有,设计并构建了联想全球8个IDC、超过2000台服务器的大数据平台。
数据与基石 - 中国Oracle用户使用情况分析报告
演讲简介:
在数据技术蓬勃发展和应用不断深入的时代大潮下,Oracle的中国用户们在如何使用数据库,应用现状如何?
在这个主题中,将和大家分析基于云和恩墨Bethune平台,中国用户的Oracle数据库应用情况报告,我们也将和大家分享用户在使用Oracle数据库中存在的常见问题及诊断方案,数据库是企业应用的基石,如何提升稳定性、安全性,是分享中的核心议题。
盖国强 云和恩墨创始人/Oracle ACE总监
嘉宾介绍:
盖国强先生是中国地区首位Oracle ACE和ACE总监,曾获"2006年中国首届杰出数据库工程师"奖,拥有超过15年的数据库实施和架构咨询经验,对于数据库性能优化及内部技术具有深入理解。盖国强先生是中国地区最著名的Oracle技术推广者之一,他的专著《深入解析Oracle》、《循序渐进Oracle》等书籍受到Oracle技术爱好者的广泛好评。2010年盖国强先生创建了云和恩墨,致力于为中国用户提供专业的数据服务。
OceanBase:云时代的关系数据库
演讲简介:
经过几十年的发展演化,关系数据库以其事务性和关系模型而在金融、交通、通信、互联网等各行各业得到了广泛的应用。然而,在一切追求速度的互联网时代,新硬件和新技术层出不穷,关系数据库在成本、扩展能力、大数据处理性能等方面遭遇了严峻的挑战。OceanBase顺势而生,它是阿里巴巴/蚂蚁金服完全自主研发的构架在普通服务器之上的分布式数据库,采用面向新硬件和云计算的技术架构,以很低的成本实现了关系数据库的线性扩展、数据高可用和强一致性。今年双十一,蚂蚁的交易、支付、账务等核心系统的数据存储和事务处理都是通过OceanBase支持的。本次报告将介绍传统数据库面临的挑战、OceanBase的技术架构以及在蚂蚁金服的应用实践。
杨传辉 蚂蚁金服OceanBase系统架构师
嘉宾介绍:
OceanBase系统架构师,蚂蚁金服高级技术专家。目前在蚂蚁金服负责数据库事务开发工作,著有<>。
支付宝核心账务去Oracle实践
演讲简介:
内容简介:
1. 支付宝账务核心的技术架构简介和变更历程。
2. Oracle在数据库层遇到问题,以及上OceanBase给我们的带来的好处。
3. 如何在海量资金数据实时变动的情况下不停机完成上OCEANBASE的切换。
4. 账务的OCEANBASE在日常和大促中的表现总结。
李铮 蚂蚁金服 高级技术专家
嘉宾介绍:
负责支付宝主站交易支付核心链路的高可用与高并发技术架构,蚂蚁金服高级技术专家。主导支付宝核心账务系统从Oracle切换到OceanBase上。
Spark大数据计算性能调优与硬件选型性价比
演讲简介:
在Spark大数据应用中,如何让硬件得到更好的效能发挥和更高的性价比一直是我们关心的话题。如何收集硬件利用率和Spark应用程序性能瓶颈分析;当新硬件采购时,如何验证怎样的硬件配置对Spark应用可以有最佳的效能或者最好的性价比。在这个主题中,我们将展示不同特性的典型Spark应用的性能分析和调优手段,揭示如何释放硬件资源,监控硬件性能发挥,并在此基础上,测试不同硬件配置诸如内存、网络、磁盘、CPU选型,对于Spark大数据应用程序性能的影响,指导运维人员决策购买或者升级新的硬件零部件时候,可能可以采取的测试验证方法。此外,我们也将比较Spark应用程序在物理机、虚拟机以及容器技术下的性能分析和对比,提供大数据应用部署在不同基础设施架构下的硬件性价比参考。
程浩 Intel亚太研发中心Spark团队研发经理
嘉宾介绍:
Intel亚太研发中心Spark团队研发经理,Apache Spark活跃开发者,致力于Spark框架在Intel平台架构上的性能分析与优化。
去哪儿酒店大数据建设实践
演讲简介:
主要是关于多数据部门合并背景下的数据治理、仓库建设、架构设计以及提供的数据服务做一些介绍和探讨
数据治理介绍统一的埋点方案、数据收集框架和数据字典建设,以及对元数据的管理
仓库建设从人员设置、结构设计和架构等方面介绍数据中心重构数据仓库的相关经验和教训
架构设计从整体上介绍我们的大数据解决方案和技术选型
数据服务分别介绍我们面对的不同需求方提供的不同服务,包括销售端、供应链端数据系统、产品运营使用的报表系统以及数据接口服务和算法模型服务
胡智 去哪儿网大住宿事业部数据中心负责人
嘉宾介绍:
技术总监,2013年加入去哪儿网,从无线数据架构到负责酒店数据团队,希望和与会的同行们共同分享和探讨我们治理和建设酒店数据中心的一些经验、以及对未来如何用大数据技术改善酒店行业的一些思考。
数据库性能诊断与优化实践
演讲简介:
网易DBA团队随着网易众多互联网产品一起成长,我们希望分享在维护云音乐、考拉海购、新闻客户端等产品数据库的过程中总结的运维经验,讨论关系型数据库常见性能瓶颈,介绍能够帮助及时发现问题的监控体系,和数据库发生性能问题时的主要排查手段、思路,以及分享一些解决数据库性能问题的常用业务优化经验。
倪山三 网易杭州研究院数据库运维专家
嘉宾介绍:
10年加入网易杭研,负责网易众多互联网产品和金融支付类项目数据库运维,对MySQL、Oracle等数据库的运维调优有丰富经验,同时致力于大数据平台、NoSQL、分布式数据库中间件等技术的研究和运维。
网易游戏MongoDB数据备份与恢复实践
演讲简介:
目前,MongoDB已广泛应用于网易游戏内部产品,包括手游、端游数据中心以及其他内部产品等等,在产品迭代过程中难免需要对数据进行扫档、合并等操作,合理有效的数据备份和恢复尤为重要,本次分享主要从MongoDB在网易游戏的应用情况,结合实际需求,谈谈MongoDB数据备份和恢复的实践历程,包括备份策略、恢复方案以及自动化流程等方面。
郑良榉 网易游戏DBA
嘉宾介绍:
主要负责网易游戏内部MongoDB方面应用的服务规范化、自动化以及性能调优方面等方面的研究。
智能数据库诊断优化系统的探索与实践
演讲简介:
数据库诊断优化是提高数据库性能和稳定性的关键技术之一。过去几年阿里巴巴集团数据库规模急剧增长并且业务变化越来越快,传统DBA人工加工具的诊断和优化方法在规模如此之大,业务场景如此复杂的今天面临极大的挑战。阿里巴巴数据库技术团队近几年在智能数据库诊断优化方面有一些探索和实践,也有不少经验和教训,期望能够和大家分享:
为什么从传统DBA为中心的专家诊断优化转变为向开发人员提供自助化诊断优化服务?
如何将数据库诊断优化专家经验转换为产品? 背后的技术和挑战有哪些?
如何基于海量数据分析为诊断优化提供更多有价值的输入?
如何结合机器学习/深度学习等技术提供更加智能的数据库诊断和优化服务?
对于“自诊断,自优化”智能数据库诊断优化系统的思考。
乔红麟 阿里巴巴数据库技术团队技术专家
嘉宾介绍:
花名洪林,阿里巴巴数据库技术团队技术专家。2015年加入阿里巴巴集团,目前负责阿里巴巴数据库智能诊断优化产品CloudDBA开发,曾参与OceanBase云平台开发。2007年毕业于北京邮电大学,先后在多家外企从事过服务器虚拟化(Xen/KVM), 存储及备份(EMC/DataDomain),分布式存储等相关技术开发工作。
Postgres-XZ的数据治理经验分享
演讲简介:
介绍分布式关系型数据库集群Postgres-XZ数据治理的原理,分享Postgres-XZ在微信支付数据治理的使用经验。
许中清 腾讯科技高级工程师
嘉宾介绍:
腾讯云数据库引擎团队高级架构师,主要从事分布式数据库内核引擎的开发和运营,多年的数据库领域的经验,先后供职于华为、腾讯。
私有云数据库的架构演变与未来趋势
演讲简介:
1、介绍行业信息化的现状,阐述为何企业需要分布式数据库和私有云数据库。
2、介绍不同历史时期背景而产生的MySQL数据库的架构,讲述架构演变的过程和背后故事。
3、 企业对私有云数据库的诉求和技术架构。
4、企业关注私有云数据库哪些核心功能以及部分核心功能点的技术原理讲解。
5、分享个人对行业调研、观察和分析的信息而得的出国内私有云数据库的未来发展趋势。
金官丁 上海热璞网络科技有限公司 创始人兼CTO
嘉宾介绍:
主要负责热璞科技的私有云数据库产品规划、架构设计和咨询解决方案。
拥有丰富的千万以上日活跃会员的数据架构设计及直接研发管理经验,传统行业数十个超大型业务系统的去IOE化和分布式数据架构设计,多次主设计数十亿级别数据服务的高并发、高性能、高可用分布式数据库架构。
曾就职于游戏米果、麦肯光明、阿里巴巴、五分钟网络,从事过产品研发、咨询服务和
技术团队管理等;在阿里巴巴工作期间,担任数据库专家一职,负责开源分布式数据库技术
架构探索研究实践(注:设计过广泛用于阿里巴巴内部和行业的分布式数据库中间件产品,
且同行业多数企业模仿此产品路线),后称“去IOE”,应用于整个集团及借助探索的实战经
验和成果,广泛应用于后组建的阿里云;在五分钟网络工作期间,担任技术副总监,负责开
心农场、小小战争等游戏研发团队,设计研发社交游戏引擎(含分布式数据库产品)、社交
游戏运营平台等。
利用DTRACE定位Oracle高并发堵塞案例
演讲简介:
本次分享主要介绍在处理数据库的复杂性能问题时,一般常用的性能工具无法达到要求,定位到问题的根本原因。对于商业化数据库更是如此,在需要进行代码函数层面的分析时,需要借助DTrace这样的高级工具进行应用函数调用的跟踪,从而找到问题的触发点。本次分享将从平安的实际案例出发,向大家介绍如何使用Dtrace快速定位和分析一个金融核心数据库令人困扰又非常奇怪的短暂堵塞问题。希望通过本次分享,能够带给大家解决无论是商业化还是开源数据库问题的新思维。
栾长苗 平安科技 数据库架构师
嘉宾介绍:
现任平安集团数据库架构师。
拥有10年以上的数据库研发运维管理经验。
5年的金融行业从业经验。
擅长金融行业数据库应用架构设计。
丰富的数据库管理经验,一定的应用开发经验,多种数据库产品运维架构经验。
时间序列数据的存储挑战
演讲简介:
时间序列是在时间排序的一系列指标数据。在阿里巴巴内部,时间序列数据有三个主要的来源:服务器和应用的监控指标采集,业务的指标采集以及办公场所IoT传感器上的数据。这三种数据数据来源都具有非常大的数据量,对后台时间序列数据库系统的写性能提出了很高的要求。不仅如此,每一类数据源还具有自己的特点,给时间序列数据库系统带来了非常多的挑战。本次分享,主旨在于探讨在以上业务场景中,阿里内部的时间序列数据库所面临的问题以及解决问题的方法。
钟宇 阿里巴巴 中间件高级技术专家
嘉宾介绍:
英文名uni,花名悠你。全栈程序员,编写了十七年的代码,使用过的编程语言有十来种,包括“原始”的arm汇编,“古老”的c语言,时髦的scala和今年大红大紫的Javascript。目前的工作是在阿里巴巴中间件部门负责时间序列数据库的开发。
京东弹性数据库
演讲简介:
京东弹性数据库是京东商城十年数据库生产经验总结与升华,兼容MySQL协议,适合海量数据的事务处理、分析计算、动态扩展、灵活复制协议、自动备份恢复、自动历史结转、日志订阅、可全面容器化部署的分布式数据库产品系列。
戴东东 京东商城资深架构师
嘉宾介绍:
时任京东数据库技术部资深架构师,负责数据库、大数据等新技术研究工作,拥有近16年IT技术研发及团队管理经验,专注于海量数据库、大数据、机器学习等技术领域的研究,拥有多项技术专利。2012年加入京东,带领团队先后荣获多个奖项,在【第十届开源中国开源世界高峰论坛】上荣获《2015 COPU开源优秀项目奖》、 【第十四届中日韩三国IT局长OSS会议及东北亚开源软件推进论坛】 上荣获《优秀项目技术奖》、京东第四届CTO 体系“金项奖”中荣获第一名。
基于私有云的大数据运维实践
演讲简介:
飞谷云是一个基于openstack搭建的各种大数据场景的实践平台,2014开始基于openstack的J版本的KVM的实例来构建hadoop大数据系统,在运维上网络,存储等做了很多适合hadoop性能参数的调整和版本升级(如K相对于J版本cinder组件改善),但openstack本身也有很多hadoop集群状态管理无法实现的地方,2016年至今基于openstack结合docer的Nova Docker,Heat Docker plugin使用对比,在hadoop集群管理信息监控和性能上应用上也有各自的优缺点。本分享将对基于多hadoop版本管理运维的云平台构建经验及教训做下分享。
张粤磊 飞谷云创始人
嘉宾介绍:
DBA、大数据架构师,十余年一线数据处理数据分析实战经验。先后在咨询、金融、互联网行业担任数据平台技术负责人或架构师。主要关注大数据基础平台、大数据模型构建和大数据分析。在国内金融,电信,IT服务,电力等行业企业做过近百场的专业大数据云计算技术分享及培训。平安壹钱包大数据平台架构师。出版或翻译的大数据书籍有《R与Hadoop大数据分析实战》机械工业出版社2014年11月 第四译者 。《自己动手做大数据系统》电子工业出版社 2016年10月 第二作者。
智慧社保解决方案:社保大数据的分析与挖掘实践
演讲简介:
在社会保险领域,涵盖参保,待遇享受,医疗,用药等多方面的业务,数据已经比较丰富,但在数据的整合、分析、挖掘方面还有所欠缺,特别是近年来,随着社保覆盖面的增大,由于在参保人员管理、财务管理、基金管理方面缺乏精细化管理,导致医保盗刷,重复支付,冒领养老金等现象时有发生,因此对社保管理提出来更高的要求。我们一直在探索 如何使用大数据,进行社保业务审计稽查,发现业务漏洞,和潜在风险,提升社保综合管理服务能力,同时也在沉淀社保的业务场景,业务规则库,形成社保大数据的整体解决方案,以及实现产品化输出。
闵佳(花名:申杭) 袋鼠云大数据首席架构师
嘉宾介绍:
从事大数据行业十余年,曾任淘宝无线高级开发工程师,阿里云高级数据开发工程师,负责阿里集团无线端数据的采集,数据架构设计,建模,应用等。现任袋鼠云大数据首席架构师,负责企业大数据整体架构和解决方案,以及行业业务分析,挖掘,应用等。
基于深度学习的图片检索应用
演讲简介:
传统的图片检索技术主要基于文本query和图片周边文本的匹配,而对图片本身的语义信息利用相对较少。近年来,受益于深度学习的快速发展,计算机视觉及自然语言理解等技术不断进步。对于文本和图片,我们可以提取出精准、丰富的语义信息,从而实现比传统方法更加准确的图文匹配。使用百度开源的PaddlePaddle深度学习平台,我们可以在亿级规模的文本和图片数据上轻松训练模型。我们使用深度图文语义模型,在正版图片检索引擎——百度像素上取得了很好的效果。
朱剑锋 百度深度学习研究院 高级研发工程师
嘉宾介绍:
2010年毕业于北京大学元培学院统计学专业。先就职于深圳华大基因研究院,担任核心算法研究单元负责人,主要研究宏基因组、群体遗传学、序列比对、产前遗传筛查等方向,成果发表于Nature等期刊。后就职于京东商城推荐搜索组,负责离线推荐系统中的点击率预估算法设计、实现及优化。目前就职于百度深度学习实验室,从事图片检索相关方向,主要兴趣为深度学习在自然语言和图像处理中的应用。
机器学习技术在房屋估价中的应用
演讲简介:
房屋估价是链家网为买家、卖家、经纪人三方提供议价基础的工具,目前日均调用量8W次,超过链家网每日电话+IM数量。房屋估价为早期用户提供与平台发生交互的入口,为潜在买房者和卖房者提供价格预估,有效增大用户粘性。目前,北京平均准确率80%(估价误差在5%以内认为估价准确),平均误差4.3%。
宋鑫 链家网数据挖掘资深研发工程师
嘉宾介绍:
毕业于中科院软件所,现就职于链家网商业搜索部,主要负责链家网房屋估价和展位调度相关技术工作。在加入链家之前,在百度负责一些物料审核相关数据挖掘工作。
Spinach:基于Spark SQL在生产环境中实现即席查询
演讲简介:
随着Spark的广泛应用,在数据仓库中用Spark SQL进行批量查询已经较为常见。尽管Spark SQL已经能支持对丰富的数据源进行高效的数据处理,但对于秒级的查询需求,Spark SQL还有不足之处,而很多企业对此也有很大需求。我们基于Spark SQL开发的项目Spinach,正是为了满足秒级甚至更高要求的即席查询需求。
具体来说,Spinach以Fiber为基本单位提供了一套细粒度的分层缓存机制,将数据缓存在堆外内存中,可以有效加速数据的加载。同时,Spinach拓展了Spark SQL的DDL,允许用户自定义索引,目前支持B+树索引和布隆过滤器,可以让用户根据数据特点定义高效的索引,进一步减少IO操作,提升查询效率。Spinach运行时与Spark SQL共享同一个进程,不会引入额外的维护成本。2016年,Intel与百度合作的Spinach平台首个版本在百度内部开放使用,帮助多个核心产品团队从过去低效的批量作业查询方式升级至即席查询模式。在百度的凤巢广告系统中,数据工程师基于每日数T的点击、展现日志进行广告效果分析,Spinach将查询性能提升至原生Spark SQL的5倍,尤其在复杂查询及大数据量分析的场景下将平均延迟从分钟级降低至秒级,同时仅增加3%的索引数据消耗。
王道远 Intel亚太研发工程师/百度研发工程师
嘉宾介绍:
王道远,Intel亚太研发中心大数据技术团队资深工程师,Apache Spark开源社区活跃开发者, Spinach项目Dev Team。李元健,百度基础架构部资深研发工程师,Apache Spark contributor。2011年加入百度,先后参与并负责百度实时计算平台DStream,Tracing平台Rig,Spark平台及公有云BigSQL等核心服务的研发工作。
The Best Practices for Moving Oracle Database to the Cloud
演讲简介:
This session covers how best to move your on-premises Oracle Database and other development instances to a public cloud—such as data and development platform migration—and outlines and details best practices for DBAs, IT staff, and developers. The session also details available options for DBAs and developers for cloud application development and what mix of technologies can be used. Learn about Oracle Database backup, failover, and recovery options, Oracle GoldenGate Cloud Service.
Joel Perez 云和恩墨 首席技术顾问&Oracle ACE总监
嘉宾介绍:
Joel 拥有超过有12年的专业经验,尤其对于高可用、Cloud技术和灾难恢复有着非常丰富的经验,他曾经在多家大型跨国公司担任高级架构师。业务时间 Joel 经常参加各地举办的大型会议,并担任演讲嘉宾。Joel 是南美的第一个OTN Expert,也是该地区唯一的一位Oracle ACE总监。
数据技术的下一站——数据应用
演讲简介:
数据技术日渐成熟丰富,处理海量数据不再是企业的挑战,但大多企业都不知数据该如何利用才能对业务和管理提升真正带来价值。永洪基于自身的实践和探索,找出了一条解决之道。
王桐 北京永洪商智科技有限公司 高级副总裁
嘉宾介绍:
北京航空航天大学工学硕士,拥有10年商业智能领域的产品咨询、产品销售、市场营销经验,此前效力于甲骨文和IBM,均在咨询、销售岗位担任重要职位,曾成功推进多个大型项目的实施,在电商、政府、金融、互联网等行业积累了丰富经验。王桐目前主要负责产品销售和渠道拓展,已为上百家企业用户提供了完善的数据可视化分析解决方案,这些企业既有宝宝树、途家网等互联网领域的明星公司,也有中国移动、中国航天等传统巨头。
SSD 的IO Determinism 特性在数据库业务优化中的应用与拓展
演讲简介:
随着SSD容量和性能的进一步提升,数据库业务对SSD要求不只简单停留在平均IO性能的提升。超大规模数据中心中前沿的数据库应用优化对基于SSD的 IO QoS提出了更细的颗粒度要求并且已经开展了规模性试点应用。这其中例子包括了读优先,写优先,原子写,和延迟Bound等新特性和功能。我们将一同探讨和展示在这一领域的业界前沿研究成果和最新产品原型。
阳学仕 宝存科技 CEO
嘉宾介绍:
美国普林斯顿大学电子工程系博士后;美国费城德雷克赛尔大学电子及计算机工程博士;法国国家科学研究中心访问研究员;清华大学电子工程系学士。超过150项美国及世界专利申请;发表过近30篇国际顶级专业学术文章;阳学仕先生在数据存储控制IC领衔开发,数字通信系统架构,算法研究,等领域有越十年的研发团队管理经验,并于2011年带领美国硅谷资深技术团队归国创办宝存科技,专注于企业级高性能固态存储产品的开发及存储解决方案,先后自主研发出拥有全部知识产权的Direct-IO PCIe Flash系列,Hyper-IO SATA SSD系列以及Hyper-IO NVMe系列,如今宝存科技12.8 TB PCIe Flash为全球PCIe单卡容量最大,无论从性能,容量还是可靠性等方面都代表了业界领先技术。
工业大数据技术与实践
演讲简介:
介绍工业大数据的背景、概念、关键技术挑战,以及“面向高端制造的大数据管理系统”国家重点研发计划团队在工业大数据关键技术上取得的初步进展,最后将介绍一些典型的工业大数据应用案例。
王晨 清华大学 软件学院大数据中心总工程师
嘉宾介绍:
现担任清华大学工业大数据中心、软件学院大数据中心总工程师,北京工业大数据创新中心副主任。加入清华大学前担任IBM中国研究院主任研究员,数据管理技术研究部高级经理,IBM全球分析云研究战略负责人。他是中国计算机学会数据库专家委员会委员。
基于GoldenGate产品的实时数据同步平台架构演进
演讲简介:
GoldenGate是业界最流行的基于CDC的准实时数据同步解决方案之一,在平安已有超过7年的使用经验,目前广泛应用于公司关系型数据库间及大数据平台的实时数据集成。该主题介绍平安引入并推广使用GoldenGate的历程,分享GoldenGate在平安的使用场景、自动化管理体系架构演进及在平安的最佳实践经验。
杜灵强 平安科技 数据集成平台分组经理
嘉宾介绍:
现任平安科技(深圳)有限公司数据库技术部数据集成平台分组经理,2005年加入平安,经历和负责过集团MIS系统群整体架构设计和建设,
目前主要负责公司数据集成平台的规划和管理。擅长数据治理、数据分析、数据集成领域的应用规划、设计和实施。精通Cognos、DataStage、GoldenGate和Kettle等平台。
When TiDB meets Kubernetes
演讲简介:
TiDB 是一个开源的分布式关系型数据库,Kubernetes 是 Google 开源的分布式集群调度器,集群调度器也是未来云的核心基础组件之一,但是一直以来,现有的集群调度方案对于带状态的服务,例如数据库这样的系统的支持略显单薄。分布式数据库作为另一个云的基础组件,如何与调度器结合,包括平滑的容灾,无痛的滚动更新等是一个很前沿的话题,本次 Talk 我会介绍一下在 TiDB 这边做的一些与 Kubernetes 整合的开创性的工作和经验分享。
黄东旭 PingCAP CTO
嘉宾介绍:
分布式系统专家,架构师,开源软件作者。PingCAP 联合创始人兼 CTO,知名开源项目 Codis / TiDB / TiKV 主要作者,曾就职于微软亚洲研究院,网易有道及豌豆荚。2015 年创业,成立 PingCAP,致力于下一代开源分布式数据库的研发工作,擅长分布式存储系统设计与实现,高并发后端架构设计。
百度在线用户数据服务系统
演讲简介:
这个演讲主要是向大家介绍百度的一套服务在线大规模用户数据的数据库系统,这个系统具备高性能高并发,异地多活,具备执行 function 的查询层。
杨嘉义 百度大数据部在线数据服务团队架构师
嘉宾介绍:
百度大数据部在线数据服务团队架构师,负责百度在线用户数据的架构团队。
新浪Redis运维实践
演讲简介:
在业务发展的早期,新浪的Redis服务更多的是考虑如何更快的满足业务的资源申请需求,而忽视了平台自身的规范建设以及对业务使用Redis的「姿势」约束。本次分享主要是聊聊在随着业务规模壮大,运维过程中暴露出来越来越多的问题时,我们是从哪些方面去规范、完善Redis运维平台。同时,我们还会给大家分享一下核心业务运维过程中遇到的一些痛点问题,以及我们如何通过Redis Cluster以及自研的Redis Cluster Proxy来解决这些问题的。
赵景波 新浪网数据系统服务平台DBA
嘉宾介绍:
先后就职于杭州沃趣科技、新浪网。期间从事Oracle、MySQL、Redis相关方面运维的工作。目前主要负责新浪数据系统服务平台Redis自动化运维、kafka运维等相关方面工作。热爱Redis、MySQL等开源DB内部原理的探究。
When TiDB meets Kubernetes
演讲简介:
TiDB 是一个开源的分布式关系型数据库,Kubernetes 是 Google 开源的分布式集群调度器,集群调度器也是未来云的核心基础组件之一,但是一直以来,现有的集群调度方案对于带状态的服务,例如数据库这样的系统的支持略显单薄。分布式数据库作为另一个云的基础组件,如何与调度器结合,包括平滑的容灾,无痛的滚动更新等是一个很前沿的话题,本次 Talk 我会介绍一下在 TiDB 这边做的一些与 Kubernetes 整合的开创性的工作和经验分享。
黄东旭 PingCAP CTO
嘉宾介绍:
分布式系统专家,架构师,开源软件作者。PingCAP 联合创始人兼 CTO,知名开源项目 Codis / TiDB / TiKV 主要作者,曾就职于微软亚洲研究院,网易有道及豌豆荚。2015 年创业,成立 PingCAP,致力于下一代开源分布式数据库的研发工作,擅长分布式存储系统设计与实现,高并发后端架构设计。
节省万台DB的背后--我们怎么做海量数据的精细运营
演讲简介:
腾讯社交网络NoSQL存储发展迅速,内存存储量年增40%,DB设备已经达到2万多台,给运营成本和存储合理性带来了极大挑战。本次议题也旨在分享我们在成本和存储合理性的优化上,所做的一些事情,包括自动采集业务存储属性细节,制定冷热分离策略,冷数据下沉和上升,自动调整内存碎片,让存储在快速发展的同时也具备较高的合理性,从而达到成本节省的目的。本次分享内容:腾讯社交网络NoSQL存储的类型和结构;NoSQL数据快速发展带来的挑战;数据属性挖掘——数据冷热分离的基础;自动化冷数据下沉——数据冷热分离的实现;自动化碎片整理——提高内存使用合理性。
王懂道 腾讯科技高级运维工程师
嘉宾介绍:
腾讯社交网络运营中心高级运维工程师,具有多年海量存储运维规划经验。主要负责存储基础架构运维、存储成本优化、集群架构优化及质量效率提升等核心工作。
会话系统实战-苏宁聊商平台
演讲简介:
随着人工智能、大数据和云计算的飞速发展,人机会话已经无处不在,并成为研究和工业界的热点问题,各种闲聊陪伴和专业助理等智能聊天机器人已经在线上和线下广泛应用,取得不错效果。本次分享会介绍会话系统的演进、基本构成、相关架构,涉及的模型、算法等,并结合实际案例,分享苏宁的聊商平台是如何实现人机沟通和交互的。
李伟 苏宁技术研究院北京分院负责人
嘉宾介绍:
李伟,清华大学博士,在微软亚洲研究院、雅虎北研、百度等公司实习和工作,从事过搜索、推荐、个性化和广告等相关产品的架构、系统、算法和数据等任务。目前担任苏宁技术研究院人工智能实验室技术总监,参与聊商平台、智能家居以及其他智能驱动业务线的研发。
微软云计算在风电行业的智能化实践
演讲简介:
人工智能最近成为了各个行业炙手可热的话题,不论是互联网行业还是传统行业,都在通过机器学习和深度学习寻求业务转型和业务创新。微软提供了与机器学习和人工智能相关的不同平台不同层次的工具和算法,从API层的认知服务,到模块化的Machine Learning Studio,再到Azure Spark和R服务,甚至是构建深度学习架构的底层CNTK服务等,一应俱全。本次演讲将涵盖微软提供的各种机器学习和人工智能服务,介绍如何通过它们快速搭建自己的机器学习算法服务,并展示相关应用案例。
刘士君 微软(中国)有限公司云平台技术顾问
嘉宾介绍:
刘士君本科和研究生均毕业于清华大学自动化系,拥有清华大学自动化系硕士学位。目前在微软开发体验与合作事业部从事多年Azure技术推广工作,特别是人工智能、大数据、物联网等相关技术的主导推广,曾参与多个物联网、机器学习项目的架构和实施。
分布式数据分析与挖掘系统及算法实战
演讲简介:
随着现实世界中数据呈指数级增长,大规模数据分析和挖掘效率提升迫在眉睫。数据分析挖掘系统和算法的分布式并行可扩展是提升大规模数据分析与挖掘的效率的基础,面临巨大挑战。本次演讲主要介绍华为大数据分析与挖掘系统架构和算法框架的演进,揭秘数据分析与挖掘系统及算法框架的分布式并行核心架构,共同探讨华为大数据分析与挖掘系统和算法框架的产品化之路。
涂丹丹 华为 分布式算法实验室负责人
嘉宾介绍:
2011年中科院计算所博士毕业,华为工作六年,分布式算法实验室负责人,目前专注在大数据,人工智能,云计算领域,重点关注三者的结合,通过在云上提供高效算法和快速的分析计算服务发挥大数据的价值。
甲骨文大数据云服务
演讲简介:
甲骨文作为业界领先的云计算提供商,提供公有云、私有云和混合云的解决方案。本演讲介绍在公有云方面,甲骨文提供的完整的、基于多种技术组合的大数据解决方案,包括实时的数据采集,快速的整理和计算,精确化的呈现,一个从数据到智慧的全过程,带来了哪些信息技术的革命,以及在制造、能源、交通、电信、政府、金融等各个行业如何发挥着重要作用。
刘群策 甲骨文公司 资深大数据架构师
嘉宾介绍:
超过十八年的IT行业经验,包括软件开发,系统分析,项目管理和咨询服务。
在大数据和云计算方面有着丰富的知识和经验,包括整体规划和架构设计,项目咨询,解决方案和技术推广,合作和支持等。
机器学习在二手交易平台中的应用实践
演讲简介:
机器学习是人工智能的一个重要分支,近几年发展非常迅速,各种算法不断革陈出新,各行业应用也层出不穷,机器学习也被认为人工智能的未来。本文结合二手交易平台的特点,深入探讨机器学习的应用实践,包括用户画像建设实践、知识图谱建设实践、机器学习算法实践以及如何综合利用上述技术大幅度提升CTR、CVR。
孙玄 58集团技术委员会主席
嘉宾介绍:
58集团技术委员会主席,高级系统架构师,“架构之美”公众号作者,58集团产品技术学院优秀讲师,58同城即时通讯、转转架构算法部负责人,擅长系统架构设计,分布式存储,搜索,推荐,大数据等技术领域。代表58同城多次参加业界知名技术会议的嘉宾演讲,并为《程序员》杂志撰稿 2 篇。 前百度高级工程师,参与百度社区搜索部多个基础系统的设计与实现。毕业于浙江大学。
InnoDB to MyRocks migration in main MySQL database at Facebook
演讲简介:
At Facebook, we open sourced MyRocks -- Flash optimized, space and write efficient MySQL database engine. We are in the process of migrating our main MySQL databases -- storing Facebook social graphs, massively sharded, low latency and automated services -- from InnoDB to MyRocks. We have been very successful so far and have reduced database size by half.
Compared to deploying new software into new or non-critical services, replacing existing stable database engines running on very critical services is much harder. You need to pay attention to lots of things, like how to migrate without stopping or slowing down services, how to migrate within reasonable amount of time, and how to continuously verify not to corrupt any data.
In this session, the speaker will talk about MyRocks production deployment story. You will learn about the followings.
- Overview of MySQL at Facebook
- What is RocksDB and MyRocks, and why we decided to create yet another database engine
- How we prepared, executed and monitored InnoDB to MyRocks migration
- Lessons learned from the migration
Yoshinori Matsunobu Facebook Production Engineer
嘉宾介绍:
Yoshinori Matsunobu is a Production Engineer at Facebook, and is leading MyRocks project and deployment. Yoshinori has been around MySQL community for over 10 years. He was a senior consultant at MySQL Inc since 2006 to 2010. Yoshinori created a couple of useful open source product/tools, including MHA (automated MySQL master failover tool) and quickstack.
SQL审核与十大经典案例细数 - Oracle的DevOps实战
演讲简介:
长期以来,DBA在运维领域处于最后端,往往在出现问题时扮演者救火队员的角色,而今随着DevOps思想的发展和演进,数据库运维领域也在发生改变, SQL开发审核正是数据库DevOps的最佳落地点。 在这个主题中,我们将和大家分享云和恩墨在SQL审核领域的规则探索和产品实践,以及在SQL审核和优化过程中发现的那些匪夷所思的SQL案例。
罗海雄 云和恩墨性能优化总监,ITPUB论坛版主
嘉宾介绍:
罗海雄是ITPUB论坛数据库管理版版主,2012 ITPUB全国SQL大赛冠军得主,他还是资深的架构师和性能优化专家,对 SQL 优化和理解尤其深入;作为业内知名的技术传播者之一,罗海雄先生还经常出席各类技术分享活动。从开发到性能管理,他有着超过10年的企业级系统设计和优化经验。罗海雄曾经服务于甲骨文公司亚太区开发者计划部门,是《甲骨文技术开发人员日》和《Oracle圆桌会议》的组织者和演讲者之一。
海量数据分区改造的玄与机
演讲简介:
表数据暴增让你想到分区改造的同时,迎来了荆棘。
1.快:数据量巨大的表如何改造,速度最快。
2.准:改造后,表索引约束等各属性是否准确。
3.捷:是手动执行还是程序自动实现。
4.控:如果操作出错咋办?
5.还有更多你没想到的细节…..
来来来,走进分区表改造世界,体会这里的玄与机。
梁敬彬 福富软件研究院副理事长
嘉宾介绍:
福富研究院副理事长及公司特级专家、福富公司四星级内训师及福州大学计算机系研究生企业导师、Itpub版主及社区专家、Oracle东南用户组创始人及福建软协高级顾问。十余年数据库设计调优及培训相关经验,在业内有着广泛的影响力。曾多次应邀参加中国、全球数据库技术大会,并任演讲嘉宾。著有多本畅销数据库技术书籍,其代表作《收获,不止Oracle》已成为数据库领域有口皆碑的经典书籍。新书《收获,不止SQL优化》即将开创一个新的里程碑。
如何基于Alluxio提升Spark和Hadoop HDFS的数据访问性能与系统稳定性
演讲简介:
Alluxio(原名Tachyon)是世界上首个以内存为中心的虚拟的分布式存储系统。它为上层计算框架和底层存储系统构建了桥梁,应用可以通过Alluxio提供的统一数据访问方式访问底层任意存储系统中的数据。此外,Alluxio以内存为中心的架构使得数据的访问速度能比常规方案快几个数量级。Alluxio开源项目从诞生的4年来发展迅速,已有超过100个组织机构的 400多贡献者参与开源系统的开发。在本技术分享中,我将首先介绍Alluxio开源项目最新版本的一些重要特性,包括:Restful API、与Apache Hive的整合等;然后,我将重点介绍如何基于Alluxio存储系统的提升Spark中单应用的DataFrame/RDD数据的访问性能并提供多应用的数据快速共享;最后,我们还会分析如何利用Alluxio提升Hadoop HDFS集群的数据访问性能与一致性。
顾荣 南京大学讲师(专职科研)
嘉宾介绍:
博士毕业于南京大学计算机系,现就职于南大计算机系,大数据开源存储项目Alluxio PMC member Mainitainer,Apache Spark contributor。作为知名的Alluxio社区开发者,顾荣完成了Alluxio很多功能稳定和性能增强方面的工作,包括性能测试框架Alluxio-Perf、Alluxio与Hadoop生态系统多个组件的整合、开发社区中文文档等。在与Spark结合方面,顾荣还设计实现了Spark 1.0版本中发布的支持RDD 存储到Alluxio的功能。顾荣目前已经发表或录用论文十余篇(其中10篇第一作者),并且参与编写《深入理解大数据—卷1: 大数据处理与编程实践》书籍中的部分章节。顾荣热衷于技术分享,是南京大数据技术Meetup的组织人(已举行7次活动),也多次在国内知名的技术大会(例如中国数据库技术大会)上进行技术演讲。此外,顾荣曾在Microsoft Research、Intel、Baidu、星环科技(Transwarp)从事过大数据系统研发实习工作。
Apache Eagle:eBay构建Hadoop监控预警平台深入剖析与实践
演讲简介:
在与云计算和大数据时代背景下,各种大型分布式系统例如Hadoop,Spark、Open Stack等层出不穷,eBay作为世界顶尖的电商巨头之一,这些系统在驱动eBay业务增长的同时,管理维护它们的挑战也愈加严峻,同时对监控预警系统提出了更高的要求,例如更强的伸缩能力、更实时的预警能力、支持更复杂的预警规则、更加动态灵活的关联预警等,而传统预警系统如Zabbix、Nagios 、Ganglia等逐渐疲于满足我们的需求,于是,我们决定从零开始打造全新的分布式实时预警引擎-Apache Eagle。Apache Eagle (http://eagle.apache.org/) 是由eBay开源的分布式实时监控与预警系统,专注于解决大规模分布式集群(如Hadoop)运维场景中的服务监控、性能分析、异常预警以及数据安全等问题,于日正式开源并加入Apache软件基金会(http://apache.org)成为孵化器项目。本次分享我们将深入介绍Eagle的设计和实现,以及在分布式实时预警方面的一些经验。
赵晴雯 eBay分析平台架构部工程师
嘉宾介绍:
Apache Eagle PMC和Key Committer,eBay分析平台架构部工程师,从事Apache Eagle的项目开发2年以及开源社区维护; 毕业于上海交通大学,2015年3月加入eBay。
HIVE 迁移 spark 实践
演讲简介:
线上SQL作业从HIVE引擎迁移到SPARK引擎实践。从部署到语义与功能差异得解决方案。以及spark新特性的应用。
黄伟伦(花名:但丁) 河狸家 数据平台工程师
嘉宾介绍:
河狸家数据平台工程师,主导建设河狸家数据平台建设。擅长利用开源数据组件构建高效,稳定能够应对不同业务需求得自动化数据流转系统。通过合理的领域划分,保证系统各部件可以进行独立的升级替换,持续不断地优化系统整提性能。
你知我知的SQL优化
演讲简介:
MySQL DBA碰到复杂SQL时说得最多的应该是拆拆拆,但有时候来不及拆该怎么办呢,我们到底有什么方法来应急呢?在公司快速发展的阶段,偶尔被埋下几个坑那是再常见不过的,如何能不费吹灰之力来解决SQL的问题,一起来看看我是如何处理的。
陈兴隆 凡普金科集团(曾任职) DBA Team Leader/Data Leader
嘉宾介绍:
从事MySQL DBA 5年+,曾使用MariaDB ColumnStore构建数据仓库,精通复杂SQL优化,python和shell脚本开发。
搜索引擎的性能优化之路
演讲简介:
面对日益增长的数据规模和用户流量,对搜索引擎的性能要求也越来越高。在既定的资源条件下,如何最快速的完成用户检索需求,一直以来都是搜索系统需要考虑的重点问题之一。
和大家分享一下搜狗在搜索引擎优化道路上的实践:设计合理的数据结构或是算法让程序执行更加高效;充分利用计算机体系结构设计充分挖掘机器潜能,例如NUMA架构;索引倒排压缩、解压缩算法优化等。
谢远江 搜狗 资深架构师
嘉宾介绍:
搜狗资深架构师,搜狗网页检索系统架构设计和开发负责人。专注于检索系统的底层开发和性能优化,精通检索系统各个流程,尤其擅长索引的压缩、解压缩算法,具有丰富的高性能、高并发系统设计和性能优化的经验。希望能和大家一起分享一下在机器潜力挖掘和执行效率优异的代码设计等方面的经验。
基于数据库虚拟化技术的拷贝数据管理(CDM)平台
演讲简介:
根据权威结构的调研,企业中一个生产数据库在非生产环境中会有10个左右的拷贝用作开发、测试、QA、数据分析等场景。
这些拷贝的创建和维护会给企业带来存储成本增加、人力成本增加、时间成本增加和安全性降低这四个问题。
数据库虚拟化技术可以使用一份数据库拷贝集中创建和管理多个虚拟数据库,虚拟数据库不需要占用额外的存储空间,并且相互独立,
从而可以实现在降低数据使用成本的基础上提高效率和安全性。
李玉亮 上讯信息技术股份有限公司 数据安全产品部高级研发经理
嘉宾介绍:
李玉亮,男,31岁,山东临沂人。目前就职于上海上讯信息技术股份有限公司数据安全产品开发部,负责敏捷数据管理平台(ADM)的研发。
个性化推荐在腾讯业务上的应用
演讲简介:
本次演讲主要介绍腾讯云“数字营销”和“智能推荐”两大产品的算法框架和体系结构。
从最初人工特征选择,再到自动特征选择以及后续的深度学习探索,其中遇到的问题和优化。
尹程果 腾讯云 高级工程师
嘉宾介绍:
腾讯云大数据算法工程师,隶属于腾讯TEG-数据平台部-数据应用团队
广播电视数据可视化技术研究
演讲简介:
在“三网融合”的大背景下,广播电视逐步形成由“传统单向传输网络”向“有线电视双向网络”的平稳过渡,形成有线电视数字化前端+数字传输公用网络+数字机顶盒传输结构模式[1],实现基于全网的广播电视数据的采集、存储与可视化分析,迎来广播电视产业发展的新格局。本次大会将对广播电视数据可视化技术进行介绍,包括广播电视节目—标签可视化、广播电视用户收视偏好可视化、频道跳转关系可视化、新闻舆情传播趋势可视化等内容,希望通过本次演讲让到场的各位嘉宾对广播电视数据可视化技术更深刻的了解。
王鑫 中国传媒大学 副教授
嘉宾介绍:
中国传媒大学信息工程学院副教授,中传影视大数据研究院技术负责人,主要研究方向是大数据和信息可视化,先后负责与参入《有线电视用户大数据采集、分析、挖掘和决策支持系统》、《基于大数据面向新媒体的节目综合评价系统架构和方法研究》、《电影大数据分析决策系统与商业智能》等多个项目,多次获得“校科学技术奖”,并于2015年荣获中国广播电影电视社会组织联合会颁发的“2015年度广播影视科技创新奖”。
数据可视化-无限可能的艺术
演讲简介:
从企业和不同业务部门用户的业务需求出发,通过多个应用场景现场演示,案例分享,和功能特点介绍,解析智能解决方案以及数据探索、可视化工具如何以更加灵活,敏捷,丰富和轻松的方式探索和分析数据,并让企业内更多的用户实现自助分析,从而帮助企业挖掘数据潜力,实践业务创新、和提升业务价值。
贺华 IBM 资深软件技术顾问
嘉宾介绍:
PMI认证的PMP,目前负责IBM业务分析软件产品的推广与技术支持工作。他在数据仓库、数据分析领域有超过15年的从业经验。曾负责分析团队的技术管理工作,他非常熟悉电信业及通讯制造业的企业数据模型、经营分析系统架构、业务分析解决方案。参与并带领过多个企业级数据仓库系统的咨询规划、架构设计、系统实施工作。对于企业级数据仓库、业务分析系统、决策支持系统的建设有着丰富的规划、设计及项目实施经验。2010年加入IBM后,从事过中国联通集团经营分析系统、华为集团财金数据仓库系统的规划、设计工作,并为各行业的企业客户提供业务分析解决方案的咨询、设计工作。他的业余爱好是篮球、书法。
Power BI数据可视化展现
演讲简介:
介绍最新的微软Power BI数据可视化工具以及特色功能。Power BI是目前最新、最热门的商业智能工具,也被称之为第三代商业智能工具 – 全员商业智能(BI),简单说就是让我们不需要掌握复杂的技术,只通过Excel和Power BI 工具就能进行数据分析和可视化呈现。Power BI是基于云的商业数据分析和共享工具,它能帮您把复杂的数据转化为最简洁的视图。通过它,您可以快速创建丰富的可视化交互报告,即使在外也能用手机APP随时查看。只需Power BI一个仪表板界面,就可以检测公司各项业务的运行状况。
赵文超 北京敏捷艾科数据技术有限公司 总经理
嘉宾介绍:
微软Power BI方向MVP(最有价值专家),Power Pivot工坊创始人,前微软(中国)有限公司商业分析师。多年数据分析建模实战经验。精通Power BI、Excel,尤其是微软Power BI 系列工具,包括Excel Power Pivot、Power Query、Power View、Power Map及Power BI Desktop等。2015年创立北京敏捷艾科数据技术有限公司,主要从事Power BI技术的推广和培训咨询服务。2016年3月起,与网易云课堂合作推出“从Excel到Power BI数据分析可视化”系列课程。此课程为国内唯一一个全面包含Power BI系列组件讲解的课程。课程上线以来,已有5000+付费学员,位列网易云课堂同类课程首位。同时,《微软Power BI教程_商业数据可视化》被评为网易2016年度付费好评20课之一。
使

我要回帖

更多关于 如何实现高可用 的文章

 

随机推荐