slailab携手字节跳动、51信用卡、携程、PingCAP等数据大咖探讨数据的魅力
「Slailab导读」11.10日下午“上海大数据技术会”在COCOSPACE漕河泾创新中心顺利举办,本次活动由Slailab携手字节跳动、51信用卡、携程、PingCAP等数据大咖主办。出席嘉宾主要有:51信用卡数据技术团队负责人刘旭辉,字节跳动基础架构研发工程师徐鹏,PingCAP中国区架构师团队负责人余军,携程机票技术总监许鹏。
本次活动共有四个议题,议题一:Apache Hadoop在今日头条的实践;议题二:大数据平台服务构建 - 之务虚心得;议题三:TiDB 在银行核心支付交易系统中的实践;议题四:Elasticsearch集群运维实战。现场氛围十分轻松愉悦,问答不断。由于时间紧张,与会人员在茶歇之余选择和嘉宾进行更多互动交流,效果良好。
嘉宾分享
徐鹏
字节跳动基础架构研发工程师,长期关注大数据处理、分布式系统的研究以及Apache Hadoop相关技术的应用与开发,HDFS/Yarn Contributor,《HDFS 2.X 源码剖析》作者。
字节跳动 Hadoop 平台支撑了抖音短视频、今日头条、火山小视频、西瓜视频等多款亿+DAU APP 的大数据平台需求,目前容量已经超过 2EB,集群规模达到 4w+ 台。本次分享分成了三个部分:第一部分是Hadoop技术概述和演进,简要介绍了Hadoop平台架构、发展历史以及重要演进;第二部分字介绍了节跳动在实践Hadoop时遇到了哪些挑战,以及如何解决;第三部分主要阐述了对未来的规划和思考。
刘旭辉
《大数据平台基础架构指南》一书作者,51信用卡数据技术团队负责人。此前曾负责蘑菇街大数据服务平台整体产品规划和架构设计工作;曾供职于Intel,Spark/Hadoop/HBase/Phoenix等开源项目贡献者;还曾在内核驱动,操作系统中间件,输入法,浏览器等方向有过多年开发和开源贡献经验。
大数据平台服务构建,目标是什么,怎么做, 产生什么价值? 要回答这些问题,首先需要树立正确的人生观和价值观,培养全心全意为人民服务的心态;本次议题主要和来宾分享了演讲者本人在这几年构建大数据平台体系的过程中的一些体会,思考和观察;并以一些核心系统为例,对其构建思路做一下浮光掠影的简介。启发了听众的思考,达到明确自身平台建设目标。
TiDB是一款开源的强一致,高可用,可弹性水平扩展的分布式数据库。越来越多的金融机构,尤其是银行业在考虑采用 TiDB 作为交易型数据库以替换成本高昂的 IOE 架构。本议题以一个真实的银行核心支付交易平台案例,分享了TiDB 在该场景中的细节和实践。
许鹏
Elasticsearch以其强大而易用的搜索功能赢得大量的用户和部署,在实际生产环境中如何保持集群的稳定变得越来越重要。本次主要从Elasticsearch的原理、实际运维中需要关注的重要指标两个层面来讲解了Elasticsearch集群的配置和监测。
活动现场