腾讯007大数据基础平台介绍

前言

在5月17日，大数据开放日（深圳站）活动中，来自腾讯数据平台部的高级工程师、TDW技术负责人赵伟为大家详细介绍了腾讯大数据基础平台。
在面对海量数据、降低成本、稳定性要求提升、快速实现等现实的架构挑战要求下，
打造一款具有核心技术，能够快速提升企业竞争力的大数据平台，刻不容缓，
腾讯大数据基础平台也不断在实践中成型：

• Gaia，基于Yarn的通用资源调度平台，提供高并发任务调度和资源管理，以实现集群资源共享、可伸缩性和可靠性；不仅可以为MR等离线业务提供服务,还可以支持实时计算，甚至在线服务业务。
• TDBank，Tencent Data Bank，主要负责 从业务数据源端实时采集数据，进行预处理和分布式消息缓存后，按照消息订阅的方式，分发给后端的离线和在线处理系统；
• TDW，Tencent distributed Data Warehouse， 腾讯分布式数据仓库，支持百PB级的数据存储和计算，为腾讯公司产品提供海量、高效、稳定的大数据平台支撑和决策支持；
• TRC，Tencent Real-time Computing， 基于Storm在线消息流的实时计算模型，对海量数据进行实时采集、流式计算、实时存储、实时展示的全流程实时计算体系。