腾讯003元数据重构方案与效果展示
来源网络整理 前言
面对大规模应用场景下HIVE暴露出来的问题,如HIVE进行内存占用高、GC频繁,元数据库接口性能下降,
元数据库压力大、不堪重负等问题,TDW采取了对元数据重构,如去除ORM层,直接使用JDBC;
优化应用层访问流程,细化元数据接口,使其按需获取;分散元数据为认证元数据与库表元数据等。
经过上述一系列的优化后,线上响应速度得到明显提升。
专注于大数据平台架构,平台开发、数据开发与分析、数据产品建设