龙石数据中台V3.5.1焕新升级|数据质量平台优化大数据底层架构
视频简介
为提升数据质量问题,龙石数据在2019年开始研发数据质量管理平台。经过三个阶段的迭代升级,平台现可支撑百亿级数据评测。
视频内容
龙石数据质量管理平台自19年启动研发,就是为了解决数据的质量问题和标准问题,旨在让数据从能用到好用。
【图(1)】
随着用户的增多,海量数据评测的需求也日益增多,性能提升势在必行。
第一阶段,性能是挑战,1,000万数据量耗时4个小时。第二阶段,我们引入大数据集群架构,千万级数据量耗时缩短到5分钟。
【图(2)】
第三阶段,通过自研调度算法和优化底层存储架构,平台可支撑百亿级数据量的评测。
【图(3)】