赋能行业数智升级,联通大数据科技优势凸显

2019-08-24 13:54:08 IT产业网 分享

抓图网 www.jsntrg.cn   随着互联网+、人工智能、云计算等新技术不断涌现与成熟,大数据与各行业深度融合,引发了各种变革。引擎服务、电子商务、社交网络、在线音视频、地理信息服务等互联网应用产生了海量数据,企业如何从海量数据中发掘有价值的数据,将数据标准化、平台化、智能化、产品化,最终帮助企业进行正确决策,成为企业大数据落地的重点和难点。

  “在合法合规的前提下,从海量数据中高效的提取数据的应用价值,是大数据落地的关键所在。如果数据量很大,但是无法提取出价值,反而是一种负担。”联通大数据有限公司数据科学总监陈博表示。“从落地的角度看,我觉得大数据需要与各行业深度融合。同样的数据可以用于不同的行业,而如何从数据中形成适合某个行业的应用价值,需要对数据的价值维度与行业的应用场景都有非常深入的认知。”陈博补充说。

  集中运维管理,保障应用基础

  作为通信运营商,中国联通早在2010年,就提出了数据大集中策略;2012年,开始组建全国数据中心,涵盖全国所有省份实现了全网数据的统一集中汇聚与管理。目前,联通大数据公司每天的新增数据量达到150TB以上。

  为了能高效的处理如此海量的数据,联通大数据目前拥有数千节点的集群,每天要运行10万个以上的处理任务。运维如此大规模数据集群,在业界也是不多见的,对于联通大数据来说,并没有太多可以直接借鉴的外部经验,靠的就是自身建立的一支高效的集群运维管理团队,进行长期24小时不间断的监护、优化。在过去一年中,在日增数据量翻倍、集群资源几乎没有扩容的情况下,通过从集群文件碎片、冗余数据库表、RPC任务管理等多方面的持续优化,使集群的整体资源负载反而下降了近30%,从而为上层大数据应用提供了坚实的基础算力保障。

  同时,联通大数据对所有数据业务的开展都是以完全合法、合规为首要前提,内部有着非常严格的安全管理和监控机制,坚持“敏感数据不出门”的原则;对外数据产品与服务更多是基于区域性、群体性的统计分析以及模型加工产生的标签数据,并且任何数据结果的输出都需要经过内部安全网关的层层严格审核,从而为上层大数据应用提供了可靠的安全合规保障。

  在此过程中,联通大数据在大规模数据集群运维、海量数据资产管理方面积累了大量的实践经验,逐步总结形成了一整套完善的运维管理机制,在6月初的大数据产业峰会上获得了“2019年星河奖——最佳数据资产管理实践奖”。

  构建数智能力,释放应用价值

  面对日增上百TB、总量近百PB的海量数据,如何实现大数据的应用价值,陈博认为“大数据企业首先需要对于自身数据的核心价值维度有明确的认识,进而才能清楚如何建立自身的数据能力体系去释放数据的应用价值“。围绕自身的运营商大数据,联通大数据则定义了行为兴趣、位置时序、关系图谱3大数据价值维度,并相应的构建了3大类数智平台能力体系,这背后则用到了诸多NLP、引擎、时空序列、图计算等关键技术。

声明:本站部分资源来源于网络,版权归原作者或者来源机构所有,如作者或来源机构不同意本站转载采用,请通知我们,我们将第一时间删除内容。本站刊载文章出于传递更多信息之目的,所刊文章观点仅代表作者本人观点,并不意味着本站赞同作者观点或证实其描述,其原创性及对文章内容的真实性、完整性、及时性本站亦不作任何保证或承诺,请读者仅作参考。
编辑:星天