更新时间:2024-10-30 00:13:01点击:
11月19日,华为在深圳举行2019全球数据基础设施论坛,面向鲲鹏计算出来产业,宣告全面启动数据基础设施战略,并开源数据虚拟化引擎HetuEngine(河图引擎)。图片来源:维科网据理解,这是时隔今年9月基于“鲲鹏+昇腾”双引擎全面起航计算出来战略后,华为从数据角度对计算出来战略的再次阐释。华为Cloud&AI产品与服务总裁侯金龙在大会上公开发表了《打造出“融合、智能、对外开放”数据基础设施,联手踏入智能时代》主题演说。
以下是侯金龙演说全文:女士们、先生们、朋友们,大家上午好!青睐大家回到深圳,参与首届全球数据基础设施论坛。人类于是以踏入万物网络的智能时代,而数据将沦为智能世界的关键生产资料。今天,我共享的主题是《打造出“融合、智能、对外开放”数据基础设施,联手踏入智能时代》。
建构万物网络的智能世界华为公司的愿景与愿景是:“把数字世界带进每个人、每个家庭、每个的组织,建构万物网络的智能世界”。在智能世界,算力沦为新的生产力,数据沦为新的生产资料,“5G、AI、云”沦为新的生产工具,将使能千行百业踏入智能时代。两个月前,华为在全连接起来大会上公布了“一云两翼双引擎”的鲲鹏计算出来产业布局,基于“鲲鹏+昇腾”双引擎,全面起航计算出来战略,为世界获取最弱算力。
“一云”是指华为云,是生态伙伴发展的黑土地。“两翼”是指智能计算出来和智能数据。数据作为鲲鹏产业中的关键一翼,华为将环绕数据建构末端到端的能力,还包括遗、算数、用的能力,通过5G+云+AI能力,打造出“融合、智能、对外开放”的数据基础设施,获释数据价值,让智能无所不及!智能世界,从数据管理南北数据运营首先,数据将驱动客户体验。当你关上一个App,就不会接到你感兴趣的内容启动时。
精准启动时的背后,只不过就是数据在驱动。比如慢手,每天产生1.2亿个内容标签与用户画像动态给定,数据运营构建内容精准启动时。其次,在企业经营活动中,数据驱动企业生产决策。以大港油田为事例,在经历了50年持续铁矿后,面对资源耗尽、产量上升的挑战。
2019年以来,大港油田使用华为大数据和AI技术,利用测井曲线,融合经验模型分解了每口井的孔隙度、渗透率,寻找了更加多的新的油气层。通过数据运营,为长年稳产500万吨获取了决策承托。
最后,我讲解下数据驱动企业流程修改。华为每年有将近300万人次公干,以前公干牵涉到考勤、机票、酒店,还包括缺席等十几个申请人流程,现在只必须一个流程就可以确实构建“说走就走”。
这是每天45万次后台数据关联撞击的结果。数据运营,构建“让数据多跑路,员工较少跑腿”。智能世界,市场需求与资源不存在极大高差随着5G、AI和云的普及,数据量于是以以难以置信的速度快速增长:从1080P到4K、8K,视频数据量将提高40倍,从4K到4KVR要减少6倍以上;未来每辆自动驾驶汽车每天就不会产生高达64TB数据;深圳一个城市有多达200万摄像头,每天将产生80PB数据,平均值留存30天,大家期望留存更加长时间;大量的数据过去只需遗几天,现在必须留存几个月甚至永久留存。根据预测,全球数据量将从2018年的33ZB快速增长到2025年的180ZB。
但是,产生的数据中仅有将近2%被留存,而被留存的数据中仅有将近10%被应用于。这些海量数据的快速增长背后是必须海量存储和计算出来的资源,数据快速增长是无限的,而存储资源毕竟受限的。
数据仅有生命周期,每比特价值仅次于,每比特成本拟合我们期望对数据的采行、遗、算数、管、用实行末端到端的统合和优化,让数据在全生命周期内更佳用,数据的每比特充分发挥价值仅次于,数据的每比特成本拟合!打造出“融合、智能、对外开放”数据基础设施为构建这个执着,华为打造出融合、智能、对外开放的数据基础设施,让数据系统从孤立无援南北融合,从简单南北智能,从堵塞南北对外开放:通过“超越数据处理与数据存储的边界”,构建数据高效分享和分析,降本增效。通过“AI+存储+云”,构建数据仅有生命周期内智能管理和智能运营,让存储越用越好,价值更加大。通过“数据虚拟化引擎”,统一SQL语法,像用于数据库一样用于大数据。
融合:用于近于珍数据应用于的核心还包括存储和分析。烟囱式IT业务系统带给两个问题:遗的时候不会产生多个校验副本,且数据无法流动,存储成本高;分析的时候不会造成大量数据迁往,分析效率较低。
通过10余年技术累积和创意,华为在存储、数据库和大数据技术上构建了一系列突破,通过超越4堵墙,让数据的每比特充分发挥价值仅次于,数据的每比特成本拟合。超越存储内部系统墙:通过一套架构构建生产、分析、备份、文档的统一管理,一份数据在各个系统中光滑流动,增加拷贝,TCO减少30%以上。超越数据库与存储链路墙:通过算子自始构建将近数据计算出来,增加存储层与计算出来层之间的数据交换,数据采访和处置性能提高2倍。
超越大数据与存储配置墙:通过存算分离出来构建资源灵活性配备,计算出来严重不足阔计算出来,存储严重不足阔存储。并通过弹性EC、数据削减技术增加校验,整体TCO减少30%以上。超越数据库与大数据协同墙:通过协同分析构建数据零迁往,数据库和大数据共享一份数据,分析效率提高100%。
智能:体验淋漓尽致过去,主要依赖人来已完成设备配备和运维,运维人员经验和能力的强弱要求了管理效率的好坏。华为基于AI芯片、存储和华为云的三层架构,通过云上训练和云下推理小说,让系统越用越好、就越用越省。
相结合昇腾处理器的AI能力,自动自学和辨识IO流,提高Cache预取命中率,系统整体性能提高20%。相结合鲲鹏处理器的多核算力,根据有所不同的数据类型,动态优化数据削减算法,TCO减少25%。融合华为云自身大规模运维运营经验,当前可以构建提早14天预测硬盘故障,提早60天预测性能瓶颈,提早365天预测容量严重不足,其中30%的故障可以自我修缮。对外开放:研发近于珍随着业务类型日益激增,大量业务必须跨平台、横跨数据源协同分析。
这种场景下,最引人注目的3个问题是:去找数难、取数无以、用数难。去找数难:传统企业数据类型更加多,结构化、半结构化、非结构化数据共存,缺乏统一数据目录和全局数据视图,要在众多异构数据源中寻找特定数据,只不过大海捞针。取数无以:一个典型的分析业务一般来说倚赖横跨地域跨平台数据协同,必须从多个业务系统获取数据,这要经过多部门间协商、核实才能提供。
用数难:多业务分析必须多引擎协同,这将倚赖多种数据采访技术,就必须开发人员掌控多种开发工具和语言,从而造成研发门槛变高,开发周期逆宽。为了屏蔽数据类型差异、地域差异、语法差异,让数据管理非常简单,用于非常简单,华为发售了“河图引擎”。HetuEngine,从“大数据”南北“大数据库”我们将数据虚拟化引擎命名为河图,就是屏蔽数据基础设施的复杂度,让开发者像用于数据库一样用于大数据,适配现有的生态、工具和技能,提高研发效率2到10倍。
“大禹得河图后始见冬至”,传说中,大禹通过河图掌控河流山川简单的地形地貌,顺利完成水利大业。河图引擎,就是要让数据管理非常简单,用于非常简单,更加便利的挖出数据价值。
它不具备4个核心能力:一个目录:通过元数据在线感官,建构1000+异地异构数据源全局虚拟世界数据视图,超越数据孤岛,数据全局可用,解决问题企业去找数难问题。一个入口:通过对外开放的相连框架、5000节点SQL引擎,构建30种异地异构数据源统一SQL采访,秒级提供,数据全局可得,解决问题企业取数无以问题。
一份数据:通过CarbonData技术,构建一份数据多场景分析,多应用于分享,数据零迁往,数据全局能用,解决问题企业用数难问题。统一安全性:通过细粒度动态许可、敏感数据自动感官技术,构建异地异构数据源集中式安全性配备与管控,数据全局高效率,数据许可时间从天到秒,解决问题企业数据安全与合规问题。开源河图引擎HetuEngine为了更佳地发展数据产业,今天我宣告开源河图引擎,开源版本的河图引擎叫openHetu,将于2020年6月上线。我们将开源内核,开发者可以基于进源代码展开自定义,还包括数据源拓展、SQL继续执行策略等,构建应用于较慢接入,提高研发效率。
平台+生态,联手踏入智能时代华为一直贯彻“平台+生态”策略,通过硬件对外开放,软件开源,使能伙伴,资源共享对外开放、兴旺的鲲鹏计算出来产业生态,联合踏入智能时代。谢谢大家!。
本文来源:NG南宫娱乐-www.yunmobim.com