大数据初创厂商Dataddo公司首席执行官PetrNemeth日前对全球年最重要的大数据发展趋势进行了预测。
与人们可能认为的相反,如今投资数字化转型的企业比例并不比新冠疫情发生之前高多少,处于数字化转型更高级阶段的企业所占的比例如今更高。他们正在使用更多的数据生成工具,与更多的最终用户共享数据,并在管理数据方面做出更一致的努力。这对有效的数据管理和商业智能的未来发展提出了许多问题。例如,是否需要更多的工具?如何确保他们生成的数据持续集成、共享和正确解释?将如何确保数据安全和干净?以下是对年及以后的七个大数据趋势的预测,可以帮助商业领袖了解这些问题的答案。对年大数据趋势的预测(1)数据生成工具变得更加多样化,但每种工具的客户生命周期变得更短毫无疑问,可用的SaaS工具的数量以及它们产生的数据量将会继续增长。预计年SaaS市场规模是年的两倍。企业每年都在采用越来越多的工具,而且没有看到结束的迹象。这样做的一个不太明显的副作用可能是缩短了这些工具的平均客户生命周期。各种规模的企业每年在很少使用的工具方面浪费大量的费用。他们不断地尝试采用新的工具,但与此同时却忘记了其他工具。此外,许多工具是在部门、团队和员工层面上采用的,导致大企业对其部署的SaaS工具的一半一无所知,小企业对大约三分之一的工具一无所知。为了减少未使用工具的支出浪费,人们将看到IT部门加强整合和清理,这将缩短大多数SaaS工具的生命周期。例外的是对企业基础设施至关重要的工具,例如CRM和数据集成工具。(2)数据集成变得与架构无关如今,企业通常使用单独的平台进行ETL/ELT、反向ETL,有时还进行数据复制。这是可以理解的,因为ETL/ELT和数据复制是数据集成世界中已经建立的流程,反向ETL是一个非常新的流程,只有少数的供应商提供。反向ETL也是现代数据架构的最后一部分,因此对它感兴趣的企业通常已经与ETL/ELT和数据复制解决方案的供应商建立了关系。因此,为反向ETL寻找一个单独的平台似乎很自然。但是,随着时间的推移,数据集成将成为业务的核心方面,企业将不再意识到集成过程之间的差异。用于集成的工具将变得更加用户友好,用户将不再需要考虑连接数据源和数据目的地的工程类型。他们想要一个服务于所有集成类型的与架构无关的平台。业务人员变得更有数据素养,从低代码到无代码的商业智能,数据集成工具成为标准。认识到需要精通数据的非技术专业人士的比例很高(Qlik公司在年的一项调查显示为58%),期望他们精通数据的决策者的比例更高(Forrester公司在年进行的一项调查显示为82%)。如果这些专业人士想要在就业市场上保持竞争力,他们将不得不培养过去是工程师专属领域的能力。对他们来说,幸运的是,运营数据工具(商业智能工具、数据集成工具,甚至一些数据存储)所需的技术知识越来越少。根据调研机构Gartner公司的预测,到年,70%由企业开发的新应用程序将依赖于低代码和无代码技术。虽然“低代码”和“无代码”这两个术语经常用于描述开发平台,但人们将越来越多地看到它们用于描述商业智能和数据集成平台。这一趋势再加上企业内部对数据素养的推动,将有效地减轻工程师的工作,并使非技术员工能够构建自己的数据解决方案。(3)对公民数据科学家的需求仍在增加公民数据科学家是业务部门的专业人士,他们对数据和分析有一定的了解,有时也会编码,但他们并不是数据科学家。在不久的将来,他们将在弥合业务团队和数据团队之间的差距方面发挥重要作用。他们的职责包括确定成功的度量,收集和解释数据,评估和部署数据模型。根据美国劳工统计局的预测,到年,数据科学领域的增长将超过其他任何领域。因此,像英国石油公司和Epsilon这样的全球性公司已经从公民数据科学家那里获益也就不足为奇了。这类新专业人员的崛起将对许多企业的数据治理策略产生去中心化的影响,这是由中心辐射型治理模型定义的。由此产生的业务团队的授权将把数据团队的重点转移到安全和质量上。(4)数据安全成为买家