售前照料一对一相同
获取专业解决计划
要从数据剖析中获得利益,,,,,首先必需准备准确的数据。。。。。关于许多企业来说,,,,,这是一个很大的瓶颈,,,,,凭证Gartner最新研究,,,,,整个数据剖析历程中,,,,,多达70%的时间都集中在数据准备使命上。。。。。
“实时地查找、会见、整理、转换和共享数据,,,,,仍然是数据治理和剖析中最耗时的障碍之一。。。。。”Gartner数据剖析团队高级剖析师、Gartner数据准备工具市场指南的主要作者Ehtisham Zaidi说。。。。。
Hitachi Vantara首席营销官Jonathan Martin说:“关于希望通过数据剖析来转变营业的企业而言,,,,,主要问题不在于掌握人工智能,,,,,而在于掌握数据管道。。。。。”
他以为,,,,,数据准备是最具挑战性的事情。。。。。“我怎样确定所需要的数据在那里????????我可以建设一个投资组合吗????????我是否可以设计管道,,,,,以自动、托管和受管的方法将所有的数据毗连在一起,,,,,从而使我们能够将这些数据用在准确的时间、位置,,,,,以及合适的人、合适的机械????????”
本文深入研究数据准备为何仍是重中之重的缘故原由,,,,,新一代数据准备工具的特点,,,,,以及为企业选择数据准备工具时需要注重的问题。。。。。

多种因素加剧了数据准备的难度。。。。。
首先,,,,,剖析妄想所需的数据源和数据类型的数目和重大性呈指数级增添。。。。。会见这些数据,,,,,包括企业内部和外部的数据源,,,,,需要大宗的时间、资源、手艺和工具。。。。。
“这是当今时代数据情形的重大性。。。。。”IDC数据集成和完整性软件服务研究主管Stewart Bond说。。。。。“有多种差别的数据类型:事务性数据、主数据、社交媒体数据、结构化数据、非结构化数据、日志文件数据、图形数据。。。。。有种种各样的数据,,,,,也有种种各样的手艺来贮存这些数据。。。。。”
其次,,,,,对自助会见数据和集成的请求数目猛增,,,,,让IT团队不堪重负——这是集中式IT模子和数据集成不再有用的一个迹象。。。。。“IT部分需要通过易于用户使用和明确的工具来设置数据会见额集成,,,,,这是对数据准备的需求进一步上升的缘故原由。。。。。”Zaidi说。。。。。
第三,,,,,数据需求一直转变。。。。。营业剖析师、营业用户、数据工程师和数据科学家等等差别的角色都有差别的数据需求。。。。。这提高了数据准备的难度,,,,,我们需要让一次数据准备知足差别角色一直转变的需求。。。。。
随着数据准备工具的成熟,,,,,痛点已经大大改变。。。。。已往的痛苦在于毗连哪些数据源和准备哪些数据;;;;;;;现在的企业主要关注数据治理、沿袭、可跟踪性和质量。。。。。他们还需要确保具有须要手艺的职员,,,,,能够使用数据准备工具会见准确的数据。。。。。
Bond将此归结为“数据智能”问题——关于数据的元数据。。。。。“相识数据的位置、数据的寄义、谁在使用它、谁可以会见它、为什么我们拥有数据、需要多长时间生涯数据以及人们怎样使用它,,,,,这是一种智能。。。。。”他说。。。。。
值得庆幸的是,,,,,数据准备工具市场正在一直生长,,,,,泛起相识决上述问题的新功效。。。。。上一代工具仅限于支持营业用户所需的简朴数据转换,,,,,现在的新一代工具,,,,,具有与IT团队共享效果和准备模子的功效,,,,,以及诸如数据编录之类的数据治理功效,,,,,使用户能够审查和搜索互联的数据资产。。。。。
Zaidi说:“某些工具现在还嵌入了高级数据质量功效,,,,,这些是上一代工具所没有的。。。。。”这些功效包括性能剖析、标记、注释、重复数据删除、模糊逻辑匹配、链接和合并功效。。。。。这些功效使IT和数据治理团队可以更轻松地提高数据质量并确保数据治理的合规性,,,,,让数据更好地适用种种模子。。。。。
在这里,,,,,机械学习(ML)是要害。。。。;;;;;;;贛L的功效不但可以使数据的匹配、联接、剖析、标记和注释自动化,,,,,并且一些工具可以突出显示敏感属性、异常和异常值,,,,,并与元数据治理和治理工具协作,,,,,以避免敏感数据被果真。。。。。
Zaidi诠释说:“这些机械学习增强的数据准备工具,,,,,允许差别手艺水平的用户接纳数据准备,,,,,同时确保治理和合规性。。。。。”

当评估数据准备工具时,,,,,Zaidi以为企业应该寻找如下要害功效:
?数据摄取和剖析。。。。。寻找一种可视化情形,,,,,使用户能够交互式地摄取、搜索、采样和准备数据资产。。。。。
?数据分类和基本元数据治理。。。。。工具应支持您建设和搜索元数据。。。。。
?数据建模和转换。。。。。工具应支持数据混搭和混淆、数据整理、过滤以及用户界说的盘算、组和条理结构。。。。。
?数据清静。。。。。工具应包括清静性功效,,,,,例如数据屏障、平台身份验证以及用户/组/角色级别的清静性筛选。。。。。
?基本数据质量和治理支持。。。。。数据准备工具应与支持数据治理/治理以及数据质量、用户权限和数据沿袭功效的工具集成。。。。。
?数据充分。。。。。工具应支持基本的数据富厚功效,,,,,包括实体提取和从集成数据中捕获属性。。。。。
?用户协作和运营。。。。。这些工具应有助于共享盘问和数据集,,,,,包括宣布、共享和推广具有治理功效的模子,,,,,例如数据集用户评分。。。。。
别的,,,,,Zaidi还强调了要寻找的以下差别化功效:
?数据源会见/毗连。。。。。工具应具有基于API和基于标准的毗连性,,,,,包括对云应用程序和数据源的外地会见,,,,,例如盛行的数据库PaaS和云数据客栈、外地数据源、关系和非结构化数据以及非关系数据库。。。。。
?机械学习。。。。。工具应支持使用机械学习AI来改善甚至自动化数据准备历程。。。。。
?混淆和多云安排选项。。。。。数据准备工具需要支持云、外地或混淆集成平台设置中的安排。。。。。
?特定领域或笔直领域的产品或模板。。。。。工具应提供针对特定领域或笔直领域的数据和模子的打包模板或产品,,,,,以加速数据准备时间。。。。。
请注重,,,,,您必需思量的主要问题之一是:选择自力的数据准备工具,,,,,照旧选择将数据准备嵌入到更普遍的剖析/BI、数据科学或数据集成工具中的供应商。。。。。若是您有一个通用的用例,,,,,它依赖于一系列剖析/BI和数据科学工具的数据集成,,,,,那么可以思量使用自力的工具。。。。。另一方面,,,,,若是只需要在特定平台或系统中准备数据,,,,,那么使用这些工具的嵌入式数据准备功效可能更有意义。。。。。
泉源:Thor Olavsrud
版权声明:本文章文字内容来自第三方投稿,,,,,版权归原始作者所有。。。。。本网站不拥有其版权,,,,,也不肩负文字内容、信息或资料带来的版权归属问题或争议。。。。。若有侵权,,,,,请联系zmt@fxiaoke.com,,,,,本网站有权在核实确属侵权后,,,,,予以删除文章。。。。。
阅读下一篇