随着大数据的重要性和接受度的提高，越来越需要考虑如何组织和托管大数据。答案之一就是Data Lake，它是用于数据准备和组织的最广泛的数据体系结构系统。
简而言之，它允许公司先存储数据，然后在必要时进行检索。就像存储单元一样，它仅存储您的东西并在将来需要时找到它们。
这种方法与传统的数据存储有很大不同，传统的数据存储需要进行数据结构化，并且在记录数据之前通常采用表的形式。数据存储是一种固定形式的解决方案，不灵活，并且涉及额外的重新配置成本。但是到目前为止，它一直是跨国公司的首选。
那么将Data Lake用作数据管理选项的主要原因是什么？
降低成本
因为不必在存储之前设计数据模式，所以没有初始开发成本。而且管理Data Lake的Hadoop系统是开源的，因此没有额外的软件许可费用。
与传统数据仓库的区别在于，与数据湖相比，ETL阶段已完全消失。您不必知道存储在湖泊中的数据类型或有多少个字段。消除ETL流程意味着没有与许可，维护或数据结构增长相关的成本。
敏捷度
添加一个新的单元或一个新的项目可能会更改现有的完整数据结构，从而产生额外的费用。此外，进行这些更改所需的实施时间可能从几天到几周不等。
在数据湖中，所有数据已经存储，只有几处更改，您可以随时进行验证。
这种方法可帮助公司在不断变化的数据世界中保持敏捷。未来几年可能会出现新的数据格式，其中有些甚至是出乎意料的。因此，企业数据存储系统必须足够灵活，才能在不进行重大结构更改的情况下满足所有已建立和正在出现的需求。
多种格式
Data Lake可以处理多种数据格式。尽管数据湖中的某些数据似乎与其他数据无关，但是当从整体角度进行组合和分析时，它们提供了基本的业务洞察力。
例如，如果数据湖包含有关客户的记录，例如在线商店中的姓名，年龄，去年的费用和客户行为统计信息，则很难看到这些详细信息与潜在客户之间的直接链接。但是，将所有内容放在一起可以显示某个年龄的客户倾向于更快地做出购买决定，这可能会影响销售策略。
除了多种格式，数据源还有上下文相关的观点。最常见的资源包括面向客户的应用程序，BI应用程序，销售记录等。物联网的兴起将增加源和数据格式的数量，使Data Lake成为唯一可靠的解决方案。人工智能
因为数据湖使用非结构化数据，所以它们不适合使用传统的基于SQL的工具进行查询。相反，由于大多数数据具有正确的3v（体积，速度，分集），因此可以将其视为大数据并用于训练人工智能算法。
实际上，Data Lake的目标是准备信息以实时（或几乎实时）进行处理。这种动态的方法使公司有机会立即做出反应。将所有数据放置在同一位置意味着在分析之前有较少的时间来恢复数据。
灵活性和规模
数据湖的最典型特征也许是其可伸缩性和灵活性，它可以适应业务数据中的任何更改，而无需进行重大基础架构更改。由于整个体系结构都是基于云的，并且通常可以通过按需付费的业务模型进行访问，因此任何更新或降级仅意味着更改您的付款计划。
这种灵活性与无法实时修改的传统系统形成对比。 Data Lake使得添加或合并数据变得容易。就像真正的湖泊一样，它可以由多条河流合并，并且可以随时添加新的河流，而无需更改以前的配置。同时，旧系统就像是灌溉设备，任何更改都需要更多的瓶子，更多的标签和重新编程。
极限值
尽管数据湖具有许多优势，但它并不是一个可靠的解决方案，而且绝对不是万能药。数据湖的最大风险是它们可能会变成大量的数据，而数据却可以被微不足道地丢弃。
所有保存的数据流必须与kpi和项目的商业目标结合在一起。避免信息的一种方法是创建一个可视面板，即使您不是数据库科学家，也可以通过该面板正确显示数据。
上海IT外包服务网 链接：http://www.linemore.com
中文
电话咨询
微信咨询
公众号
