Elasticsearch：什么是非结构化数据？

非结构化数据定义

非结构化数据是指未按照设计的模型或结构组织的数据。 非结构化数据通常被归类为定性数据，可以是人类或机器生成的。 非结构化数据是最丰富的可用数据类型，经过分析后，可用于指导业务决策并在许多其他用例中实现业务目标。

非结构化数据通常以其本机格式存储。 这增加了将这些数据转化为可操作的见解的挑战。 虽然非结构化数据比结构化数据处理起来更具挑战性，但它通常也包含结构化数据中所没有的丰富、详细的信息。 因此，许多组织正在投资机器学习 (ML) 和自然语言处理 (NLP) 等技术，以更好地分析非结构化数据并从中获取见解。

非结构化数据的示例

非结构化数据是定性的，以文本、图像、音频或视频格式存在。 非结构化数据的不同示例包括：

• 富媒体（rich media），例如音频或视频数据、监控数据、地理空间数据、图像和天气数据。
• 物联网 (IoT) 数据，例如来自设备的股票行情或传感器数据。
• 文本数据，例如电子邮件、短信、发票、记录和生产力应用程序通信数据。
• 科学数据，例如机器生成的太空探索或地震报告。
• 医疗保健数据和成像，例如 MRI、X 射线和 CT 扫描以及其他医疗数据，例如医生的笔记和处方。

随着新数据捕获技术的发展，更多的非结构化数据示例自然会出现。

结构化数据 vs. 非结构化数据

与非结构化数据不同，结构化数据是存在于预定义结构或模型中的定量数据。 这些数据组织严密，因此很容易被企业和机器学习算法处理。

将结构化数据视为完全适合电子表格或 SQL、MySQL 和 PostgreSQL 等关系数据库的数据类型 - 它可以轻松映射到预定义的结构中。 结构化数据用于管理客户关系，因为它为企业提供易于解释的信息：日志、指标、日期、姓名、邮政编码、信用卡号等。

相比之下，非结构化数据是定性数据，不具有任何一致的内部结构。 因此，如果没有正确的工具和专业知识，非结构化数据就很难解释。

了解如何在管理非结构化数据方面取得进展

结构化数据可以让企业全面了解客户的行为，例如姓名、购买历史记录和地理位置。 非结构化数据更适合让企业更深入地了解客户的意图和行为 —— 原因和方式，例如产品评论、支持票证和网站导航模式。

非结构化数据的挑战

非结构化数据的数量、种类和质量差异是寻求处理、管理和分析数据的组织面临的常见挑战。

• 数据量：非结构化数据丰富。 它占现有数据的 80%，并且不断生成。 研究公司 ITC 预计，从 2018 年到 20252 个数据量将增长 430%。
• 数据多样性：非结构化数据由多种数据类型组成，例如文本数据、图像或视频。 需要大型数据存储库（例如数据湖）将非结构化数据存储在一个地方。 非结构化数据固有的多样性也带来了链接挑战 —— 如何交叉引用图像、视频和文本？
• 数据质量：非结构化数据的质量不一致，部分原因在于其多样性。 非结构化数据可能包含错误、不一致或不相关的信息，这使得获取准确的信息变得困难。 预处理或清理非结构化数据以提高质量可能是一项耗时且复杂的任务。
• 分析：与可以快速查询和分析的结构化数据不同，非结构化数据通常包含大量文本，并且不能完全适合数据库。 非结构化数据以其本机格式存储，并且仅在查看时进行处理。
• 安全和隐私：非结构化数据可能包含敏感信息。 确保这些数据的安全和维护隐私可能具有挑战性。
• 集成：由于缺乏预定义的数据模型，将非结构化数据与结构化数据集成以获得整体视图可能会很复杂。

因此，管理和分析非结构化数据的挑战主要来自数据量。 组织可能会遇到大小从几 GB（例如电子邮件）到数 PB（例如全长媒体文件）的项目、对象或文件。 因此，虽然可以手动管理，但许多数据库和工具无法处理如此数量和种类的非结构化数据。 需要特定的工具和技术来存储和处理呈指数级增长的数据。

非结构化数据的应用

经过分析后，非结构化数据为企业提供了各种机会。 作为定性数据，非结构化数据可以帮助企业更好地了解客户、客户意图和市场变化。 这使企业能够提供更好、更安全、更有弹性的客户体验。

非结构化数据的一些应用包括：

• 改善客户体验：分析客户支持聊天、电子邮件和通话记录可以帮助识别常见的客户问题，改进支持协议，个性化客户搜索体验，并更有效地培训客户服务代表。
• 预测患者的医疗保健结果：患者的医疗记录通常包含非结构化数据，例如医生的笔记，可以通过分析这些数据来识别模式、预测患者的结果或为治疗计划提供信息。
• 检测欺诈：在金融服务中，非结构化数据可用于检测欺诈活动。 例如，对电子邮件通信的分析可能会揭示表明欺诈行为的可疑模式。
• 提供推荐：电子商务平台和流媒体服务可以分析非结构化数据，例如产品描述或电影脚本，以改进其推荐算法。
• 训练自然语言处理 (NLP) 模型：非结构化数据对于训练 NLP 中的 AI 模型至关重要。 例如，聊天机器人从本质上非结构化的大量文本数据中学习。
• 训练人工智能进行图像识别：图像形式的非结构化数据是训练机器学习模型以执行面部识别、物体检测等任务的基础。
• 提供预测数据分析：分析非结构化数据使企业能够预测市场趋势并进行相应调整。
• 进行情绪分析：挖掘非结构化数据可以让企业深入了解客户情绪、行为和购买模式。 企业还可以分析来自社交媒体帖子、产品评论和客户反馈的数据，以了解客户对其产品、服务或品牌的整体情绪。

这些非结构化数据的应用为企业提供了许多好处。

降低安全风险

遥测数据分析可以帮助收集有价值的见解，并使用户了解现实世界的网络安全威胁现象和趋势。 通过使用现代安全信息和事件管理 (SIEM) 工具，安全团队可以大规模搜索大量任何类型的数据（包括非结构化数据），以协助监控和合规性、威胁检测、预防和搜寻，以及 事件响应。

提高运营弹性

由于需要确保应用程序的可用性和性能得到优化，组织需要能够观察其系统生成的非结构化数据。 日志和指标可以实时指示用户需求超出容量或服务器错误正在影响性能。 当知道根本原因时，就可以解决它。

增强客户体验

企业可以通过管理非结构化数据为客户提供更好的搜索体验，从而提供更好的用户体验。 丰富的搜索添加功能改善了客户和开发人员的前端和后端搜索体验。 客户可以轻松地为他们的孩子找到带有条纹的黄色玩具，或者员工可以轻松找到他们需要的文件、图像或视频剪辑，无论处于什么环境。

如何管理和分析非结构化数据

从本质上讲，非结构化数据不具有可轻松管理和分析的预定义结构。 因此，为了分析非结构化数据，你首先需要通过定义结构来管理它。 这使你可以存储、组织和保护非结构化数据。

组织好的非结构化数据即可用于处理和分析。 这些分析为组织提供了可行的见解。

有多种工具和技术可供您管理和分析非结构化数据。

• 自然语言处理（NLP）：NLP是一种专注于计算机与人类通过自然语言进行交互的技术。 NLP 的目标是以有价值的方式阅读、破译、理解和理解人类语言。
• 机器学习 (ML)：机器学习是人工智能 (AI) 的一个子集，它使计算机能够学习并做出基于数据的决策，从而随着时间的推移提高性能，而无需进行显式编程。 它使用统计技术来识别结构化和非结构化数据中的模式以做出预测或决策。
• 数据湖：由于其种类和数量，非结构化数据可以存储在数据湖中或创建数据的地方（“边缘”）。 数据湖适用于大量各种类型的数据。 数据湖以本机格式容纳数据，因此视频、音频、文本和文档都可以存储在一起。
• 内容管理系统 (content management systems - CMS)：作为一种应用程序，CMS 使企业能够在 Web 上存储、检索和搜索、索引和发布非结构化数据。

了解寻找数据有多么困难是数字化转型的关键

组织如何利用非结构化数据

各个行业的组织以多种方式利用非结构化数据。 从医疗保健到制造，非结构化数据使组织能够根据洞察力提供更好的服务。

卫生保健

医疗保健行业受益于各个运营层面的非结构化数据。 复杂的聊天机器人可以使医疗保健专业人员理解语音模式以指示特定的疾病。 健康日志应用程序可以帮助在处理数据时识别健康风险。 通过将非结构化数据与结构化数据合并，卫生专业人员可以得出患者护理结果。

金融服务

预测数据分析对于金融界跟踪市场趋势和变化至关重要。 这种情报使组织能够做出相应的调整。 在粒度层面上，非结构化数据用于创建贷款、抵押贷款、商业计划和合同的文档。 非结构化数据分析还支持打击金融犯罪。 组织可以识别欺诈签名，或识别并响应网络钓鱼诈骗。

公共部门

对于公共部门组织来说，数据是一项战略资产。 通过集成网络安全、日志记录和 AIOps 的整体数据策略，组织可以最大限度地提高其价值，以降低成本、简化运营并减少工具和数据的无序蔓延。

电信

电信公司可以通过打破孤岛来提供电信即服务并提高网络的可用性，从而从数据中获得更多收益。 通过将非结构化数据投入使用，他们可以提供更快的数据分析和自动化流程，从而提供更好的客户体验。

营销

数据挖掘和预测数据分析是常见的营销实践，用于识别和了解市场机会和趋势、客户需求以及客户行为和意图。 营销专业人员生成和使用非结构化数据，以更好地与客户沟通并最终改善客户体验。

制造业

非结构化数据，例如计划、模型和蓝图，是制造实践的必要组成部分。 管理和分析农业非结构化数据的能力有助于预测和管理产量。 汽车行业依靠非结构化数据来理解和满足需求。

随着管理和分析非结构化数据的技术不断发展，组织利用其非结构化数据的能力也将不断发展。

非结构化数据的未来趋势

最近人工智能 (AI) 和机器学习 (ML) 的发展正在开创非结构化数据使用的新时代。 随着人工智能和机器学习技术的发展，处理非结构化数据以及将结构化数据与非结构化数据合并以获得更好的业务洞察的能力也在不断增强。

随着捕获数据的新方法的开发，非结构化数据的应用不断增长。 面部识别对于大多数智能手机用户来说已经很常见。 面部识别技术的发展现在可以实现情绪识别，这对于医疗保健和客户服务至关重要。

随着虚拟个人助理技术变得唾手可得，非结构化数据也将有助于提高生产力。 某些任务是自动化的，因此用户可以提高效率和产量。 借助虚拟私人助理，医生可以将更多时间花在患者身上，而减少填写文书工作的时间。

使用 Elastic 管理和分析非结构化数据

当你引入非结构化数据时，你可以处理并应用允许你使用它的结构。 Elastic 提供了许多非结构化数据管理解决方案。

Elasticseach 人工智能相关性引擎为组织提供了一套强大的工具，用于构建利用非结构化数据的人工智能驱动的搜索应用程序。

了解 Elasticsearch 来存储、搜索和分析非结构化数据，以实现搜索、可观察性和安全性等用例。

一旦我们得到这些数据的向量，我们就可以对它进行向量搜索：

更多关于 Elasticsearch 向量搜索的内容，请详细阅读文章 “Elastic：开发者上手指南” 中的 “NLP - 自然语言处理及向量搜索” 部分。