为什么QA需要一个数据流程

为了理解数据测试是如何工作的，我们必须首先理解什么是数据工程。然后我们可以研究数据质量，以及如何测量数据质量。

数据工程与分析

为了理解数据测试从何处开始，我们需要知道数据是如何设计的，以及它与其他类型编程（如软件开发）的区别。让我们从什么是数据开始。数据是保存在业务工具中的某种聚合信息。该工具是电子表格还是数据库取决于业务，但创建数据的原始位置是我们的起点。

源中的原始数据对任何人都没有多大用处，这就是数据工程的用武之地。在数据工程中，我们将获取数据并使其有用的过程称为提取、转换、加载或ETL。一旦数据从源中提取出来，就可以根据业务需求进行转换，并加载到业务分析工具中。在这里，业务分析师和财务分析师有机会使用数据集创建报告、图表和其他要求的指标，为业务决策提供信息。

T代表转变

转换可能是数据工程过程中最关键的一点。让我们以一家拥有多家店铺的零售企业为例。比如说，有几家老旧的商店使用过时的销售点（POS）系统，而新的商店使用的是更现代的系统。交易记录和存储在不同数据库上的每种类型的POS系统中是不同的。如果企业主希望看到每周的销售报告，则需要两个系统的事务汇总。

要做到这一点，必须有一个转换过程，可以从每个POS系统中获取交易信息，并以合理的方式将它们组合在一起。除此之外，关于交易数据及其与销售报告的关系的问题很快就会出现。我只想问一个问题：与实际销售相比，每个系统中的退货是如何计算的？

让我们进一步看这个例子。原始POS系统将所有信息存储在一种与较新POS系统的数据库不兼容的数据库中，因此无法简单地连接信息。现在，转换阶段必须包括某种类型的数据转换，然后才能合并事务。最终，企业主只希望在报告中接收聚合的销售信息，这在一开始听起来很简单。

对数据的需求（销售报告）和将其转化为有意义的东西所需的技术工作（整合不同的系统）是定义数据集含义的两个关键要素。在我们的例子中，我们正在寻找“销售”的含义，然后需要一份关于它的报告。正如您可以想象的那样，这种模糊和主观的业务定义会使测试数据变得非常棘手。

工程过程中的数据测试

既然我们已经了解了数据质量的六个维度、数据工程的一般工作方式以及数据需求的业务定义的关键重要性，那么我们的任务就变成了将所有这些因素结合起来创建一个测试计划。数据质量工程师是数据工程过程的核心；他们支持工程师的技术工作，以交付所需的数据集，并与业务分析师合作验证该数据。

数据质量保证测试的类型

在软件测试领域，有几种常见的有用的质量测试类型，用于识别bug、确认工作组件和调查软件的预期行为。这些类型的测试在数据测试领域仍然非常有用，因此，如果您了解这些测试类别，那么您已经了解了一些关于数据测试的知识。

数据测试是一个独特的领域，每天都在增长和变化。没有太多被广泛接受的数据质量标准，甚至像数据质量的六个维度这样的标准也存在争议。越来越多的数据科学领域，如机器学习和人工智能（AI）正在发展，并创造了验证数据准确性、一致性、完整性等的新方法。

我们所知道的是，目前的数据质量在很大程度上取决于所请求数据集的主观含义以及数据管道末端人员的需求。这使得我们很难找到合适的基准来测试和提高数据质量，但我们仍然可以利用我们对有用的测试类型和数据质量维度的知识来验证我们每天使用的数据。随着我们对如何使用数据的理解的发展，数据质量度量和我们对数据测试的理解也将不断发展。