教育新闻网商业领袖依靠商业智能。这得益于他们的DataOps团队的辛勤工作，他们确保数据科学BI流程的复杂连接始终保持畅通。考虑到数据在整个过程中的中心性，如果不让业务领导首先了解有效的DataOps意味着什么，就不能期望技术团队来管理它。否则，随着战略方向满足技术，时间，技能和预算的实际限制，摩擦会加剧。大数据和数据处理的基本承诺是为组织提供洞察力，以做出更明智的决策。但是，我们很少会看到组织关注于如何收集数据以及关注于如何对数据采取行动。换一种说法，他们没有适当考虑他们所拥有的数据...好吧...收集数据。鉴于这些见解可以在操作，可靠性和优化资源使用方面带来多大的改变，因此这似乎是一个疏忽。
但是，在深入研究如何整理和利用这些数据之前，先了解一下可以在数据处理和存储中收集哪种输入是有益的。如果使用得当，它们可以大大改善流程并改善工作负载管理。
实际上，开始审查数据处理中现有指标收集过程的一个好地方。虽然这听起来像是一个陌生的起点，但收集数据的方法通常是负责数据收集的团队所固有的。为了增加指标覆盖范围，在组织内部塑造这种文化是确保您生成所需洞察力的最佳方法。一个简单的起点是鼓励团队逐个处理数据。组织产生的数据量，即使是很小的数据量也很大。实际上，它似乎势不可挡。但是，重要的是要记住，并不需要一次全部解决所有问题。相反，确定哪些数据将最好地驱动对您的组织最重要的结果。这些将产生最大的价值，并从那里开始，可以对其他数据类型给予更多考虑。另一个考虑因素是尝试使开发人员和分析人员社区的过程尽可能简单和透明。在流程变得混乱的组织中，这些团队可能会迷失方向，并且在数据收集中会出现空白。简化数据收集过程的一种简单措施是使其成为将作业部署到生产中的要求。
在审查组织的数据收集过程时，这也是确保数据过程仍符合法律规定的适当时机。数据保护和隐私应始终是组织的头等大事，过去几年中的许多法律都反映了这一点。欧洲的通用数据保护条例(GDPR)和加利福尼亚的消费者保护法也许是最令人难忘的。尽管这些法律中的规定很多(对于本文而言，太多了)，但它们围绕着几个简单的前提。简而言之，他们希望组织：
了解他们正在收集哪些个人数据
了解个人数据存储在哪里
了解从个人数据中获得什么见解
了解哪些内部/外部组可以访问个人数据
能够掩盖个人数据
能够告知客户他们拥有哪些数据
能够根据要求删除客户的个人数据
幸运的是，在查看组织应收集的不同指标时，其中许多要求自然就会变得可用。那么组织应该优先处理哪些数据?显然，某些数据比其他数据提供了更大的价值，并且要收集的度量标准点很多，这些都是应重点关注的数据。可能最容易收集的指标是有关作业运行时间的信息。查看什么时间，谁要求运行该作业的运行应该相对简单。另一个简单的指标是特权。使用的权限包括什么，正在运行的代码或SQL的运行时间，启动的时间等。这些类型的指标提供了有关生态系统中正在进行哪些数据处理的更详细的描述。但是，大多数组织都不太可能全面解决这些基本问题。
