大数据ETL技术中对数据进行局部哈希对比优化对比速度

这篇文章是对上一篇文章《大数据ETL技术中的数据抽取方法》的补充，如果还没看过上一篇文章建议先看上一篇文章，本文在上一篇文章的基础上讨论解决数据量在非常大的情况下如何快速对比数据。

在上一篇文章中我们通过对每条数据的所有字段进行了哈希摘要，将几十个字段摘要成了一串哈希值，加快的我们的对比速度，但这只是将字段进行了压缩，数据的数量还是没有被压缩，如果有几十亿条数据，我们还是不能快速的找到变化的数据。

局部哈希

假如我们两边数据各有一万亿条数据，按照上一篇文章提出的对比思路，我们将扫描对比多少次呢？是一万亿乘以一万亿，因为要遍历两边的数据，这种扫描的效率肯定是不行的，所以我们可以将数据分片打包计算哈希摘要。

在字段做完哈希以后，我们先按id字段排个序，然后按照每一万分个组，例如id在1~10000，10001~20000，20001~30000这样，每个组的哈希值连起来再做一次哈希，就得到了这个组的哈希值，也就是全部数据的局部哈希值，一万亿的数据被我们切分压缩成了一亿个局部哈希，我们对比每个局部哈希值，遇到不一样的，再去对比这个组里每条数据的哈希，就可以找到不一致的数据。

举个例子

为了方便演示，我们以20条数据为例，分别有数据源A、数据源B：

我们先对每条数据的字段内容进行哈希摘要，得到如下内容：

然后我们按照10条为一组，对每组的哈希再摘要哈希值，得到如下情况：

原本需要对比19X20=380次，现在我们只需要先对比两个局部哈希，发现id在11~20的这个区域不一致，那么我们再对比11~20的这个区域中每个详细的哈希值，对比9X10=90次，再加上我们对比局部哈希的两次，我们只对比了92次就把原先需要380次的对比完成了。以下是示意图：