引言
了解了前面不同的海量数据的处理,我们通过这道题目来加深印象.
题目1
有一个包含100亿个URL的大文件,假设每个URL占用64B,请找出其中所有重复的URL.
解决方式
解决大数据问题的常规方法:把大文件通过哈希函数分配到机器,或者通过哈希函数把大文件拆成小文件.一直进行这样的划分,直到划分的结果满足资源限制的要求.若干是由具体资源限制计算出精确的数量.
我们以题目一为例子:
将100亿字节的大文件通过哈希函数分配到不同的机器上的,然后每一台机器分别统计分给自己的URL是否有重复的URL,根据hash函数的性质,相同的URL肯定被分在同一个机器上.
或者把这个大文件通过哈希函数拆成100个小文件.
题目2
某搜索公司一天的用户搜索词汇是海量的,请设计一种求出每天最热top100词汇的可行办法.
解决办法
哈希分流,具体如下
图片.png
