`

海量数据排序(电商应用)

 
阅读更多

问题:
海量排序数据:4亿数据放哪里呢
不放数据库,不放集合类(内存溢出),是存放在文件里

内存有限,50或500亿单词数字文本进行排序?

稳定排序&不稳定排序:
https://www.cnblogs.com/codingmylife/archive/2012/10/21/2732980.html

解决问题
多线程高并发,海量数据排序,查询,统计
C10K->指的是服务器同时支持成千上万个客户端的问题,也就是concurrent 10 000 connection(这也是c10k这个名字的由来)。

解决方案:
多路归并排序:
1个文件拆分成100个文件,多个文件间执行归并排序,最后合并大的文件。
思想:分而治之





java.io和java.
内排序,外排序

有没有其他方式:
haddoop底层 位图排序法
mapReduce
  • 大小: 108.6 KB
  • 大小: 179.3 KB
分享到:
评论

相关推荐

Global site tag (gtag.js) - Google Analytics