Hadoop中的排序的设计-创新互联
排序经常会用,但是怎么在大数据中,以Map,Reduce这种形式来进行实现了?
成都创新互联长期为1000多家客户提供的网站建设服务,团队从业经验10年,关注不同地域、不同群体,并针对不同对象提供差异化的产品和服务;打造开放共赢平台,与合作伙伴共同营造健康的互联网生态环境。为南宁企业提供专业的网站设计制作、成都网站设计,南宁网站改版等技术服务。拥有10年丰富建站经验和众多成功案例,为您定制开发。首先你要明确目标对象,对谁进行排序,如果是自定义的对象,需要实现其CompareTo方法,因为这个是对象之间比较大小的方法。
另外你需要设计排序策略,特殊情况,正常情况,编程的时候,应该先写特殊情况,最后写正常情况,这样的话,逻辑更加清晰。
如何设计呢?
首先按照正常逻辑写好Map和Reduce程序,然后输出,最后得到的是一些文本,
在写一个Map,Reduce程序在写,进行排序。思想也是一样的,偏移量为key,(刚学的时候,不知道什么是偏移量,后来才明白,是字段的偏移量,比如第一行,开始偏移量为1,第二行,偏移量就是11,为什么,因为,第一行有10个字符,占据了10位)
在所有的mapreduce程序当中k1,v1,k2,v2,k3,v3中的k1一点用都没有,至于其他的k2和v2,他们可以自己进行设计,这些都只是输出,可以是对象,也可以是数值,包括v3,也可以是NULLwriteable等等之类的。
另外有需要云服务器可以了解下创新互联scvps.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。
网站标题:Hadoop中的排序的设计-创新互联
标题网址:http://scpingwu.com/article/dccjgo.html