收藏本站

快速投稿

联系我们

广告服务

基石导航

峰会活动

基石数据

社区

开启辅助访问

大数据中国»社区 › 资源共享 › 行业资料 › spark 系列教程（四十）：RDD 编程二次排序、mapjoin ...

查看: 1277|: 0

spark 系列教程（四十）：RDD 编程二次排序、mapjoin

42 主题	0 回帖	204 积分

积分: 204

发表于 2018-3-16 13:55:10 | 显示全部楼层 |阅读模式

1.二次排序

自定义比较类用于key

用spark rdd实现二次排序

程序结果

借助之前封装的orcutil，把结果保存为ORC格式的文件，注意输出hadoop格式时要将rdd转成pairrdd

程序运行结果

版权声明:原创作品,允许转载，转载时务必以超链接的形式表明出处和作者信息。否则将追究法律责任。来自海牛部落－青牛,http://hainiubl.com

回复

大数据中国微信

版权所有： Discuz! © 2001-2013 大数据.

GMT+8, 2024-11-15 18:47 , Processed in 0.060281 second(s), 24 queries .

快速回复 返回顶部 返回列表