Bucketing File Sink 创建一个默认的bucketing sink,sink到一个由时间作为切分的滚动的文件 DataStream<String> input = ...; //只需要一个文件存储的路径 input.addSink(new Buc...
Continue reading1. 如何查看Linux系统当前状态 cpu, io, memory, network 进程列表，查找特定进程pid，进程的cpu, io, memory使用情况， 系统的打开文件句柄数，线程数，当前用户的打开文件句柄数，线程数 java进程 进程pid，内存使用情况，JV...
Continue readingIPC和RPC IPC:进程间通信 RPC:remote procedure call,远程过程调用 Socket:套接字编程 Socket:客户端套接字 ServerSocket:服务器端 nio:异步通信 Channel Selector hadoop底层通信,使用Go...
Continue reading1. mkdir: Permission denied 原因:使用hadoop fs -mdkir /xxx/xxx创建文件路径时,出现权限问题 1.使用hdfs这个用户登录 sudo -uhdfs hadoop fs -mdkir /xxx/xxxx 2.通过hdfs用户...
Continue readingYarn框架底层事件分发原理 hadoop yarn调度框架 调度mr作业 基于事件 job 对应application applicatio基于状态机模型,后台web页面Applications下面的每个标签对应一种状态,有 new new saving subm...
Continue reading环境准备 进入符号链接的真实目录 cd -P link start x启动图形界面 /etc/default/grub sudo update-grub cat /etc/issue 查看linux版本 重启 下载hdt,解压放到插件目录 添加Hadoop Location...
Continue reading初识MapReduce 输入给map的时候每条数据加上行号构成key,value对,经过map的处理转换为另一种k,v对,然后shuffle,使reduce更容易处理 编写Mapper类 import java.io.IOException; import org.ap...
Continue reading节点架构 单节点体系 集群架构 节点(进程)之间的距离:到达共同节点距离之和 副本存放策略 V1 同一个机架放2分,另一份放到其他机架(当前节点为存储节点) V2 在一个机架上放1分,另外2分放到其他机架,防止断点数据丢失(当前节点为存储节点) 如...
Continue reading