Exit codes and kill-job signals 退出代号和杀死作业的信号 The exit code from a batch job is a standard Unix termination status, the same sort of numbe...
Continue reading1. mkdir: Permission denied 原因:使用hadoop fs -mdkir /xxx/xxx创建文件路径时,出现权限问题 1.使用hdfs这个用户登录 sudo -uhdfs hadoop fs -mdkir /xxx/xxxx 2.通过hdfs用户...
Continue readingYarn框架底层事件分发原理 hadoop yarn调度框架 调度mr作业 基于事件 job 对应application applicatio基于状态机模型,后台web页面Applications下面的每个标签对应一种状态,有 new new saving subm...
Continue readinghdfs更改权限:sudo -u hdfs hadoop fs -chown carpo:hdfs /apps/carpo show databases; use tpcds_orc; show tables; drop table tpcds_orc; create ta...
Continue readingORA-01861: 文字与格式字符串不匹配 可能是插入字符串没加引号,或插入时间直接按字符串插入,使用to_date函数转换一下就可以了,例如:to_date('2003-01-02','yyyy-mm-dd') ORA-00911: 无效字符 存在中文标点,或把字符串当...
Continue reading环境准备 进入符号链接的真实目录 cd -P link start x启动图形界面 /etc/default/grub sudo update-grub cat /etc/issue 查看linux版本 重启 下载hdt,解压放到插件目录 添加Hadoop Location...
Continue reading初识MapReduce 输入给map的时候每条数据加上行号构成key,value对,经过map的处理转换为另一种k,v对,然后shuffle,使reduce更容易处理 编写Mapper类 import java.io.IOException; import org.ap...
Continue reading节点架构 单节点体系 集群架构 节点(进程)之间的距离:到达共同节点距离之和 副本存放策略 V1 同一个机架放2分,另一份放到其他机架(当前节点为存储节点) V2 在一个机架上放1分,另外2分放到其他机架,防止断点数据丢失(当前节点为存储节点) 如...
Continue reading