Flink DataStream API

Mar 16,2017 in Flink read (827)

Map 输入一个元素,输出一个元素 DataStream → DataStream DataStream<Integer> dataStream = //... dataStream.map(new MapFunction<Integer, Integer...

Zookeeper 简介(一)

Mar 15,2017 in ZooKeeper read (899)

zookeeper是什么官方说:Zookeeper 分布式服务框架是Apache Hadoop 的一个子项目，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等 zookeeper提供了什么简单的说...

Mar 06,2017 in Zeppelin read (722)

下载首先到zepplin官网下载Binary package with all interpreters包安装解压: tar -zxvf zeppelin-x.x.x-bin-all.tgz 到conf目录把zeppelin-site.xml.template复制一份...

Mar 04,2017 in Hadoop read (769)

IPC和RPC IPC:进程间通信 RPC:remote procedure call,远程过程调用 Socket:套接字编程 Socket:客户端套接字 ServerSocket:服务器端 nio:异步通信 Channel Selector hadoop底层通信,使用Go...

Feb 27,2017 in Hadoop,大数据 read (912)

1. mkdir: Permission denied 原因:使用hadoop fs -mdkir /xxx/xxx创建文件路径时,出现权限问题 1.使用hdfs这个用户登录 sudo -uhdfs hadoop fs -mdkir /xxx/xxxx 2.通过hdfs用户...

Feb 24,2017 in Hadoop read (890)

Yarn框架底层事件分发原理 hadoop yarn调度框架调度mr作业基于事件 job 对应application applicatio基于状态机模型,后台web页面Applications下面的每个标签对应一种状态,有 new new saving subm...

Feb 21,2017 in Hive read (1947)

hdfs更改权限:sudo -u hdfs hadoop fs -chown carpo:hdfs /apps/carpo show databases; use tpcds_orc; show tables; drop table tpcds_orc; create ta...

Feb 18,2017 in Hadoop read (1046)

环境准备进入符号链接的真实目录 cd -P link start x启动图形界面 /etc/default/grub sudo update-grub cat /etc/issue 查看linux版本重启下载hdt,解压放到插件目录添加Hadoop Location...