Hadoop大数据平台开发维护需要掌握的相关知识点
1. 如何查看Linux系统当前状态
cpu, io, memory, network
进程列表,查找特定进程pid,进程的cpu, io, memory使用情况,
系统的打开文件句柄数,线程数,当前用户的打开文件句柄数,线程数
java进程
进程pid,内存使用情况,JVM堆情况,Stack情况
如何dump内存
log中出现的Exception如何定位到源码中
常见异常分析
NPE,OOM
OOM有哪些常见种类
JVM GC参数配置
JVM 常用的内存控制参数
linux常用命令
linux shell编写
变量、判断、循环、函数、输入输出重定向、文本提取、统计
测试题: 循环启动一组程序,重定向输出
2. Java开发
Java 集合操作:常用数据结构,增加、删除、遍历、排序、过滤、查找、子集
常用字符串操作,拼接、替换、匹配、长度
常用日期时间操作
异常处理机制
面向对象的理解:封装、继承、多态
类的组织:继承、引用的选择
常用设计模式
测试题:
ip to long, long to ip
用数组实现List,链表
3. Hadoop开发
hadoop相关
hadoop起停
hadoop命令行常用命令
hadoop log查看
hadoop提交、杀死任务
Spark实现文本读取,字段提取,字段过滤,词频统计
业务建模能力: 实时分析需求的思路