十道海量数据处理面试题

Aug 24,2020 in 笔试面试 read (1391)

1、海量日志数据，提取出某日访问百度次数最多的那个IP IP的数目还是有限的，最多2^32个，所以可以考虑使用hash将IP直接存入内存，然后进行统计。再详细介绍下此方案：首先是这一天，并且是访问百度的日志中的IP取出来，逐个写入到一个大文件中。注意到IP是32位的，最多...

sh -c的必要性

Aug 10,2020 in Shell read (1260)

在Linux使用 echo 并配合命令重定向是实现向文件中写入信息的快捷方式。比如要向 test.asc 文件中随便写入点内容，可以： $ echo "信息" > test.asc 或者 $ echo "信息" >>...

Jul 08,2020 in IntelliJ IDEA read (15074)

安装插件在插件市场搜索Choose Runtime,然后安装插件重启IDEA 重启后使用Find Action快捷键Ctrl + Shift + A,打开Find Action,搜索Choose Runtime,打开后选择要使用的JDK,点inst...

Jun 24,2020 in Python read (1287)

sys模块是python内置的，因此我们导入自定义模块的步骤如下：先导入sys模块然后通过sys.path.append(path) 函数来导入自定义模块所在的目录。使用sys.path.append()方法可以临时添加搜索路径，方便更简洁的import其他包和模块。...

Jun 24,2020 in Python read (1307)

package标识在pycharm中new，有Directory和Python Package两个选项。分别创建Directory和package，发现前者只是一个空目录，后者包含一个init.py文件。这就是init.py的package标识作用，他告诉python...

Jun 24,2020 in 杂七杂八 read (1171)

Lit.后是直译 Fig.后是对应西语谚语或引申解释使用DeepL林则徐虎门销烟 lit. Lin Zexu put out cigarettes at the Humengshu Gate(idiom); fig. a smoke-freeze

Jun 19,2020 in Java read (1455)

话说，中间件的选择上，Spring（SpringBoot）一直是业界的风向标。比如Spring一直使用「Jackson」，而没有使用Gson和fastjson。 SpringBoot2.0默认数据库连接池从TomcatPool换到了「HikariCP」。在本地缓存方面，Sp...

Jun 15,2020 in JVM,Java read (1327)

重量级锁？自旋锁？自适应自旋锁？轻量级锁？偏向锁？悲观锁？乐观锁？执行一个方法咋这么辛苦，到处都是锁。今天这篇文章，给大家普及下这些锁究竟是啥，他们的由来，他们之间有啥关系，有啥区别。重量级锁如果你学过多线程，那么你肯定知道锁这个东西，至于为什么需要锁，我就不给你普及...