Hadoop – 归去来兮

背景

此前接手了单位的大数据项目，项目跑在了一个由14台Linux服务器组成的集群上，其中每一台都是一个高配物理机。数据采用了redis进行缓存和简单持久化，后端基于java和hadoop，数据存储采用了分布式的HDFS作为持续存储。

刚接手的时候，主要是遇到磁盘分配不合理，redis资源配置不当等问题，进行重新疏理和配置时，发现了一个巨大的坑——磁盘空间有限，并且可用空间已经低于10%。当初与此前负责的同事沟通，表明每个服务器都还有一个3.5T的空闲存储未加入存储池使用，当进入每个服务器察看，也确实存在该“漏网之鱼”。