Datanode Hang with High thread blocked
前段时间线上的Flume突然不稳定起来，各种socket read/write timeout. Block recover也一直不成功.查看Datanode的日志确实这段时间packresponder各种连接失败，读取失败，各种异常：PrematureEOF from inputStream/Connection reset/Interrupted receiveBlock/，在某些条件下也触发坏块的产生.
奇怪的是这段时间有问题的datanode的负载，网卡IO都不高，只是出问题时datanode会伴随着high session.接着部署个集群的thread监控才发现了原因：
Datanode默认每6（dfs.datanode.directoryscan.interval）小时调用DirectoryScanner去做内存和磁盘数据集块校验，而这个过程fdataset这个数据结构一直持有独占锁，导致其他的线程都被BLOCK住，而数据量越大在默认情况1个（dfs.datanode.directoryscan.threads）线程的执行时间越久.虽然在HADOOP-4584后分离了diskscanner和heartbeat sender但是还是存在共享竞争资源，所以严重情况下仍然可能导致假死.知道了原因后，把这个参数调大后可以加速扫描速度，进而降低锁的时间使得datanode快速恢复服务：
可以看到，调整后threadblock数极大降低了：
这个问题在HADOOP2.3.0改善了一部分，将getfilelength部分以async disk scan的方式获取，降低了锁定的时间.
本文转自MIKE老毕 51CTO博客，原文链接：http://blog.51cto.com/boylook/1367235，如需转载请自行联系原作者