TimSort排序算法及一个问题分析
TimSort排序算法及一个问题分析
-
摘要
-
排序算法简析
-
-
代码入口
-
排序算法
-
获取两个有序数组A和B
-
找到待归并区间
-
准备操作
-
归并操作
-
TimSort的优化归并操作
-
-
-
问题解析
-
问题解析
-
问题原因
-
解决方案
-
-
参考
摘要
简单介绍了传统归并排序算法，以及Java API提供的TimSort优化后的归并排序算法。
并且分析了代码中出现的一个问题原因与解决方案。
敬请忽略文中的灵魂画风。
排序算法简析
代码入口
Collections.sort、List.sort、Arrays.sort方法是逐级调用的关系，最终的底层是Arrays.sort方法，其代码如下（这几个方法的javadoc都蔚然可观，大家不妨看一看）：
public static <T> void sort(T[] a, Comparator<? super T> c) {
if (c == null) {
sort(a);
} else {
if (LegacyMergeSort.userRequested)
legacyMergeSort(a, c);
else
TimSort.sort(a, 0, a.length, c, null, 0, 0);
}
}
其中的legacyMergeSort(a,c)方法已经被标记废弃；使用的主要是TimSort.sort()方法。这个方法是一个优化版的归并排序。
排序算法
这里简单描述一下核心算法，略过一些细节。
这里的描述出自个人理解（看代码和网上搜到的综合理解），可能与实际情况有出入。欢迎指正。
获取两个有序数组A和B
传统的归并排序中，A和B都是从“一个元素”开始的；“一个元素”天然有序。TimSort会通过插入排序等方法，先构建一些小的有序数组，以提高一点性能。
另外，在TimSort中，A和B都是入参a[]中的一个片段。这样可以节省一些内存空间。
找到待归并区间
从数组A中，找到A[n-1]<B[0] && A[n]>B[0]，以及A[m]<B[length-1] && A[m+1]>B[length-1]。
此时，待归并区间就是A[n,m]和B。
准备操作
在正式开始归并之前，会做一些准备操作。包括将非待归并区间的数据移动到合适的位置上；准备一个临时数组、初始化一些指针数据等。如下图。
数组B被复制到了临时数组temp中。因为数组B的空间会被其他元素覆盖。
原数组A中最后一个元素“12”被放到了原数组B的最后一个位置上。因为这个元素比待归并区间所有元素都更大。
指针B1指向数组A'的第一个元素；C1指向A'的最后一个元素；B2指向B'的第一个元素；C2指向B'的最后一个元素。这四个指针是用来确定两个数组中待比较和待移动的数据范围的
指针D指向的位置，是下一个“已排序”元素的位置。也就是从A'和B'中找到的最大的元素，将会放到这个位置上。
归并操作
归并操作相对比较简单。依次比较A'[C1]和B'[C2]，将较大的数值移动到D的位置上，并将D和对应的C1/C2向左移动一位。重复执行此操作，直到C1<B1或者C2<B2，然后将另一数组中剩下的数据直接写入到数组中即可。
下图是示例数据从准备操作（左上角标记0）到四次排序（左上角标记依次从1到4）的归并步骤。
TimSort的优化归并操作
TimSort在某些情况（触发条件待考）下，会对上述归并操作做一个优化。主要的优化点在于：不是一次一个元素的移动，而是尝试着一次移动多个元素。
下图是按优化后的逻辑，同样的示例数据从准备操作（左上角标记0）到完成排序的归并步骤。注意第一步和第二步每次都移动了两个元素。这里只用了5步就完成了归并；而优化前需要7步。
问题解析
问题现象
代码中有一处排序逻辑，代码是这样的：
|
1
2
3
4
5
6
7
8
9
10
11
|
List<BatchData> batchList = batchs.stream()
.sorted(
new
Comparator<BatchData>() {
@Override
public
int
compare(BatchData o1, BatchData o2) {
if
(o1.getClass().getSimpleName()
.equals(o2.getClass().getSimpleName())) {
return
o1.getId() - o2.getId();
}
return
o1
instanceof
BatchData4Company ?
1
: -
1
;
}
}).collect(Collectors.toList());
|
这段代码在某些特殊情况下，会引发这个问题：
|
1
2
3
4
5
6
|
java.lang.IllegalArgumentException: Comparison method violates its general contract!
at java.util.TimSort.mergeHi(TimSort.java:
899
)
at java.util.TimSort.mergeAt(TimSort.java:
516
)
at java.util.TimSort.mergeForceCollapse(TimSort.java:
457
)
at java.util.TimSort.sort(TimSort.java:
254
)
at java.util.Arrays.sort(Arrays.java:
1512
)
|
问题原因
问题原因是，对某些数据来说，上述代码会导致compare(a,b)<0并且compare(b,a)<0，也就是a<b && b<a。当这类数据遇到某些特殊情况时，就会发生这个异常。
例如，我们假定：
-
a<b && b<a，这是代码中出现的bug
-
假定输入数组a[] = {5,a,7,12,4,b,8,8}，其中待归并的两个有序数组分别是{5,a,7,12}和{4,b,8,8}
-
假定b<7&&7>b。这样可以触发“特殊情况”，即：a和b在某一次归并操作后，会同时成为“是否移动元素”的临界条件。
这样，在“特殊情况”下，优化后的归并操作可能陷入死循环。用画图来表示是这样的。
获取两个有序数组A和B
首先，我们有两个有序数组A和B，如下图所示。
找到待归并区间、做好准备操作
这样，在划分完待归并区间后，得到的结果是这样的：
第一次归并操作：C2落在了元素b上
然后，开始第一次归并操作。由于B'[C2]>A'[C1]，我们需要从C2开始，在数组B'中找到一个下标n，使得B'[n]<A'[C1]。找到之后，将B'(n,C2]复制到D的位置上。复制完成后，将C2和D都向左移动若干个位置。
这里需要注意两点：首先，临界点的比较条件是B'[n]<A'[C1]，这是有顺序的；其次，复制的条件是B'(n,C2]，这是个半包区间。
这样，第一轮归并完成后的结果是这样的：
第二次归并操作：C1落在了元素a上
接下来做第二次归并操作。由于A'[C1]>B'[C2]（这是先决条件里的第三点：b<7&&7>b），我们需要从C1开始，从A'中找到一个下标m，使得A'[m]<B'[C2]。找到之后，将A'(m,C1]复制到D的位置上。复制完成后，将C1和D都向左移动若干个位置。
这里需要注意比较的顺序性和区间半包性。
这一轮操作完，得到的结果是：
第三、四步操作：出现空集、死循环
由于此时A'[C1]<B'[C2]，我们需要重复第一次归并操作。先C2开始，在数组B'中找到一个下标n，使得B'[n]<A'[C1]。但是，由于b<a（注意顺序），这一轮找到的n会等于C2。这就导致了需要复制到D中的元素集合B'(n,C2]是一个空集——或者用伪代码来说，我们需要将一个长度为0的数组复制到D的位置上去。
然后，由于B'[C2]<A'[C1]，我们需要重复第二次归并操作。但是很显然，由于a<b（同样注意顺序），我们又会得到一个空集。
如果不加干预，排序操作会在这里无限循环下去。TimSort中的干预方式就是当检测到空集时，抛出异常。
解决方案
解决方案其实很简单，确保compare(a,b)操作中，如果a>b，那么b<a即可。
更严格点说，compareTo()或compare()操作，必须满足以下条件：
-
(x op y)的结果必须与(y op x)的结果相反。即，如果a>b，那么b<a。
-
传递性。即，如果a>b, b>c，那么a>c。
-
x=y时，(x op z) = ( y op z )
顺带一说，在重写Java api的时候，如果没有十足把握的话，可以将它委托给另一个Java基础类（如String、Integer等）的对应api实现上。例如冯庆的解决方案，本质上就是将compare(a,b)操作委托给了int来实现。
本文转自 斯然在天边 51CTO博客，原文链接：http://blog.51cto.com/winters1224/1914094，如需转载请自行联系原作者