数组是学习数据结构的开端。尽管数组看起来非常基础、简单,但是有多少人理解数组的精髓呢?
在大部分编程语言中,数组都是从0开始编号的,回想当年初学java,刚接触数组的时候,我就想过,为什么数组要从0开始编号,而不是从1开始呢?从1开始不是更符合人类的思维习惯吗?
让我们带着疑惑来探索这小小的数组?
一、基本定义:
数组是一种线性表数据结构。它用一组连续的内存空间,来存储一组具有相同类型的数据。
这句定义有三个关键词,线性表、连续的内存空间、相同类型的数据。
线性表就是数据排成像一条线一样的结构,每个线性表上的数据最多只有前后两个方向。像链表、队列、栈等也是线性表结构。
与之相对的是非线性表,比如二叉树、堆、图等。之所以叫非线性,是因为,在非线性表中,数据之间并不是简单的前后关系。
数组有一个特性是:“随机访问”,是因为其连续的内存空间和相同类型的数据。但是有利必有弊,正因为这两个限制,使得数组的很多操作变得非常低效,比如在数组中删除、插入一个数据,为了保证连续性,就需要做大量的数据搬移工作。
二、数组的随机访问
我们都知道数组是根据下标随机访问元素的,但是这个底层是如何实现的呢?
我们拿一个长度为10的int类型的数组 int [] a = new int[10] 来举例。如图计算机给数组a[10],分配了一块连续内存空间1000~1039,其中,内存块的首地址是base_address = 1000。
我们知道,计算机会给每个内存单元分配一个地址,计算机通过地址来访问内存中的数据。当计算机需要随机访问数组中的某个元素时,它会首先通过下面的寻址公式,计算出该元素存储的内存地址:
a[i]_address = base_address + i * data_type_size
其中 data_type_size 表示数组中每个元素的大小。我们举的这个例子里,数组中存储的是 int 类型数据,所以 data_type_size 就为 4 个字节。
三、低效的“插入”和“删除”
有道面试题,数组和链表的区别是什么?很多人会回答:“链表适合插入、删除,时间复杂度为O(1);数组适合查找,查找时间复杂度为O(1)”。
实际上,这种表述是不准确的。数组是适合查找操作,但是查找的时间复杂度并不为 O(1)。即便是排好序的数组,你用二分查找,时间复杂度也是 O(logn)。所以,正确的表述应该是,数组支持随机访问,根据下标随机访问的时间复杂度为 O(1)。
数组为了保持内存数据的连续性,会导致插入、删除这两个操作比较低效。究竟为什么会导致低效?又有哪些改进方法呢?
我们先来看插入。假设数组的长度为 n,现在,如果我们需要将一个数据插入到数组中的第 k 个位置。为了把第 k 个位置腾出来,给新来的数据,我们需要将第 k~n 这部分的元素都顺序地往后挪一位。
public class Array<E> {
private E[] data;
private int size;//元素个数
public Array(int capacity){
this.data = (E[]) new Object[capacity];
this.size=0;
}
public Array(){
this(10);
}
//遍历查找元素
public int find(E e){
for (int i = 0 ;i<size; i++){
if(data [i].equals(e))
return i;
}
return -1;
}
}
//在中间添加元素
public void add(int index,E e){
if (size == data.length)
throw new IllegalArgumentException("data is full !");
if (index<0||index>size)
throw new IllegalArgumentException("index should be >=0 || <=size !");
for (int i = size-1; i>=index ; i--) {
data[i+1] = data[i];
}
data[index] = e;
size++;
}
如果在数组的末尾插入元素,那就不需要移动数据了,这时的时间复杂度为 O(1)。但如果在数组的开头插入元素,那所有的数据都需要依次往后移动一位,所以最坏时间复杂度是 O(n)。 因为我们在每个位置插入元素的概率是一样的,所以平均情况时间复杂度为 (1+2+…n)/n=O(n)。
在首位置插入元素
public void addFirst(E e){
add(0,e);
}
在末位置插入元素
public void addLast(E e){
add(size,e);
}
改进方案:如果数组中的数据是有序的,我们在某个位置插入一个新的元素时,就必须按照刚才的方法搬移 k 之后的数据。但是,如果数组中存储的数据并没有任何规律,数组只是被当作一个存储数据的集合。在这种情况下,如果要将某个数组插入到第 k 个位置,为了避免大规模的数据搬移,我们还有一个简单的办法就是,直接将第 k 位的数据搬移到数组元素的最后,把新的元素直接放入第 k 个位置。
为了更好地理解,我们举一个例子。假设数组 a[10] 中存储了如下 5 个元素:a,b,c,d,e
。
我们现在需要将元素 x 插入到第 3 个位置。我们只需要将 c 放入到 a[5],将 a[2] 赋值为 x 即可。最后,数组中的元素如下: a,b,x,d,e,c
。
利用这种处理技巧,在特定场景下,在第 k 个位置插入一个元素的时间复杂度就会降为 O(1)。这个处理思想在快排中也会用到。
我们再来看看删除操作。跟插入数据类似,如果我们要删除第 k 个位置的数据,为了内存的连续性,也需要搬移数据,不然中间就会出现空洞,内存就不连续了。
//在中间位置删除元素
public E remove(int index){
if (index < 0 || index >=size)
throw new IllegalArgumentException("index should be >=0 || <size !");
E ret = data[index];
for (int i= index+1 ; i<size ; i++)
data[i-1] = data[i];
size--;
data[size] = null;
return ret;
}
//在首位删除元素
public E removeFirst(){
return remove(0);
}
//在尾部删除元素
public E removeLast(){
return remove(size-1);
}
//删除一个元素(通过查找位置)
public void removeElement(E e){
int index = find(e);
if (index !=-1)
remove(index);
}
和插入类似,如果删除数组末尾的数据,则最好情况时间复杂度为 O(1);如果删除开头的数据,则最坏情况时间复杂度为 O(n);平均情况时间复杂度也为 O(n)。
改进方案:实际上,在某些特殊场景下,我们并不一定非得追求数组中数据的连续性。如果我们将多次删除操作集中在一起执行,删除的效率是不是会提高很多呢?
我们继续来看例子。数组 a[10] 中存储了 8 个元素:a,b,c,d,e,f,g,h。现在,我们要依次删除 a,b,c 三个元素。
为了避免 d,e,f,g,h 这几个数据会被搬移三次,我们可以先记录下已经删除的数据。每次的删除操作并不是真正地搬移数据,只是记录数据已经被删除。当数组没有更多空间存储数据时,我们再触发执行一次真正的删除操作,这样就大大减少了删除操作导致的数据搬移。
这种巧妙的方式也是JVM标记清楚垃圾回收算法的核心思想。很多时候我们并不是要去死记硬背某个数据结构或者算法,而是要学习它背后的
思想和处理技巧,这些东西才是最有价值的。
四、数组访问越界问题和动态数组
数组越界在 C 语言中是一种未决行为,并没有规定数组访问越界时编译器应该如何处理。因为,访问数组的本质就是访问一段连续内存,只要数组通过偏移计算得到的内存地址是可用的,那么程序就可能不会报任何错误。
如下c语言代码:
int main(int argc, char* argv[]){
int i = 0;
int arr[3] = {0};
for(; i<=3; i++){
arr[i] = 0;
printf("hello world\n");
}
return 0;
}
这段代码的运行结果并非是打印三行“hello word”,而是会无限打印“hello world”,这是为什么呢?
因为,数组大小为 3,a[0],a[1],a[2],而我们的代码因为书写错误,导致 for 循环的结束条件错写为了 i<=3 而非 i<3,所以当 i=3 时,数组 a[3] 访问越界。
我们知道,在 C 语言中,只要不是访问受限的内存,所有的内存空间都是可以自由访问的。根据我们前面讲的数组寻址公式,a[3] 也会被定位到某块不属于数组的内存地址上,而这个地址正好是存储变量 i 的内存地址,那么 a[3]=0 就相当于 i=0,所以就会导致代码无限循环。
这种情况下,一般都会出现莫名其妙的逻辑错误,就像我们刚刚举的那个例子,debug 的难度非常的大。而且,很多计算机病毒也正是利用到了代码中的数组越界可以访问非法地址的漏洞,来攻击系统,所以写代码的时候一定要警惕数组越界。
但并非所有的语言都像 C 一样,把数组越界检查的工作丢给程序员来做,像 Java 本身就会做越界检查,比如下面这几行 Java 代码,就会抛出 java.lang.ArrayIndexOutOfBoundsException
。
数组越界,是因为数组不可变。我们是否能创造一个动态数组?插入数据后,发现数组满了的时候,我们就重新创建一个新数组,容量是原来数组的2倍,并将旧数组里的数据复制到新数组中。
private void resize(int newCapacity){
E[] new_array = (E[]) new Object[newCapacity];
for (int i = 0 ; i< size; i++)
new_array[i] = data[i];
data = new_array;
}
public void add(int index,E e){
if (index<0||index>size)
throw new IllegalArgumentException("index should be >=0 || <=size !");
//动态扩大容量
if (size == data.length)
resize(data.length*2);
for (int i = size - 1 ; i >= index ; i--)
data[i+1] = data[i];
data[index] = e;
size++;
}
插入数据时数组的容量不够要扩容,删除数据时,我们也要做相应的缩容。
public E remove(int index){
if (index < 0 || index >=size)
throw new IllegalArgumentException("index should be >=0 || <size !");
E ret = data[index];
for (int i= index+1 ; i<size ; i++)
data[i-1] = data[i];
size--;
data[size] = null;
//动态数组,如果元素的数量是容量的一半,可适当缩小容量
//lazy 操作
if (size == data.length * 1/4 && data.length/2 != 0)
resize(data.length * 1/2);
return ret;
}
这里其实有一个问题。在缩容时,为什么不是在元素个数到容量一半时,容量缩小到元素个数大小(就是原容量的一半)?假如这个时候又插入数据不就又要扩容了吗?扩容和缩容都是数据的迁移,是很耗性能的,这就是复杂度震荡。所以缩容的解决方案就是:Lazy。当元素个数是容量的1/4时,再缩容,这就避免了复杂度震荡。
(因为篇幅过长,关于数组的插入、删除、扩、缩容的复杂度分析会单独写一篇文章深入研究。)
五、我们是否已经抛弃了数组
java为我们提供了很多容器,如ArrayList等,在项目开发中,什么时候适合用数组,什么时候适合用容器呢?
如果你是java开发人员,一定对ArrayList非常熟悉。那它与数组相比,到底有哪些优势呢?
我个人觉得,ArrayList 最大的优势就是可以将很多数组操作的细节封装起来。比如前面提到的数组插入、删除数据时需要搬移其他数据等。另外,它还有一个优势,就是支持动态扩容。
数组本身在定义的时候需要预先指定大小,因为需要分配连续的内存空间。如果我们申请了大小为 10 的数组,当第 11 个数据需要存储到数组中时,我们就需要重新分配一块更大的空间,将原来的数据复制过去,然后再将新的数据插入。
如果使用 ArrayList,我们就完全不需要关心底层的扩容逻辑,ArrayList 已经帮我们实现好了。每次存储空间不够的时候,它都会将空间自动扩容为 1.5 倍大小。
不过,这里需要注意一点,因为扩容操作涉及内存申请和数据搬移,是比较耗时的。所以,如果事先能确定需要存储的数据大小,最好在创建 ArrayList 的时候事先指定数据大小
比如我们要从数据库中取出 10000 条数据放入 ArrayList。我们看下面这几行代码,你会发现,相比之下,事先指定数据大小可以省掉很多次内存申请和数据搬移操作。
ArrayList<User> users = new ArrayList(10000);
for (int i = 0; i < 10000; ++i) {
users.add(xxx);
}
比较下来感觉数组无用武之地,太底层了。作为一个初级程序员,我在实际项目中几乎没用到过数组。但是数组并不是那么不堪。
Java ArrayList 无法存储基本类型,比如 int、long,需要封装为 Integer、Long 类,而 Autoboxing、Unboxing 则有一定的性能消耗,所以如果特别关注性能,或者希望使用基本类型,就可以选用数组。
如果数据大小事先已知,并且对数据的操作非常简单,用不到 ArrayList 提供的大部分方法,也可以直接使用数组。
还有一个是我个人的喜好,当要表示多维数组时,用数组往往会更加直观。比如 Object[][] array;而用容器的话则需要这样定义:ArrayList<ArrayList > array。
总结:对于业务开发,直接使用容器就足够了,省时省力。毕竟损耗一丢丢性能,完全不会影响到系统整体的性能。但如果你是做一些非常底层的开发,比如开发网络框架,性能的优化需要做到极致,这个时候数组就会优于容器,成为首选。
六、为什么数组要从0开始编号,而不是从1开始
CPU性能考虑:从数组存储的内存模型上来看,“下标”最确切的定义应该是“偏移(offset)”。前面也讲到,如果用 a 来表示数组的首地址,a[0] 就是偏移为 0 的位置,也就是首地址,a[k] 就表示偏移 k 个 type_size 的位置,所以计算 a[k] 的内存地址只需要用这个公式:
a[k]_address = base_address + k * type_size
但是,如果数组从 1 开始计数,那我们计算数组元素 a[k] 的内存地址就会变为:
a[k]_address = base_address + (k-1)*type_size
对比两个公式,我们不难发现,从 1 开始编号,每次随机访问数组元素都多了一次减法运算,对于 CPU 来说,就是多了一次减法指令。
数组作为非常基础的数据结构,通过下标随机访问数组元素又是其非常基础的编程操作,效率的优化就要尽可能做到极致。所以为了减少一次减法操作,数组选择了从 0 开始编号,而不是从 1 开始。
历史原因:C 语言设计者用 0 开始计数数组下标,之后的 Java、JavaScript 等高级语言都效仿了 C 语言,或者说,为了在一定程度上减少 C 语言程序员学习 Java 的学习成本,因此继续沿用了从 0 开始计数的习惯。实际上,很多语言中数组也并不是从 0 开始计数的,比如 Matlab。甚至还有一些语言支持负数下标,比如 Python。