Python列表理解性能

我做了一些实验,用两种方法来初始化一个二维列表。

我在本地 Macbook Pro 和 Leetcode playground 上进行了测试,结果显示第一种方法比第二种方法快 4-5 倍。

谁能解释列表理解的性能滞后?

n = 999
t0 = time.time()
arr1 = [[None] * n for _ in range(n)]
t1 = time.time()
print(t1 - t0)

t2 = time.time()
arr2 = [[None for _ in range(n)] for _ in range(n)]
t3 = time.time()
print(t3 - t2)

回答

请注意,您正在做两件不同的事情。您打算使用:

[[None] * n for _ in range(n)]

您已将内部列表包装在一个附加列表中,但这不会对计时结果产生巨大影响。列表重复版本肯定更快。

[None]*n非常快,它准确地分配底层缓冲区,然后执行 C 级循环。[None for _ in range(n)]是一个使用 append 的 python 级循环,它是摊销的常数时间,但将涉及缓冲区重新分配。

只看字节码就给出了一个提示:

>>> import dis
>>> dis.dis('[None]*n')
  1           0 LOAD_CONST               0 (None)
              2 BUILD_LIST               1
              4 LOAD_NAME                0 (n)
              6 BINARY_MULTIPLY
              8 RETURN_VALUE

基本上,所有的工作都是在BINARY_MULTIPLY. 对于列表理解:

>>> dis.dis("[None for _ in range(n)]")
  1           0 LOAD_CONST               0 (<code object <listcomp> at 0x7fc06e31bea0, file "<dis>", line 1>)
              2 LOAD_CONST               1 ('<listcomp>')
              4 MAKE_FUNCTION            0
              6 LOAD_NAME                0 (range)
              8 LOAD_NAME                1 (n)
             10 CALL_FUNCTION            1
             12 GET_ITER
             14 CALL_FUNCTION            1
             16 RETURN_VALUE

Disassembly of <code object <listcomp> at 0x7fc06e31bea0, file "<dis>", line 1>:
  1           0 BUILD_LIST               0
              2 LOAD_FAST                0 (.0)
        >>    4 FOR_ITER                 8 (to 14)
              6 STORE_FAST               1 (_)
              8 LOAD_CONST               0 (None)
             10 LIST_APPEND              2
             12 JUMP_ABSOLUTE            4
        >>   14 RETURN_VALUE
>>>

循环工作是在 Python 解释器级别完成的。此外,它通过 增长列表.append,这在算法上是有效的,但仍然比列表重复所做的要慢,列表重复都被推入 C 层。

这是C源代码:

https://github.com/python/cpython/blob/48ed88a93bb0bbeaae9a4cfaa533e4edf13bcb51/Objects/listobject.c#L504

如您所见,它将底层缓冲区分配到所需的确切大小:

np = (PyListObject *) PyList_New(size);

然后,它执行一个快速循环,填充缓冲区而不重新分配。最普遍的情况:

p = np->ob_item;
items = a->ob_item;
for (i = 0; i < n; i++) {
    for (j = 0; j < Py_SIZE(a); j++) {
        *p = items[j];
        Py_INCREF(*p);
        p++;
    }
}


以上是Python列表理解性能的全部内容。
THE END
分享
二维码
< <上一篇
下一篇>>