Python是一种脚本语言。 与C / C ++之类的编译语言相比,Python在效率和性能上有一些缺点。 但是,我们可以使用一些技术来提高Python代码的效率。 在本文中,我将向您展示我通常在工作中使用的加速技术。
测试环境是Python 3.7,macOS 10.14.6和2.3 GHz Intel Core i5。
0.优化原理
在深入探讨代码优化的细节之前,我们需要了解一些代码优化的基本原理。
- 确保代码可以首先正常工作。 因为快速制作正确的程序要比制作快速的程序容易得多。
- 权衡优化成本。 优化要付出代价。 例如,更少的运行时通常需要更多的空间使用,或者更少的运行时通常需要更多的运行时间。
- 优化不能牺牲代码的可读性。
1. Python中正确的数据类型用法
1.1用set替换list以检查元素是否在序列中
根据Python的时间复杂度,list的s操作中x的平均情况为O(n)。 另一方面,集合的s操作中x的平均情况为O(1)。
1.2使用defaultdict初始化字典
我们应该使用defaultdict进行初始化。
2.用生成器表达式替换列表推导
- # Bad: 447ms
- nums_sum_list_comprehension = sum([num**2 for num in range(1000000)])
- # Good: 300
- msnums_sum_generator_expression = sum((num**2 for num in range(1000000)))
生成器表达式的另一个好处是,我们无需迭代就可以在不将整个列表对象构建和保存在内存中的情况下获得结果。 换句话说,生成器表达式可以节省内存使用量。
- import sys
- # Badnums_squared_list = [num**2 for num in range(1000000)]
- print(sys.getsizeof(nums_squared_list))
- # 87632
- # Goodnums_squared_generator = (num**2 for num in range(1000000))
- print(sys.getsizeof(nums_squared_generator))
- # 128
3.用局部变量替换全局变量
我们应该将全局变量放入函数中。 局部变量比全局变量快。
4.避免点操作
4.1避免函数访问
每次我们使用。 要访问该函数,它将触发特定的方法,例如__getattribute __()和__getattr __()。 这些方法将使用字典操作,这将导致时间成本。 我们可以使用从xx导入xx来消除此类费用。
根据技术3,我们还可以将全局函数分配给局部函数。
此外,我们可以将list.append()方法分配给本地函数。
4.2避免类属性访问
访问self._value的速度比访问局部变量的速度慢。 我们可以将class属性分配给局部变量以加快运行时间。
5.避免不必要的抽象
当使用其他处理层(例如装饰器,属性访问,描述符)包装代码时,这会使代码变慢。 在大多数情况下,有必要重新考虑是否有必要使用这些层。 一些C / C ++程序员可能会遵循使用getter / setter函数访问属性的编码风格。 但是我们可以使用更简单的写作风格。
6.避免数据重复
6.1避免无意义的数据复制
value_list是没有意义的。
6.2更改值时避免使用temp变量
不需要临时变量。
6.3连接字符串时用join()替换+
当使用a + b连接字符串时,Python将申请内存空间,并将a和b分别复制到新应用的内存空间。 这是因为Python中的字符串数据类型是不可变的对象。 如果串联n个字符串,它将生成n-1个中间结果,并且每个中间结果都将应用于内存空间并复制新的字符串。
另一方面,join()将节省时间。 它将首先计算需要应用的总内存空间,然后一次申请所需的内存,然后将每个字符串元素复制到内存中。
7.利用if语句的短路评估
Python使用短路技术来加快对真值的评估。 如果第一个语句为假,则整个事情必须为假,因此它将返回该值。 否则,如果第一个值为true,则检查第二个值并返回该值。
因此,为了节省运行时间,我们可以遵循以下规则:
- if a and b:变量a应该具有很高的False概率,因此Python不会计算b。
- if a or b:变量a应该具有较高的True概率,因此Python不会计算b。
8.循环优化
8.1 for
for循环比while循环快。
8.2用隐式for循环替换显式for循环
8.3减少内部for循环的计算
我们将sqrt(x)从内部for循环移动到外部for循环。
9.使用numba.jit
Numba可以将Python函数JIT编译为机器代码以执行,从而大大提高了代码速度。 有关numba的更多信息,请参见主页。
我们使用上面的示例。
我们将sqrt(x)从内部for循环移动到外部for循环。
10.使用cProfile查找时间成本函数
cProfile将输出每个函数的时间使用情况。 因此我们可以找到时间成本函数。
通过分类视图查看我在Medium上的其他帖子!GitHub:BrambleXuLinkedIn:Xu Liang博客:BrambleXu