详解增强算术赋值:“-=”操作是怎么实现的?

开发 后端
Python 有一种叫做增强算术赋值(augmented arithmetic assignment)的东西。可能你不熟悉这个叫法,其实就是在做数学运算的同时进行赋值,例如 a -= b 就是减法的增强算术赋值。

[[341654]]

序言

本文是 Python语法糖 系列文章之一。最新的源代码可以在 desugar 项目中找到(https://github.com/brettcannon/desugar)。

 

介绍

Python 有一种叫做增强算术赋值(augmented arithmetic assignment)的东西。可能你不熟悉这个叫法,其实就是在做数学运算的同时进行赋值,例如 a -= b 就是减法的增强算术赋值。

增强赋值是在 Python 2.0 版本中 加入进来的。(译注:在 PEP-203 中引入)

剖析 -=

因为 Python 不允许覆盖式赋值,所以相比其它有特殊/魔术方法的操作,它实现增强赋值的方式可能跟你想象的不完全一样。

首先,要知道a -= b在语义上与 a = a-b 相同。但也要意识到,如果你预先知道要将一个对象赋给一个变量名,相比a - b 的盲操作,就可能会更高效。

例如,最起码的好处是可以避免创建一个新对象:如果可以就地修改一个对象,那么返回 self,就比重新构造一个新对象要高效。

因此,Python 提供了一个__isub__() 方法。如果它被定义在赋值操作的左侧(通常称为 lvalue),则会调用右侧的值(通常称为 rvalue )。所以对于a -= b ,就会尝试去调用 a.__isub__(b)。

如果调用的结果是 NotImplemented,或者根本不存在结果,那么 Python 会退回到常规的二元算术运算:a - b。(译注:作者关于二元运算的文章,译文在此)

最终无论用了哪种方法,返回值都会被赋值给 a。

下面是简单的伪代码,a -= b 被分解成:

  1. # 实现 a -= b 的伪代码 
  2. if hasattr(a, "__isub__"): 
  3.     _value = a.__isub__(b) 
  4.     if _value is not NotImplemented: 
  5.         a = _value 
  6.     else
  7.         a = a - b 
  8.     del _value 
  9.  else
  10.      a = a - b 

归纳这些方法

由于我们已经实现了二元算术运算,因此归纳增强算术运算并不太复杂。

通过传入二元算术运算函数,并做一些自省(以及处理可能发生的 TypeError),它可以被漂亮地归纳成:

  1. def _create_binary_inplace_op(binary_op: _BinaryOp) -> Callable[[AnyAny], Any]: 
  2.  
  3.     binary_operation_name = binary_op.__name__[2:-2] 
  4.     method_name = f"__i{binary_operation_name}__" 
  5.     operator = f"{binary_op._operator}=" 
  6.  
  7.     def binary_inplace_op(lvalue: Any, rvalue: Any, /) -> Any
  8.         lvalue_type = type(lvalue) 
  9.         try: 
  10.             method = debuiltins._mro_getattr(lvalue_type, method_name) 
  11.         except AttributeError: 
  12.             pass 
  13.         else
  14.             value = method(lvalue, rvalue) 
  15.             if value is not NotImplemented: 
  16.                 return value 
  17.         try: 
  18.             return binary_op(lvalue, rvalue) 
  19.         except TypeError as exc: 
  20.             # If the TypeError is due to the binary arithmetic operator, suppress 
  21.             # it so we can raise the appropriate one for the agumented assignment. 
  22.             if exc._binary_op != binary_op._operator: 
  23.                 raise 
  24.         raise TypeError( 
  25.             f"unsupported operand type(s) for {operator}: {lvalue_type!r} and {type(rvalue)!r}" 
  26.         ) 
  27.  
  28.     binary_inplace_op.__name__ = binary_inplace_op.__qualname__ = method_name 
  29.     binary_inplace_op.__doc__ = ( 
  30.         f"""Implement the augmented arithmetic assignment `a {operator} b`.""" 
  31.     ) 
  32.     return binary_inplace_op 

这使得定义的 -= 支持 _create_binary_inplace_op(__ sub__),且可以推断出其它内容:函数名、调用什么 __i*__ 函数,以及当二元算术运算出问题时,该调用哪个可调用对象。

我发现几乎没有人使用**=

在写本文的代码时,我碰上了 **= 的一个奇怪的测试错误。在所有确保 __pow__ 会被适当地调用的测试中,有个测试用例对于 Python 标准库中的operator 模块却是失败。

我的代码通常没问题,如果代码与 CPython 的代码之间存在差异,通常会意味着是我哪里出错了。

但是,无论我多么仔细地排查代码,我都无法定位出为什么我的测试会通过,而标准库则失败。

我决定深入地了解 CPython 内部发生了什么。从反汇编字节码开始:

  1. >>> def test(): a **= b 
  2. ...  
  3. >>> import dis 
  4. >>> dis.dis(test) 
  5.   1           0 LOAD_FAST                0 (a) 
  6.               2 LOAD_GLOBAL              0 (b) 
  7.               4 INPLACE_POWER 
  8.               6 STORE_FAST               0 (a) 
  9.               8 LOAD_CONST               0 (None) 
  10.              10 RETURN_VALUE 

通过它,我找到了在 eval 循环中的INPLACE_POWER:

  1. case TARGET(INPLACE_POWER): { 
  2.        PyObject *exp = POP(); 
  3.        PyObject *base = TOP(); 
  4.        PyObject *res = PyNumber_InPlacePower(base, exp, Py_None); 
  5.        Py_DECREF(base); 
  6.        Py_DECREF(exp); 
  7.        SET_TOP(res); 
  8.        if (res == NULL
  9.            goto error; 
  10.        DISPATCH(); 
  11.    } 

出处:https://github.com/python/cpython/blob/v3.8.3/Python/ceval.c#L1677

然后找到PyNumber_InPlacePower():

  1. PyObject * 
  2. PyNumber_InPlacePower(PyObject *v, PyObject *w, PyObject *z) 
  3.     if (v->ob_type->tp_as_number && 
  4.         v->ob_type->tp_as_number->nb_inplace_power != NULL) { 
  5.         return ternary_op(v, w, z, NB_SLOT(nb_inplace_power), "**="); 
  6.     } 
  7.     else { 
  8.         return ternary_op(v, w, z, NB_SLOT(nb_power), "**="); 
  9.     } 

出处:https://github.com/python/cpython/blob/v3.8.3/Objects/abstract.c#L1172

松了口气~代码显示如果定义了__ipow__,则会调用它,但是只在没有__ipow__ 时,才会调用__pow__。

然而,正确的做法应该是:如果调用__ipow__ 时出问题,返回了 NotImplemented 或者根本不存在返回,那么就应该调用 __pow__ 和__rpow__。

换句话说,当存在__ipow__时,以上代码会意外地跳过 a**b 的后备语义!

实际上,大约11个月前,这个问题被部分地发现,并提交了 bug。我修复了该问题,并在 python-dev 上作了说明。

截至目前,这似乎会在 Python 3.10 中修复,我们还需要在 3.8 和 3.9 的文档中添加关于 **= 有 bug 的通知(该问题可能很早就有了,但较旧的 Python 版本已处于仅安全维护模式,因此文档不会变更)。

 

修复的代码很可能不会被移植,因为它是语义上的变化,并且很难判断是否有人意外地依赖了有问题的语义。但是这个问题花了很长时间才被注意到,这就表明 **= 的使用并不广泛,否则问题早就被发现了。

原题 | Unravelling augmented arithmetic assignment

 

作者 | Brett Cannon

本文转载自微信公众号「Python猫」,可以通过以下二维码关注。转载本文请联系Python猫公众号。   

 

责任编辑:武晓燕 来源: Python猫
相关推荐

2024-09-10 12:15:24

2010-08-27 09:06:49

F#

2024-08-22 10:11:00

字典取值源码

2022-07-01 11:07:56

int原子操作代码

2022-09-09 15:32:46

intC语言原子操作

2010-01-25 13:43:09

C++算术编码

2024-05-31 09:31:00

2021-12-15 10:54:42

数据增强机器学习数据

2009-09-07 13:25:56

Silverlight

2024-09-18 13:49:42

2009-02-17 18:52:06

网络虚拟化路由系统数据中心

2009-09-09 18:57:26

C# 加密TripleDES

2021-08-30 22:38:47

VscodeMarkdown预览

2010-03-01 16:31:58

WCF实现SOA

2021-04-19 11:23:29

操作系统计算机DOS

2022-11-01 11:22:38

2024-11-01 16:05:26

2021-09-07 09:18:18

Kubernetes负载均衡服务发现

2019-10-21 13:12:41

数据分析增强分析人工智能

2014-07-31 10:10:53

全息影像手机数码
点赞
收藏

51CTO技术栈公众号