预计阅读本页时间:-
在本章的前半部分,我们将一起探索Python“一切皆对象”背后的含义。许多语法,如运算符、元素引用、内置函数中,其实都来自于一些特殊的对象。这样的设计既满足了Python多范式的需求,又能以简单的体系满足丰富的语法需求,如运算符重载与即时特性等。而在本章后半部分,我们将深入到对象相关的重要机制,如动态类型和垃圾回收。对这部分内容的学习,将让我们对Python的理解更上一个台阶。
6.1 一切皆对象
1.运算符
我们知道,list是列表的类。如果用dir(list)调查list的属性,能看到一个属性是__add__()。从样式上看,__add__()是特殊方法。它特殊在哪呢?这个方法定义了“+”运算符对于list对象的意义,两个list的对象相加时,会进行合并列表的操作。结果为合并在一起的一个列表:
>>>print([1,2,3] + [5,6,9]) # 得到[1, 2, 3, 5, 6, 9]
运算符,比如+、-、>、<、and、or等,都是通过特殊方法实现的,比如:
广告:个人专属 VPN,独立 IP,无限流量,多机房切换,还可以屏蔽广告和恶意软件,每月最低仅 5 美元
"abc" + "xyz" # 连接字符串,获得"abcxyz"
实际执行了如下操作:
"abc".__add__("xyz")
两个对象是否能进行加法运算,首先就要看相应的对象是否有__add__()方法。一旦相应的对象有__add__()方法,即便这个对象从数学上不可加,我们也可以执行加法操作。而相对于特殊方法,功能相同的运算符更加简洁,能够简化书写。下面的一些运算用特殊方法来写会有些麻烦。
尝试下面的操作,看看效果,再想想它对应的运算符:
>>>(1.8).__mul__(2.0) # 1.8*2.0
>>>True.__or__(False) # True or False
这些运算相关的特殊方法还能改变执行运算的方式。比如,列表在Python中是不可以相减的。你可以测试下面的操作:
>>>[1,2,3] - [3,4]
会有错误信息,说明列表对象不能进行减法操作,即列表没有定义“-”运算符。我们可以创建一个列表的子类,通过增加__sub__()方法,来添加减法操作的定义,例如:
class SuperList(list): def __sub__(self, b): a = self[:] #由于继承于list,self可以利用[:]的引用来表示整个列表 b = b[:] while len(b) > 0: element_b = b.pop() if element_b in a: a.remove(element_b) return a print(SuperList([1,2,3]) - SuperList([3,4])) # 打印[1, 2]
上面的例子中,内置函数len()用来返回列表所包含的元素的总数。内置函数__sub__()定义了“-”的操作:从第一个表中去掉第二个表中出现的元素。于是,我们创建的两个SuperList对象,就可以执行减法操作了。即使__sub__()方法已经在父类中定义过,但在子类中重新定义后,子类中的方法会覆盖父类的同名方法。即运算符将被重新定义。
定义运算符对于复杂的对象非常有用。例如,人类有多个属性,比如姓名、年龄和身高。我们可以把人类的比较(>、<、=)定义成只看年龄。这样就可以根据自己的目的,将原本不存在的运算增加在对象上了。如果你参加过军训,那么很可能玩过一个“向左转向右转”的游戏。当教官喊口令时,你必须要采取相反的动作。比如说听到“向左转”,就要执行向右转的动作。这个游戏中实际上就重新定义了“向左转”和“向右转”的运算符。
2.元素引用
下面是我们常见的表元素引用方式:
li = [1, 2, 3, 4, 5, 6] print(li[3]) # 打印4
上面的程序运行到li[3]的时候,Python发现并理解[]符号,然后调用__getitem__()方法。
li = [1, 2, 3, 4, 5, 6] print(li.__getitem__(3)) # 打印4
看下面的操作,想想它的对应:
li = [1, 2, 3, 4, 5, 6] li.__setitem__(3, 0) print(li) # 返回[1, 2, 3, 0, 5, 6] example_dict = {"a":1, "b":2} example_dict.__delitem__("a") print(example_dict) # 返回{"b":2}
3.内置函数的实现
与运算符类似,许多内置函数也都是调用对象的特殊方法。比如:
len([1,2,3]) # 返回表中元素的总数
实际上做的是:
[1,2,3].__len__()
相对于__len__(),内置函数len()也起到了简化书写的作用。
尝试下面的操作,想一下它的对应内置函数:
(-1).__abs__() (2.3).__int__()
6.2 属性管理
1.属性覆盖的背后
我们在继承中,提到了Python中属性覆盖的机制。为了深入理解属性覆盖,我们有必要理解Python的__dict__属性。当我们调用对象的属性时,这个属性可能有很多来源。除了来自对象属性和类属性,这个属性还可能是从祖先类那里继承来的。一个类或对象拥有的属性,会记录在__dict__中。这个__dict__是一个词典,键为属性名,对应的值为某个属性。Python在寻找对象的属性时,会按照继承关系依次寻找__dict__。
我们看下面的类和对象,Chicken类继承自Bird类,而summer为Chicken类的一个对象:
class Bird(object): feather = True def chirp(self): print("some sound") class Chicken(Bird): fly = False def __init__(self, age): self.age = age def chirp(self): print("ji") summer = Chicken(2) print("===> summer") print(summer.__dict__) print("===> Chicken") print(Chicken.__dict__) print("===> Bird") print(Bird.__dict__) print("===> object") print(object.__dict__)
下面是我们的输出结果:
===> summer {'age': 2} ===> Chicken {'fly': False, 'chirp': <function chirp at 0x10c550410>, '__module__': '__main__', '__doc__': None, '__init__': <function __init__ at 0x10c550398>} ===>Bird {'__module__': '__main__', 'chirp': <function chirp at 0x10c550320>, '__dict__': <attribute '__dict__' of 'Bird' objects>, 'feather': True, '__weakref__': <attribute '__weakref__' of 'Bird' objects>, '__doc__': None} ===>object {'__setattr__': <slot wrapper '__setattr__' of 'object' objects>, '__reduce_ex__': <method '__reduce_ex__' of 'object' objects>, '__new__': <built-in method __new__ of type object at 0x10c14fa80>, '__reduce__': <method '__reduce__' of 'object' objects>, '__str__': <slot wrapper '__str__' of 'object' objects>, '__format__': <method '__format__' of 'object' objects>, '__getattribute__': <slot wrapper '__getattribute__' of 'object' objects>, '__class__': <attribute '__class__' of 'object' objects>, '__delattr__': <slot wrapper '__delattr__' of 'object' objects>, '__subclasshook__': <method '__subclasshook__' of 'object' objects>, '__repr__': <slot wrapper '__repr__' of 'object' objects>, '__hash__': <slot wrapper '__hash__' of 'object' objects>, '__sizeof__': <method '__sizeof__' of 'object' objects>, '__doc__': 'The most base type', '__init__': <slot wrapper '__init__' of 'object' objects>}
这个顺序是按照与summer对象的亲近关系排列的。第一部分为summer对象自身的属性,也就是age。第二部分为chicken类的属性,比如fly和__init__()方法。第三部分为Bird类的属性,比如feather。最后一部分属于object类,有诸如__doc__之类的属性。
如果我们用内置函数dir来查看对象summer的属性的话,可以看到summer对象包含了全部四个部分。也就是说,对象的属性是分层管理的。对象summer能接触到的所有属性,分别存在summer/Chicken/Bird/object这四层。当我们需要调用某个属性的时候,Python会一层层向下遍历,直到找到那个属性。由于对象不需要重复存储其祖先类的属性,所以分层管理的机制可以节省存储空间。
某个属性可能在不同层被重复定义。Python在向下遍历的过程中,会选取先遇到的那一个。这正是属性覆盖的原理所在。在上面的输出中,我们能看到,Chicken和Bird都有chirp()方法。如果从summer调用chirp()方法,那么使用的将是和对象summer关系更近的Chicken的版本:
summer.chirp() #打印: 'ji'
子类的属性比父类的同名属性有优先权,这正是属性覆盖的关键。
值得注意的是,上面都是调用属性的操作。如果进行赋值,那么Python就不会分层深入查找了。下面创建一个新的Chicken类的对象autumn,并通过autumn修改feather这一类属性:
autumn = Chicken(3) autumn.feather = False print(summer.feather) # 打印True
尽管autumn修改了feather属性值,但它并没有影响到Bird的类属性。当我们使用下面的方法查看autumn的对象属性时,会发现新建了一个名为feather的对象属性。
Print(autumn.__dict__) # 结果: {"age": 3, "feather": False}
因此,Python在为属性赋值时,只会搜索对象本身的__dict__。如果找不到对应属性,则将在__dict__中增加。在类定义的方法中,如果用self引用对象,则也会遵守相同的规则。
我们可以不依赖继承关系,直接去操作某个祖先类的属性,比如:
Bird.feather = 3
其等效于修改Bird的__dict__:
Bird.__dict__["feather"] = 3
2.特性
同一个对象的不同属性之间可能存在依赖关系。当某个属性被修改时,我们希望依赖于该属性的其他属性也同时变化。这时,我们不能通过__dict__的静态词典方式来储存属性。Python提供了多种即时生成属性的方法。其中一种称为特性(property)。特性是特殊的属性。比如我们为Chicken类增加一个表示成年与否的特性adult。当对象的年龄(age)超过1时,adult为真,否则为假:
class Bird(object): feather = True class Chicken(Bird): fly = False def __init__(self, age): self.age = age def get_adult(self): if self.age > 1.0: return True else: return False adult = property(get_adult) # property is built-in summer = Chicken(2) print(summer.adult) # 返回True summer.age = 0.5 print(summer.adult) # 返回False
特性使用内置函数property()来创建。property()最多可以加载四个参数。前三个参数为函数,分别用于设置获取、修改和删除特性时,Python应该执行的操作。最后一个参数为特性的文档,可以为一个字符串,起说明作用。
下面我们用一个例子来进一步说明:
class num(object): def __init__(self, value): self.value = value def get_neg(self): return -self.value def set_neg(self, value): self.value = -value def del_neg(self): print("value also deleted") del self.value neg = property(get_neg, set_neg, del_neg, "I'm negative") x = num(1.1) print(x.neg) # 打印-1.1 x.neg = -22 print(x.value) # 打印22 print(num.neg.__doc__) # 打印"I'm negative" del x.neg # 打印"value also deleted"
上面的num为一个数字,而neg为一个特性,用来表示数字的负数。当一个数字确定的时候,它的负数总是确定的。而当我们修改一个数的负数时,它本身的值也应该变化。这两点由get_neg()和set_neg()来实现。而del_neg()表示的是,如果删除特性neg,那么应该执行的操作是删除属性value。property()的最后一个参数("I'm negative")为特性neg的说明文档。
3.__getattr__()方法
除内置函数property外,我们还可以用__getattr__(self, name)来查询即时生成的属性。当我们调用对象的一个属性时,如果通过__dict__机制无法找到该属性,那么Python就会调用对象的__getattr__()方法,来即时生成该属性,比如:
class Bird(object): feather = True class chicken(Bird): fly = False def __init__(self, age): self.age = age def __getattr__(self, name): if name == "adult": if self.age > 1.0: return True else: return False else: raise AttributeError(name) summer = Chicken(2) print(summer.adult) # 打印True summer.age = 0.5 print(summer.adult) # 打印False print(summer.male) # 抛出AttributeError异常
每个特性都需要有自己的处理函数,而__getattr__()可以将所有的即时生成属性放在同一个函数中处理。__getattr__()可以根据函数名区别处理不同的属性。比如,上面我们查询属性名male的时候,抛出AttributeError类的错误。需要注意的是,__getattr__()只能用于查询不在__dict__系统中的属性(1)。
__setattr__(self, name, value)和__delattr__(self, name)可用于修改和删除属性。它们的应用面更广,可用于任意属性。
即时生成属性是非常值得了解的概念。在Python开发中,你有可能使用这种方法来更合理地管理对象的属性。即时生成属性还有其他的方式,比如使用descriptor类。有兴趣的读者可以进一步查阅。
6.3 我是风儿,我是沙
1.动态类型
动态类型(Dynamic Typing)是Python的另一个重要核心概念。前面说过,Python的变量不需要声明。在赋值时,变量可以重新赋值为其他任意值。Python变量这种一会儿变风一会儿变沙的能力,就是动态类型的体现。我们从最简单的赋值语句入手:
a = 1
在Python中,整数1是一个对象。对象的名字是"a"。但更精确地说,对象名其实是指向对象的一个引用。对象是存储在内存中的实体。但我们并不能直接接触到该对象。对象名是指向这一对象的引用(reference)。借着引用操作对象,就像是用筷子夹起热锅里的牛肉。对象是牛肉,对象名就是那双好用的筷子。
通过内置函数id(),我们能查看到引用指向的是哪个对象。这个函数能返回对象的编号:
a = 1 print(id(1)) print(id(a))
可以看到,赋值之后,对象1和引用a返回的编号相同。
在Python中,赋值其实就是用对象名这个筷子去夹其他的食物。每次赋值时,我们让左侧的引用指向右侧的对象。引用能随时指向一个新的对象:
a = 3 print(id(a)) a = "at" print(id(a))
第一个语句中,3是储存在内存中的一个整数对象。通过赋值,引用a指向对象3。第二个语句中,内存中建立对象"at",是一个字符串。引用a指向了"at"。通过两次的id()返回,我们能发现,引用指向的对象发生了变化。既然变量名是个随时可以变更指向的引用,那么它的类型自然可以在程序中动态变化。因此,Python是一门动态类型的语言。
一个类可以有多个相等的对象。比如两个长字符串可以是不同的对象,但它们的值可以相等。
除了直接打印id外,我们还可以用is运算来判断两个引用是否指向同一个对象。但对于小的整数和短字符串来说,Python会缓存这些对象,而不是频繁地建立和销毁它们。因此,下面的两个引用指向同一个整数对象3。
a = 3 b = 3 print(a is b) # 打印True
2.可变与不可变对象
一个对象可以有多个引用,看下面一个例子:
a = 5 print(id(a)) b = a print(id(a)) print(id(b)) a = a + 2 print(id(a)) print(id(7)) print(id(b))
通过前两个语句,我们让a、b指向同一个整数对象5。其中,b = a的含义是让引用b指向引用a所指的那一个对象。我们接下来对对象进行操作,让a增加2,再赋值给a。可以看到,a指向了整数对象7,而b依然指向对象5。本质上,加法操作并没有改变对象5。相反,Python只是让a指向加法的结果—另一个对象7。这就好像把老人变成少女的魔术,其实老人和少女都没有变化。只不过是让少女站在老人的舞台上。在这里,变的只是引用的指向。改变一个引用,并不会影响其他引用的指向。从效果上看,就是各个引用各自独立,互不影响。
但注意以下情况:
list2 = [1,2,3] list1 = list2 list1[0] = 10 print(list2)
在我们改变list1时,list2的内容发生了改变。引用之间似乎失去了独立性。其实这并不矛盾。因为list1、list2的指向没有发生变化,依然是同一个列表。但列表是一个包含了多个引用的集合。每个元素是一个引用,比如list1[0]、list1[1]等。每个引用又指向一个对象,比如1、2、3 。而list1[0] = 10这一赋值操作,并不是改变list1的指向,而是对list1[0]。也就是说,列表对象的一部分,即一个元素的指向发生了变化。因此,所有指向该列表对象的引用都受到影响。
因此,在操作列表时,如果通过元素引用改变了某个元素,那么列表对象自身会发生改变(in-place change)。列表这种自身能发生改变的对象,称为可变对象(Mutable Object)。我们之前见过的词典也是可变数据对象。但之前的整数、浮点数和字符串,则不能改变对象本身。赋值最多只能改变引用的指向。这种对象称为不可变对象(Immutable Object)。元组包含多个元素,但这些元素完全不可以进行赋值,所以也是不可变数据对象。
3.从动态类型看函数的参数传递
函数的参数传递,本质上传递的是引用,比如:
def f(x): print(id(x)) x = 100 print(id(x)) a = 1 print(id(a)) f(a) print(a) # 通过打印出的第二行,可以看到id发生了变化
参数x是一个新的引用。当我们调用函数f时,a作为数据传递给函数,因此x会指向a所指的对象,也就是进行一次赋值操作。如果a是不可变对象,那么引用a和x之间相互独立,即对参数x的操作不会影响引用a。
如果传递的是可变对象,那么情况就发生了变化:
def f(x): x[0] = 100 print(x) a = [1,2,3] f(a) print(a) # 打印[100, 2, 3]
上面的函数中,a指向一个可变的列表。在函数调用时,a把指向传给了参数x。这时,a和x两个引用都指向了同一个可变的列表。根据前文介绍我们知道,通过一个引用操作可变对象,会影响到其他的引用。程序运行的结果同样说明了这一点。打印a时,结果变成了[100,2,3]。即函数内部对列表的操作,会被外部的引用a“看到”。编程的时候要对此问题留心。
6.4 内存管理
1.引用管理
语言的内存管理是语言设计的一个重要方面,它是决定语言性能的重要因素。无论是C语言的手工管理,还是Java的垃圾回收,都成为语言最重要的特征。这里以Python语言为例,来说明一门动态类型的、面向对象的语言的内存管理方式。
首先我们要明确,对象内存管理是基于对引用的管理。我们已经提到,在Python中,引用与对象分离。一个对象可以有多个引用,而每个对象中都存有指向该对象的引用总数,即引用计数(Reference Count)。我们可以使用标准库中sys包中的getrefcount(),来查看某个对象的引用计数。需要注意的是,当使用某个引用作为参数,传递给getrefcount()时,参数实际上是创建了一个临时的引用。因此,getrefcount()所得到的结果,会比期望的多1:
from sys import getrefcount a = [1, 2, 3] print(getrefcount(a)) b = a print(getrefcount(b))
由于上述原因,两个getrefcount()将返回2和3,而不是期望的1和2。
2.对象引用对象
我们之前提到了一些可变对象,如列表和词典。它们都是数据容器对象,可以包含多个对象。实际上,容器对象中包含的并不是元素对象本身,而是指向各个元素对象的引用。我们也可以自定义一个对象,并引用其他对象:
class from_obj(object): def __init__(self, to_obj): self.to_obj = to_obj b = [1,2,3] a = from_obj(b) print(id(a.to_obj)) print(id(b))
可以看到,a引用了对象b。对象引用对象,在Python中十分常见。比如在主程序使用a = 1,会把引用关系存入到一个词典中。该词典对象用于记录所有的全局引用。赋值a=1,实际上是让词典中一个键值为"a"的元素引用整数对象1。我们可以通过内置函数globals()来查看该词典。
当一个对象a被另一个对象b引用时,a的引用计数将增加1:
from sys import getrefcount a = [1, 2, 3] print(getrefcount(a)) b = [a, a] print(getrefcount(a))
由于对象b引用了两次a,因此a的引用计数增加了2。
容器对象的引用可能会构成很复杂的拓扑结构,如图6-1所示。我们可以用objgraph包(2)来绘制其引用关系,比如:
x = [1, 2, 3] y = [x, dict(key1=x)] z = [y, (x, y)] import objgraph objgraph.show_refs([z], filename="ref_topo.png") # 第二个参数说明了绘图文件的文件名

图6-1 引用结构
两个对象可能相互引用,从而构成所谓的引用环(Reference Cycle)。
a = [] b = [a] a.append(b)
即便是单个对象,只需自己引用自己,也能构成引用环。
a = [] a.append(a) print(getrefcount(a))
引用环会给垃圾回收机制带来很大的麻烦,我们将在后面详细叙述这一点。
某个对象的引用计数可能减少。比如,可以使用del关键字删除某个引用:
from sys import getrefcount a = [1, 2, 3] b = a print(getrefcount(b)) del a print(getrefcount(b))
我们前面提到过,del也可以用于删除容器中的元素,比如:
a = [1,2,3] del a[0] print(a)
如果某个引用指向对象a,那么当这个引用被重新定向到某个其他对象b时,对象a的引用计数将减少:
from sys import getrefcount a = [1, 2, 3] b = a print(getrefcount(b)) a = 1 print(getrefcount(b))
3.垃圾回收
吃太多,总会变胖,Python也是如此。当Python中的对象越来越多时,它们将占据越来越大的内存。不过你不用太担心Python的体形,它会乖巧的在适当的时候“减肥”,启动垃圾回收(Garbage Collection),将没用的对象清除。许多语言中都有垃圾回收机制,比如Java和Ruby。尽管最终目的都是塑造苗条的体形,但不同语言的减肥方案有很大的差异。
原理上,当Python的某个对象的引用计数降为0,即没有任何引用指向该对象时,该对象就成为要被回收的垃圾了。比如某个新建对象,它被分配给某个引用,对象的引用计数变为1。如果引用被删除,对象的引用计数为0,那么该对象就可以被垃圾回收。比如下面的表:
a = [1, 2, 3] del a
del a后,已经没有任何引用指向之前建立的[1, 2, 3]这个表了,即用户不可能通过任何方式接触或者动用这个对象。这个对象如果继续待在内存里,就成为不健康的脂肪。当垃圾回收启动时,Python扫描到这个引用计数为0的对象,就会将它所占据的内存清空。
然而,减肥是个昂贵而费力的事情。垃圾回收时,Python不能进行其他的任务。频繁的垃圾回收将大大降低Python的工作效率。如果内存中的对象不多,就没有必要频繁启动垃圾回收。所以,Python只会在特定条件下,自动启动垃圾回收。当Python运行时,会记录其中分配对象(Object Allocation)和取消分配对象(Object Deallocation)的次数。当两者的差值高于某个阈值时,垃圾回收才会启动。
我们可以通过gc模块的get_threshold()方法,查看该阈值:
import gc print(gc.get_threshold())
返回(700, 10, 10),后面的两个10是与分代回收相关的阈值,后文中会详细说明。700即垃圾回收启动的阈值。可以通过gc中的set_threshold()方法重新设置。当然,我们也可以手动启动垃圾回收,即使用gc.collect()。
除了上面的基础回收方式外,Python同时还采用了分代(Generation)回收的策略。这一策略的基本假设是,存活时间越久的对象,越不可能在后面的程序中变成垃圾。我们的程序往往会产生大量的对象,许多对象很快产生和消失,但也有一些对象长期被使用。出于信任和效率,对于这样一些“长寿”对象,我们相信它们还有用处,所以减少在垃圾回收中扫描它们的频率。
Python将所有的对象分为0、1、2三代。所有的新建对象都是0代对象。当某一代对象经历过垃圾回收,依然存活,那么它就被归入下一代对象。垃圾回收启动时,一定会扫描所有的0代对象。如果0代经过一定次数垃圾回收,那么就启动对0代和1代的扫描清理。当1代也经历了一定次数的垃圾回收后,就会启动对0、1、2代的扫描,即对所有对象进行扫描。
这两个次数即上面get_threshold()返回的(700, 10, 10)返回的两个10。也就是说,每10次0代垃圾回收,会配合1次1代的垃圾回收;而每10次1代的垃圾回收,才会有1次2代的垃圾回收。
同样可以用set_threshold()来调整次数,比如对2代对象进行更频繁的扫描。
import gc gc.set_threshold(700, 10, 5)
4.孤立的引用环
引用环的存在会给上面的垃圾回收机制带来很大的困难。这些引用环可能构成无法使用,但引用计数不为0的一些对象:
a = [] b = [a] a.append(b) del a del b
上面我们先创建了两个表对象,并引用对方,构成一个引用环。删除了a、b引用之后,这两个对象不可能再从程序中调用,因而就没有什么用处了。但是由于引用环的存在,这两个对象的引用计数都没有降到0,所以不会被垃圾回收,如图6-2所示。

图6-2 孤立的引用环
为了回收这样的引用环,Python会复制每个对象的引用计数,可以记为gc_ref。假设,每个对象i,该计数为gc_ref_i。Python会遍历所有的对象i。对于每个对象i所引用的对象j,将相应的gc_ref_j减1,遍历后的结果如图6-3所示。

图6-3 遍历后的结果
在结束遍历后,gc_ref不为0的对象,和这些对象引用的对象,以及继续更下游引用的对象,需要被保留,而其他对象则被垃圾回收。
Python作为一种动态类型的语言,其对象和引用分离。这与曾经的面向过程语言有很大的区别。为了有效地释放内存,Python内置了垃圾回收的支持。Python采取了一种相对简单的垃圾回收机制,即引用计数,并因此需要解决孤立引用环的问题。Python与其他语言既有共通性,又有特别的地方。对内存管理机制的理解,是提高Python性能的重要一步。
————————————————————
(1) Python中还有一个__getattribute__()特殊方法,用于查询任意属性。
(2) objgraph是Python的一个第三方包,可以使用pip安装。