前言

調(diào)試Python程序時，經(jīng)常會報出一些異常，異常的原因一方面可能是寫程序時由于疏忽或者考慮不全造成了錯誤，這時就需要根據(jù)異常Traceback到出錯點，進行分析改正；另一方面，有些異常是不可避免的，但我們可以對異常進行捕獲處理，防止程序終止。

1 異常類型

1.1 Python內(nèi)置異常

Python的異常處理能力是很強大的，它有很多內(nèi)置異常，可向用戶準確反饋出錯信息。在Python中，異常也是對象，可對它進行操作。BaseException是所有內(nèi)置異常的基類，但用戶定義的類并不直接繼承BaseException，所有的異常類都是從Exception繼承，且都在exceptions模塊中定義。Python自動將所有異常名稱放在內(nèi)建命名空間中，所以程序不必導入exceptions模塊即可使用異常。一旦引發(fā)而且沒有捕捉SystemExit異常，程序執(zhí)行就會終止。如果交互式會話遇到一個未被捕捉的SystemExit異常，會話就會終止。

內(nèi)置異常類的層次結(jié)構(gòu)如下：

BaseException  # 所有異常的基類
 +-- SystemExit  # 解釋器請求退出
 +-- KeyboardInterrupt  # 用戶中斷執(zhí)行(通常是輸入^C)
 +-- GeneratorExit  # 生成器(generator)發(fā)生異常來通知退出
 +-- Exception  # 常規(guī)異常的基類
      +-- StopIteration  # 迭代器沒有更多的值
      +-- StopAsyncIteration  # 必須通過異步迭代器對象的__anext__()方法引發(fā)以停止迭代
      +-- ArithmeticError  # 各種算術(shù)錯誤引發(fā)的內(nèi)置異常的基類
      |    +-- FloatingPointError  # 浮點計算錯誤
      |    +-- OverflowError  # 數(shù)值運算結(jié)果太大無法表示
      |    +-- ZeroDivisionError  # 除(或取模)零 (所有數(shù)據(jù)類型)
      +-- AssertionError  # 當assert語句失敗時引發(fā)
      +-- AttributeError  # 屬性引用或賦值失敗
      +-- BufferError  # 無法執(zhí)行與緩沖區(qū)相關(guān)的操作時引發(fā)
      +-- EOFError  # 當input()函數(shù)在沒有讀取任何數(shù)據(jù)的情況下達到文件結(jié)束條件(EOF)時引發(fā)
      +-- ImportError  # 導入模塊/對象失敗
      |    +-- ModuleNotFoundError  # 無法找到模塊或在在sys.modules中找到None
      +-- LookupError  # 映射或序列上使用的鍵或索引無效時引發(fā)的異常的基類
      |    +-- IndexError  # 序列中沒有此索引(index)
      |    +-- KeyError  # 映射中沒有這個鍵
      +-- MemoryError  # 內(nèi)存溢出錯誤(對于Python 解釋器不是致命的)
      +-- NameError  # 未聲明/初始化對象 (沒有屬性)
      |    +-- UnboundLocalError  # 訪問未初始化的本地變量
      +-- OSError  # 操作系統(tǒng)錯誤，EnvironmentError，IOError，WindowsError，socket.error，select.error和mmap.error已合并到OSError中，構(gòu)造函數(shù)可能返回子類
      |    +-- BlockingIOError  # 操作將阻塞對象(e.g. socket)設置為非阻塞操作
      |    +-- ChildProcessError  # 在子進程上的操作失敗
      |    +-- ConnectionError  # 與連接相關(guān)的異常的基類
      |    |    +-- BrokenPipeError  # 另一端關(guān)閉時嘗試寫入管道或試圖在已關(guān)閉寫入的套接字上寫入
      |    |    +-- ConnectionAbortedError  # 連接嘗試被對等方中止
      |    |    +-- ConnectionRefusedError  # 連接嘗試被對等方拒絕
      |    |    +-- ConnectionResetError    # 連接由對等方重置
      |    +-- FileExistsError  # 創(chuàng)建已存在的文件或目錄
      |    +-- FileNotFoundError  # 請求不存在的文件或目錄
      |    +-- InterruptedError  # 系統(tǒng)調(diào)用被輸入信號中斷
      |    +-- IsADirectoryError  # 在目錄上請求文件操作(例如 os.remove())
      |    +-- NotADirectoryError  # 在不是目錄的事物上請求目錄操作(例如 os.listdir())
      |    +-- PermissionError  # 嘗試在沒有足夠訪問權(quán)限的情況下運行操作
      |    +-- ProcessLookupError  # 給定進程不存在
      |    +-- TimeoutError  # 系統(tǒng)函數(shù)在系統(tǒng)級別超時
      +-- ReferenceError  # weakref.proxy()函數(shù)創(chuàng)建的弱引用試圖訪問已經(jīng)垃圾回收了的對象
      +-- RuntimeError  # 在檢測到不屬于任何其他類別的錯誤時觸發(fā)
      |    +-- NotImplementedError  # 在用戶定義的基類中，抽象方法要求派生類重寫該方法或者正在開發(fā)的類指示仍然需要添加實際實現(xiàn)
      |    +-- RecursionError  # 解釋器檢測到超出最大遞歸深度
      +-- SyntaxError  # Python 語法錯誤
      |    +-- IndentationError  # 縮進錯誤
      |         +-- TabError  # Tab和空格混用
      +-- SystemError  # 解釋器發(fā)現(xiàn)內(nèi)部錯誤
      +-- TypeError  # 操作或函數(shù)應用于不適當類型的對象
      +-- ValueError  # 操作或函數(shù)接收到具有正確類型但值不合適的參數(shù)
      |    +-- UnicodeError  # 發(fā)生與Unicode相關(guān)的編碼或解碼錯誤
      |         +-- UnicodeDecodeError  # Unicode解碼錯誤
      |         +-- UnicodeEncodeError  # Unicode編碼錯誤
      |         +-- UnicodeTranslateError  # Unicode轉(zhuǎn)碼錯誤
      +-- Warning  # 警告的基類
           +-- DeprecationWarning  # 有關(guān)已棄用功能的警告的基類
           +-- PendingDeprecationWarning  # 有關(guān)不推薦使用功能的警告的基類
           +-- RuntimeWarning  # 有關(guān)可疑的運行時行為的警告的基類
           +-- SyntaxWarning  # 關(guān)于可疑語法警告的基類
           +-- UserWarning  # 用戶代碼生成警告的基類
           +-- FutureWarning  # 有關(guān)已棄用功能的警告的基類
           +-- ImportWarning  # 關(guān)于模塊導入時可能出錯的警告的基類
           +-- UnicodeWarning  # 與Unicode相關(guān)的警告的基類
           +-- BytesWarning  # 與bytes和bytearray相關(guān)的警告的基類
           +-- ResourceWarning  # 與資源使用相關(guān)的警告的基類。被默認警告過濾器忽略。

詳細說明請參考：https://docs.python.org/3/library/exceptions.html#base-classes

1.2 requests模塊的相關(guān)異常

在做爬蟲時，requests是一個十分好用的模塊，所以我們在這里專門探討一下requests模塊相關(guān)的異常。

要調(diào)用requests模塊的內(nèi)置異常，只要“from requests.exceptions import xxx”就可以了，比如：

from requests.exceptions import ConnectionError, ReadTimeout

或者直接這樣也是可以的：

from requests import ConnectionError, ReadTimeout

requests模塊內(nèi)置異常類的層次結(jié)構(gòu)如下：

IOError
 +-- RequestException  # 處理不確定的異常請求
      +-- HTTPError  # HTTP錯誤
      +-- ConnectionError  # 連接錯誤
      |    +-- ProxyError  # 代理錯誤
      |    +-- SSLError  # SSL錯誤
      |    +-- ConnectTimeout(+-- Timeout)  # (雙重繼承，下同)嘗試連接到遠程服務器時請求超時，產(chǎn)生此錯誤的請求可以安全地重試。
      +-- Timeout  # 請求超時
      |    +-- ReadTimeout  # 服務器未在指定的時間內(nèi)發(fā)送任何數(shù)據(jù)
      +-- URLRequired  # 發(fā)出請求需要有效的URL
      +-- TooManyRedirects  # 重定向太多
      +-- MissingSchema(+-- ValueError) # 缺少URL架構(gòu)(例如http或https)
      +-- InvalidSchema(+-- ValueError) # 無效的架構(gòu)，有效架構(gòu)請參見defaults.py
      +-- InvalidURL(+-- ValueError)  # 無效的URL
      |    +-- InvalidProxyURL  # 無效的代理URL
      +-- InvalidHeader(+-- ValueError)  # 無效的Header
      +-- ChunkedEncodingError  # 服務器聲明了chunked編碼但發(fā)送了一個無效的chunk
      +-- ContentDecodingError(+-- BaseHTTPError)  # 無法解碼響應內(nèi)容
      +-- StreamConsumedError(+-- TypeError)  # 此響應的內(nèi)容已被使用
      +-- RetryError  # 自定義重試邏輯失敗
      +-- UnrewindableBodyError  # 嘗試倒回正文時，請求遇到錯誤
      +-- FileModeWarning(+-- DeprecationWarning)  # 文件以文本模式打開，但Requests確定其二進制長度
      +-- RequestsDependencyWarning  # 導入的依賴項與預期的版本范圍不匹配
 
Warning
 +-- RequestsWarning  # 請求的基本警告 

詳細說明及源碼請參考：http://www.python-requests.org/en/master/_modules/requests/exceptions/#RequestException

下面是一個簡單的小例子，python內(nèi)置了一個ConnectionError異常，這里可以不用再從requests模塊import了：

import requests
from requests import ReadTimeout
 
 
def get_page(url):
 try:
  response = requests.get(url, timeout=1)
  if response.status_code == 200:
   return response.text
  else:
   print('Get Page Failed', response.status_code)
   return None
 except (ConnectionError, ReadTimeout):
  print('Crawling Failed', url)
  return None
 
 
def main():
 url = 'https://www.baidu.com'
 print(get_page(url))
 
 
if __name__ == '__main__':
 main()

1.3 用戶自定義異常

此外，你也可以通過創(chuàng)建一個新的異常類擁有自己的異常，異常應該是通過直接或間接的方式繼承自Exception類。下面創(chuàng)建了一個MyError類，基類為Exception，用于在異常觸發(fā)時輸出更多的信息。

　　在try語句塊中，拋出用戶自定義的異常后執(zhí)行except部分，變量 e 是用于創(chuàng)建MyError類的實例。

class MyError(Exception):
	def __init__(self, msg):
		self.msg = msg
	
	def __str__(self):
		return self.msg
 
 
try:
	raise MyError('類型錯誤')
except MyError as e:
	print('My exception occurred', e.msg)
 

2. 異常捕獲

當發(fā)生異常時，我們就需要對異常進行捕獲，然后進行相應的處理。python的異常捕獲常用try...except...結(jié)構(gòu)，把可能發(fā)生錯誤的語句放在try模塊里，用except來處理異常，每一個try，都必須至少對應一個except。此外，與python異常相關(guān)的關(guān)鍵字主要有：