用Python编代码体验极佳，并随着新版本的发布越来越好!对于我而言，Python提供的大量免费函数库、高可读性的程序和新引入的类型注释让我沉迷其中无法自拔。然而，数据科学家特别容易使自己的Jupyter notebook变得庞大而杂乱，或者写出一些难以理解的python文件。此外，当一个项目依赖于同一函数库的不同版本时，常常发生版本冲突。修复以上问题消耗大量时间，还经常导致其他项目出现问题。必须找到避免这类问题的解决方式，为编写代码提供便利。
在本篇文章中我将详细介绍常用的工具与技巧，希望能为读者提供帮助。
Python开发环境
1. 解释器
从使用Python时最重要的解释器开始。你当然可以只下载最喜欢的Python版本，然后把所有内容放在里面。但如果你的程序需要不同版本的Python，或依赖于同一第三方模块的不同版本，并需要在几个程序之间无缝切换时该怎么办?
Pyenv可以解决上述问题。
Pyenv共包含三个工具，笔者将介绍其中两个：pyenv(用于安装python)和pyenv-virtualenv(用于配置全局工具)。
通过下方网址安装pyenv。
curl https://pyenv.run | bash
安装后，向.bashrc(或.zshrc)文件中添加下方代码，使得pyenv可用于设备。
- exportPATH="~/.pyenv/bin:$PATH"
- eval "$(pyenv init -)"
- eval "$(pyenv virtualenv-init -)"
最后，重启设备。现在可以使用pyenv安装几乎所有的python解释器，包括pypy、anaconda。
需要注意的是，pyenv只在电脑上搭建本地python环境。搭建python环境需要多种函数库。在Ubuntu系统的电脑上，必须安装以下函数库以防止运行出现问题。
- sudo
- apt-get installbuild-essential libsqlite3-dev sqlite3 bzip2 libbz2-dev
- zlib1g-dev libssl-dev openssllibgdbm-dev libgdbm-compat-dev liblzma-dev libreadline-dev libncursesw5-devlibffi-dev uuid-dev
现在，要安装python解释器只需要执行以下指令。
- pyenv installVERSION_YOU_WOULD_LIKE_TO_INSTALL
可以通过pyenv列出所有可用版本。
- pyenv install --list
为了使上述过程更加具体，在此安装python3.7.5并且设置其为默认的全局解释器。
- pyenv install 3.7.5
- pyenv global 3.7.5
输入Python-version指令，屏幕将显示Python3.7.5。
2. 依赖性关系管理(DependencyManagement)
Python中的依赖性管理是项繁重的工作。有许多工具可以帮助完成这项任务。
我最常使用的工具是Poetry。
Poetry可以帮助你简单地完成如下工作。
- 管理项目依赖关系
- 通过虚拟环境将项目分开
- 轻松构建应用程序与函数库
笔者推荐通过以下方式安装poetry：
- curl -sSL https://raw.githubusercontent.com/sdispater/poetry/master/get-poetry.py | python
另外一种依赖性管理的方式是使用pip和pyenv-virtualenv指令。读者可能会问：为什么不只用pip?因为只用pip可能会在全局环境中安装poetry及其依赖项，这可能是你不需要也不想要的。必要指令如下。
- # Create a virtual environmentcalled tools that is based on 3.7.5
- pyenv virtualenv 3.7.5 tools
- # Install poetry into the tools virtual env
- pyenv activate tools
- pip install poetry
- # Check installed poetry version
- poetry --version
- # Leave the virtual env
- pyenv deactivate
- # This does not work yet
- poetry --version
- # Add your tools virtual env to the globally available ones
- pyenv global 3.7.5 tools
- # Now this works and you can start using poetry
- poetry --version
在使用poetry创建第一个项目之前，建议先对其进行配置，这样就可以在项目目录中的.venv文件夹中创建虚拟环境。当你使用VsCode或Pycharm这类集成开发环境时就会变得非常方便，因为它们可以立即识别并选择正确的解释器。
- poetry configsettings.virtualenvs.in-project true
注意，你只需设置一次配置，设置结果将在全局环境保留。
终于完成了使用poetry创建项目的所有准备工作，太棒了!我把这个项目命名为dsexample，我知道这个名字很蠢，但我不想浪费时间去想一个更好的。为了展示如何使用poetry，我添加了一个特定版本的pandas库，以及所有额外需求的fastapi框架。
- # Initialze a new project
- poetry new dsexample
- cd dsexample
- # Add modules and create virtual environment.
- poetry add pandas=0.25 fastapi --extras all
- # As an example of how you could add a git module
- poetry add tf2-utils --git git@github.com:Shawe82/tf2-utils.git
如果想要查看一个使用了文中推荐工具的实际项目，请前往我的Github仓库。
3. 格式一致性与可读性(Consistent Formatting and Readability)
现在，已经创建好了项目，即将开始添加代码。理想情况下，代码库的格式应该一致，以确保可读性和可理解性。这将是一个非常沉闷乏味的过程，尤其在还有其他人操作代码库时。
但用Black可以解决上述问题!
Black是一种让程序员在编写python代码时能将精力集中于核心内容的工具。它自动为代码添加格式，避免程序员手动添加格式。因为Black的效果非常好，我们把它添加到dsexample中，让它为所有的文件添加格式。
- # We add black as a developmentdependency with --dev as we don't
- # need it when it comes to production
- poetry add --dev black=19.3b0
- # Assume we are inside the current toplevel dsexample folder
- poetry run black .
很好，现在所有的文件看起来非常整齐了。
4. 类型纠正(Type-Correctness)
自Python3.5开始(如果我记错了请纠正)，类型注释开始成为标准库的一部分通过类型注释，代码更好理解，更易维护，不易出错。为什么会不易出错呢?因为可以静态地检查变量和函数的类型是否符合预期。当然，必须是自动完成的。
下面介绍mypy。
Mypy是一种静态python代码检查器，作用是在错误发生之前找到他们。使用poetry向项目中添加mypy并进行代码检查与添加black一样简单。
- # We add mypy as a developmentdependency with --dev as we don't
- # need it when it comes to production
- poetry add --dev mypy
- # Assume we are inside the current toplevel dsexample folder
- poetry run mypy .
运行mypy也可能导致很多麻烦。当然，可以将其设置为只对你关心的错误发出警告。这可以通过在项目中添加mypy.ini文件实现。
5. 将自动化工具自动化(Automate the Automation)
使用black和mypy，我们不再需要手工为代码添加格式，并且可以避免不必要的错误。但是我们仍需要手动使用这两个工具，这两个工具不是应该也自动化吗?
是的!
Pre-commit可以完成一切。
Pre-commit工具是在代码提交到仓库前执行检查(我默认读者的代码处在git的控制下)。无法通过检查的代码将被拒绝。这样代码仓库就永远不会出现格式不整齐或是未经类型检查的代码，以及任何其他你需要检查错误的代码。
现在来安装pre-commit。
可以使用poetry将其直接安装在项目里，也可以安装在本地机器里。笔者倾向于后者，因为precommit只在本地使用，而不在CI/CD服务器上。相反，black和mypy在CI/CD服务器上运行，因此，将它们添加到项目的dev依赖项是有意义的。笔者建议使用下面方法通过现有的工具虚拟环境安装它
- # Install pre-commit into the tools virtual env
- pyenv activate tools
- pip install pre-commit
- # Leave the virtual env
- pyenv deactivate
- # As we have already added the tool venv, it will work directly
- pre-commit --version
要使用pre-commit，首先需要向顶级文件夹中添加一个名为.pre-commit-config.yarm的文件。在该文件里，你需要配置所有应该运行的钩子。在mypy与Black的环境下，文件内容如下所示。
- repos:- repo: https://github.com/ambv/black rev: 19.3b0 hooks: - id: black language_version: python3.7- repo: https://github.com/pre-commit/mirrors-mypy rev: v0.740 hooks: - id: mypy
最后，你必须执行以下命令以设置钩子。
- # I assume your are in the toplevel folder
- pre-commit install
现在，钩子函数(hook)将在每次提交时运行。Black工具的钩子函数不仅会检查格式，还会相应地为文件添加格式。每次添加新的钩子函数时，建议一开始在所有文件中手动运行pre-commit，因为它只能作用于上次提交之后更改过的文件。
- pre-commit run --all-files
就这样，对自动化工具的自动化完成了。
总结
有很多工具可以帮助你专注于重要的事情。此处笔者只介绍了其中的几个。当然，还有更多。希望你学到了新的东西后，可以更加专注于代码本身。
