用Windows电脑训练深度学习模型?超详细配置教程来了

选自towardsdatascience

作者:Ahinand

机器之心编译

编辑:Panda

虽然大多数深度学习模型都是在 Linux 系统上训练的,但 Windows 也是一个非常重要的系统,也可能是很多机器学习初学者更为熟悉的系统。要在 Windows 上开发模型,首先当然是配置开发环境。Kaggle Master 及机器学习实践者 Abhinand 立足于自己的实践,给出了一种简单易行的 Windows 深度学习环境配置流程。

本文将介绍在 Windows 计算机上配置深度学习环境的全过程,其中涉及安装所需的工具和驱动软件。出人意料的是,即便只是配置深度学习环境,任务也不轻松。你很有可能在这个过程中犯错。我个人已经很多次从头开始配置深度学习环境了,但是通常是在对程序员更友好的操作系统 Linux 中。

而对于 Windows 操作系统,没有多少文章详细解释这一过程。所以我打算自己来试试。这些天,经过多次试错之后,我终于找到了解决方案。这个方法不仅能够配置成功,还比我见过的其它教程简单得多。

本教程为谁而写,以及为什么要用 Windows?

相信我,我自己也不喜欢在 Windows 上鼓捣 CUDA。但我们常常遇到这种情况:开发者经常需要在并非深度学习或程序开发专用的笔记本电脑或更强大的硬件上工作。在这种情况下,你并不总能避免使用 Windows。如果你遇到这种情况,或者正好拥有一台 Windows 计算机,又或者还不能熟练使用 Linux,那么这份指南肯定能帮到你。

本文包含以下内容:

硬件和软件的最低要求

安装 Python 和所需工具

设置开发环境

一些 GPU 术语

安装 GPU 驱动

安装 TensorFlow(CPU 和 GPU)

安装 PyTorch(CPU 和 GPU)

验证安装情况

我的个人经验和替代方法

硬件和软件的最低要求

如果你要按照本指南操作并且计划使用 GPU,你必须使用英伟达 GPU。

开发深度学习应用涉及到训练神经网络,这自然需要执行大量计算。也因此,我们需要越来越多的并行运算,而 GPU 正好能够满足我们的需求。这也是当前 GPU 需求旺盛的主要原因之一。大多数深度学习框架都自带 GPU 加速支持,这让开发者和研究者无需执行任何 GPU 编程就能在几分钟内使用 GPU 进行计算。

大部分这些框架都(只)支持 CUDA,而这只能在英伟达 GPU 上使用,这也是你需要使用英伟达 GPU 的原因。但是,使用 AMD 的 GPU 也不是不可能,相关信息可参阅:https://rocmdocs.amd.com/en/latest/。

不过,就算你没有 GPU,也依然可以继续本教程。但为了有效进行深度学习,至少你要有好用的 CPU、内存和存储空间。

我的硬件——笔记本电脑的配置如下:

CPU——AMD Ryzen 7 4800HS 8C -16T@ 4.2GHz on Turbo

RAM——16 GB DDR4 RAM@ 3200MHz

GPU——Nvidia GeForce RTX 2060 Max-Q @ 6GB GDDR6 显存

对于硬件配置,我推荐至少使用 4 核 2.6 GHz 的 CPU、16GB 内存和 6GB 显存的英伟达 GPU。

另外,对于本教程,你当然需要使用 Windows 10 系统。我也假设你对 Python 软件包和环境具备基本认知。不管怎样,后面都会给出解释。

推荐使用的 Windows 版本是最新的 64 位 Windows 10 稳定版。

本教程假设你的操作系统是刚装好的,没有执行过额外的修改。不过只要你知道自己在做什么,依然可以参考本教程。

安装 Python 和所需工具

第一步当然是安装 Python。我建议使用 Mini-Conda 来安装 Python。先给刚入门的新手解释一下原因。

Conda 是一个软件包管理工具,可以帮助你安装、管理和移除各种不同的软件包。不过 Conda 并不是唯一的选择,还有 pip——这是我很喜欢的 Python 默认软件包管理工具。这里我们选择 Conda 的原因是在 Windows 上使用它更简单直接。

Anaconda 和 Mini-Conda 都是 Conda 的软件发行版,其中预安装了一些非常有用的数据科学 / 机器学习软件包,能节省很多时间。Anaconda 包含 150 多个在数据科学和机器学习中有用的软件包,基本上包含了你可能需要的一切,而 Mini-Conda 仅包含一些必需的工具和软件包。

我推荐使用 Mini-Conda,因为我喜欢对所安装的软件包有(几乎)完整的控制权。清楚地了解你所安装的东西完全不是坏事。当然这还能帮你节省一些存储空间,你也不会装上几十个你可能永远也用不上的奇怪软件包。

要安装 Mini-Conda,请访问:https://docs.conda.io/en/latest/miniconda.html

下载 Windows 64 位版本的 Python3 安装工具,然后像安装其它 Windows 软件一样安装它。一定要勾选询问你是否要将 Conda 和 Python 加入到 PATH 的勾选框。

现在你可以通过以下命令检查 Conda 和 Python 是否安装成功。如果安装成功,则会显示版本号;否则你可能需要再次正确安装 Mini-Conda 并将其加入到 PATH。

下一步是安装 jupyter-notebook,请在命令行界面使用以下命令:

你可以通过运行 jupyter notebook 来验证安装,这会帮你在浏览器上打开 Jupyter Notebook。

设置开发环境

这一步很重要,但很多人会忽视它。使用 Anaconda 这种包含所有已知软件包的工具是可以理解的,但如果要开发自己的项目,真正构建一些东西,你可能还是需要一个专门针对该项目或你的工作性质的定制开发环境。使用专门虚拟环境的另一大优势是你可以将软件包与全局设置隔离开。这样,就算你在该环境中使用软件包时搞错了,你也可以轻松地丢弃它们,而不对全局软件包产生任何影响。

这也能让你灵活地使用任何之前版本的 Python 创建环境。这样,你就可以避免使用那些还不稳定的新特性,之后再根据支持情况选择是否升级。

创建 Conda 环境还算简单。为了方便解释,我创建了一个名为 tensorflow 的环境,你可以将其改为任何名称。我将使用 Python 3.7,因为我知道 TensorFlow 对其有很好的支持。顺便一提,这将是安装 TensorFlow 的位置,我还会创建一个名为 torch 的环境来安装 PyTorch。

环境创建完成之后,你可以使用以下命令进入该环境,其中的 tensorflow 只是我们之前提供给该环境的名称。

进入环境之后,你会在提示框的左边看到类似这样的信息:

如果你没在 Powershell 上看到这个信息,那么你可能需要先在 Powershell 初始化 conda 一次:

然后,你可能会在左边看到 (base),如上图所示,此时你已不在任何环境中。之后,你再进入任何环境,你应该都会看见环境名。

此外,你还可以在环境中安装 nb 工具,并将其链接到我们之前安装的 Jupyter Notebook。

要将该环境注册到 Jupyter Notebook,可运行以下命令:

要退出 Conda 环境,则运行以下命令:

现在按照同样的步骤创建一个名为 torch 的环境:

如果环境设置成功,你可以在环境列表中看到它们。

要验证每个环境是否都已安装了各自的软件包,你可以进入各个环境,执行 conda list,这会显示该环境中已安装的所有软件包。

不要因为这个列表很长而感到困扰。Conda 已经妥善地处理了主要部分和依赖包。

一些 GPU 术语

在安装 GPU 相关软件之前,我们有必要了解这些软件是什么,以及你需要它们的原因。

GPU 驱动:顾名思义,GPU 驱动是让操作系统及程序能使用 GPU 硬件的软件。游戏玩家肯定很熟悉这个。如果你喜欢打游戏,你可能需要让这个软件保持最新以获得最好的游戏体验。

CUDA:简单来说,这是英伟达开发的一个编程接口层,能让你调用 GPU 的指令集及其并行计算单元。

自 2010 年代末的 GeForce 8 系列 GPU 以来,几乎所有 GPU 都兼容 CUDA。要想了解你的 GPU 是否启用 CUDA,可以访问英伟达的网站。

举个例子,如果你有一台消费级 GPU,不管是 GeForce 系列还是 Titan 系列,你都可以在下图中看到你的 GPU 是否支持 CUDA。

数据截至 2020 年 9 月,截图仅含部分型号。

如果你的电脑是笔记本,你应该看右边的列表;如果你的电脑是台式机,你显然就该看左边的列表。

之前已经提到,我的 GPU 是右侧列表中的 RTX 2060 Max-Q。另外,你不必在意显卡型号名称是否与该列表中的名称完全匹配,Max-Q 和 Super 的底层架构一样,只在 TDP、CUDA 核及张量核数量方面有一些差异。

比如,不管你的 GPU 是 RTX 2080 Super 还是 2080 Max-Q 又或是 2080 Super Max-Q,看列表中的 RTX 2080 就够了。但如果你的 GPU 是 RTX 2080Ti 或其它加了 Ti 的型号,则说明你的 GPU 是该系列中最高端的那一款,这些 GPU 通常在显存大小和 CUDA 核及张量核数量方面更具优势。

截至 2020 年 9 月,要使用 TensorFlow 2.0,显卡计算能力必须高于 3.5,但建议使用计算能力至少为 6 的显卡以获得更好的体验。TensorFlow 2.0 还需要 CUDA 10 版本,而这又进一步要求驱动版本至少为 418.x。

PyTorch 需要的 CUDA 版本至少为 9.2,但也支持 10.1 和 10.2。所需的计算能力至少要高于 3.0。

CuDNN:即 CUDA Deep Neural Network 软件库,这是一个用于深度神经网络的 GPU 加速原语库。cuDNN 为前向和反向卷积、池化、归一化和激活层等标准例程提供了经过高度微调的实现。

(可选)TensorRT:NVIDIA TensorRT 是一套用于高性能深度学习接口的 SDK。其包含深度学习接口优化器和运行时优化器,能为深度学习接口应用提供低延迟和高通量的特性。

安装 GPU 驱动

首先,你需要搞清楚所使用的 GPU 型号,而且你的 GPU 必须启用了 CUDA。

如果你还没有安装驱动,你可能需要运行一次 Windows 更新,它会自动处理有用软件的安装过程,比如英伟达控制面板。这能帮助你获悉 GPU 的相关信息,还有一些与本文无关的设置。

英伟达控制面板就绪之后,你可以在开始菜单打开它,也可以右键点击桌面,然后选择英伟达控制面板。

打开之后,你可以点击「帮助→系统信息」来查看 GPU 驱动版本。驱动版本号列在「细节」窗口的顶部。

如上图所示,我的驱动版本是 456.x,远超过 418.x 的最低要求,所以我不必安装新驱动。

但你的电脑可能不是这样的。要安装最新版的驱动,可访问 https://www.nvidia.com/Download/index.aspx,然后输入 GPU 信息,下载合适的驱动。

驱动下载完成后,运行安装包,选择快速安装会更轻松。驱动安装完成之后,可使用英伟达控制面板进行验证。

另一个安装驱动的方法是使用英伟达的 GeForce Experience 应用程序。只要你购买的是主打游戏的电脑,应该都预装了该软件。安装过程很简单。

这一步是可选的。如果你已经按照上面的步骤安装了驱动,或你的电脑没有预装该软件,那就不用在乎这个步骤。

你可在这里下载该程序:https://www.nvidia.com/en-in/geforce/geforce-experience/,然后跟着安装流程将其安装到电脑上。安装完成,打开它,进入驱动选项卡,检查更新并安装新驱动。你也可以在该应用中查看驱动的版本号。

‍GeForce Experience 演示

现在安装驱动过程中最重要的步骤已经完成,你可以选择手动安装 CUDA 工具包,也可以选择在安装 TensorFlow 或 PyTorch 时留给 Conda 来安装(强烈推荐后者)。

如果决定手动安装,你可以从这里下载安装包:https://developer.nvidia.com/cuda-downloads,然后跟着指示操作即可。

安装 CUDA 工具包

CUDA 工具包装好之后,你可以在 cmd 或 Powershell 中执行 nvidia-smi 命令进行验证。

nvidia-smi 的输出

安装 TensorFlow

现在终于来到本教程的关键了。如果你已经完成了前述步骤,那么这一步会非常简单。

我们通过 Conda 来安装 TensorFlow 2.x。

要注意,首先进入我们之前创建的 tensorflow 环境,然后再进行操作。

如果你需要 GPU 支持,就运行以下命令:

通过 anaconda 通道安装 TensorFlow 的 GPU 支持软件。使用 conda 而非 pip 安装 TensorFlow 的一大优势是 conda 的软件包管理系统。使用 conda 安装 TensorFlow 时,conda 还会安装所有必需和兼容的依赖包。这个过程是自动的,用户无需通过系统软件包管理器或其它方式安装任何其它软件。

其中也包含 TensorFlow 或 PyTorch 所需的版本合适的 CUDA 工具包。因此,使用 conda 能让这个过程变得非常简单。

我们只能在安装了 TensorFlow GPU 的环境中看到所安装的 CUDA 工具包。这既不会影响到全局系统的 CUDA 版本,同时也能满足 TensorFlow 和 PyTorch 的不同版本 CUDA 需求。这就是使用虚拟环境的最大好处,它能让不同的虚拟环境完全隔离开。

如果一切顺利,你不会在安装过程中看到任何报错信息。

要验证 TensorFlow 和所需的软件包是否成功安装,你可以执行 conda list,这会显示已安装软件包的列表,你应该能在其中找到与 TensorFlow 相关的软件包以及 CUDA 工具包。

你也可以打开 Python prompt 来验证是否已安装 TensorFlow。

如果你看到了版本号,那么恭喜你,TensorFlow 已安装成功!任务完成。

在 Python prompt 中验证 TensorFlow 的安装情况。

你在 Python prompt 中使用 TensorFlow 时可能会看到这样的信息:「Opened Dynamic Library」,但这并不是坏消息。这只是一条日志消息,说明 TensorFlow 可以打开这些软件库。

GPU 上的安装情况验证将在下文中介绍。

如果要安装仅使用 CPU 的 TensorFlow,你需要对安装命令进行简单的修改。

这将会安装没有 CUDA 工具包和 GPU 支持的 TensorFlow。

安装 PyTorch

安装 PyTorch 的过程与安装 TensorFlow 其实没太大差异。conda 让这一切都变得非常简单。

首先,进入我们创建的 torch 环境。

如果你想安装支持 CUDA 的 PyTorch,使用以下命令:

该命令会通过 Conda 的 PyTorch 通道安装兼容 CUDA 的 PyTorch。

至于仅使用 CPU 的 PyTorch,只需从以上命令中移除 cudatookit 即可:

这会安装无 CUDA 支持的 PyTorch。

和之前一样,你可以使用 conda list 验证安装情况,也可使用以下代码在 Python 上执行验证。

如果返回版本号,则说明已成功安装 PyTorch。

验证安装情况

有时候,你觉得一切都很顺利,准备开始使用这些工具时却遇到了一些重大错误。如果你正好遇到了这种情况,有可能是机器的问题,也可能是流程出错了,不能一概而论,要具体问题具体分析。

为了帮助你更好地验证安装情况,并确保 TensorFlow 和 PyTorch 使用的是指定的硬件,这里分享一些笔记。

你可以在 https://github.com/abhinand5/blog-posts 的 dl-setup-win 文件夹中找到它们。你可以克隆这些笔记然后运行其中的代码。如果返回的信息正确,你就可以放手开发了。

下图是该笔记的代码示例:

注:如果你没有从正确的环境启动 Jupyter Notebook,就可能会遇到一些错误。例如,如果你想使用 tensorflow 环境,你可以从 base 环境启动 notebook,然后将核改到 tensorflow 环境,但我在这样操作时遇到过报错。因此,如果你要运行 TensorFlow,就在 tensorflow 环境里启动 Notebook;如果你要运行 PyTorch,就在 torch 环境中启动 Notebook。不要从 base 或其它地方启动。

我的个人经验和替代方法

我一直使用这套配置完成一些轻量级的深度学习工作,反正这套本地硬件足够了。现在几周过去了,一切都还不错。但是,在此之前我还尝试过其它一些方法,也出现过一些严重问题。

比如有一次我尝试了这里的方法:https://developer.nvidia.com/cuda/wsl,其中涉及在 WSL(Windows Subsystem for Linux)中启用 CUDA 和英伟达驱动以便使用 GPU 来进行深度学习训练。目前这个功能还在预览阶段,但一旦官方发布,必将为深度学习实践者带来重大影响。这能将让人惊喜的 WSL 与 CUDA/GPU 驱动结合到一起。

不过这是有条件的。要想使用这一功能,你必须参与 Windows Insider Program 项目。当然,根据我的经历,内部预览版往往有很多漏洞。我在使用时遇到过很多问题,包括所有 Windows 应用不再响应、GSOD(绿屏死机)错误、未正确启动、驱动故障。我个人不喜欢不稳定的环境,所以选择退出只是时间问题。

你有可能在使用预览版时不会遇到任何问题,只不过我的经历太糟了,所以不推荐使用预览版。

其它替代选择包括完全不使用 Windows,只使用基于 Linux 的系统,享受更加流畅的体验。只不过 Linux 没有 Windows 中那样花哨的 GUI 安装工具。

本文介绍了如何在 Windows 系统中安装 TensorFlow、PyTorch 和 Jupyter 工具,希望对大家有所帮助。

Setting up your PC/Workstation for Deep Learning: Tensorflow and PyTorch – Windows

程序是如何运行的,这三步骤带你入门(编译、链接、装入)

在多道程序环境下,要使程序运行,必须先为之创建进程。而创建进程的第一件事,便是将程序和数据装入内存。如何将一个用户源程序变为一个可在内存中执行的程序,通常都要经过以下几个步骤:

首先是要编译:

由编译程序(Compiler)将用户源代码编译成cpu可执行的目标代码,产生了若干个目标模块(Object Module)(即若干程序段)。形成的目标代码,每个目标代码都是以0为基址顺序进行编址,原来用符号名访问的单元用具体的数据——单元号取代。这样生成的目标程序占据一定的地址空间,称为作业的逻辑地址空间,简称逻辑空间。

在逻辑空间中每条指令的地址和指令中要访问的操作数地址统称为逻辑地址 。很简单,逻辑地址就是你源程序里使用的地址,或者源代码经过编译以后编译器将一些标号,变量转换成的地址。

其次是链接

由链接程序(Linker)将编译后形成的一组目标模块(程序段),以及它们所需要的库函数链接在一起,形成一个完整的装入模块(Load Module);

最后是装入(地址重定位)

由装入程序(Loader)将装入模块装入物理内存。物理内存是真实存在的插在主板内存槽上的内存条的容量的大小。

物理内存内存是由若干个存储单元组成的,每个存储单元有一个编号,这种编号可唯一标识一个存储单元,称为内存地址(或物理地址)。我们可以把内存看成一个从0字节一直到内存最大容量逐字节编号的存储单元数组,即每个存储单元与内存地址的编号相对应。

装入模块虽然具有统一的地址空间,但它仍是以“0”作为参考地址,即是浮动的。要把它装入内存执行,就要确定装入内存的实际物理地址,并修改程序中与 地址有关的代码,这一过程叫做地址重定位。地址重定位主要是把逻辑地址转换成物理内存绝对地址,这个工作又称为地址映射。

图4-2 对用户程序的处理步骤

源程序经过编译后,可得到一组目标模块,再利用链接程序将这组目标模块链接,形成装入模块。根据链接时间的不同,可把链接分成如下三种:

(1) 、静态链接。在程序运行之前,先将各目标模块及它们所需的库函数,链接成一个完整的装配模块,以后不再拆开。我们把这种事先进行链接的方式称为静态链接方式。

(2)、 装入时动态链接。这是指将用户源程序编译后所得到的一组目标模块,在装入内存时,采用边装入边链接的链接方式。

(3)、 运行时动态链接。这是指对某些目标模块的链接,是在程序执行中需要该(目标)模块时,才对它进行的链接。

1.静态链接方式(Static Linking)

我们通过一个例子来说明在实现静态链接时应解决的一些问题。在图 4-4(a)中示出了经过编译后所得到的三个目标模块A、B、C,它们的长度分别为 L、M和N。在模块A中有一条语句CALL B,用于调用模块B。在模块B中有一条语句CALL C,用于调用模块C。B和C都属于外部调用符号,在将这几个目标模块装配成一个装入模块时,须解决以下两个问题:

(1) 对相对地址进行修改。在由编译程序所产生的所有目标模块中,使用的都是相对地址,其起始地址都为 0,每个模块中的地址都是相对于起始地址计算的。在链接成一个装入模块后,原模块B和 C在装入模块的起始地址不再是 0,而分别是 L和 L+M,所以此时须修改模块B和C中的相对地址,即把原B中的所有相对地址都加上 L,把原 C中的所有相对地址都加上L+M。

(2) 变换外部调用符号。将每个模块中所用的外部调用符号也都变换为相对地址,如把B 的起始地址变换为 L,把 C 的起始地址变换为 L+M,如图 4-4(b)所示。这种先进行链接所形成的一个完整的装入模块,又称为可执行文件。通常都不再拆开它,要运行时可直接将它装入内存。这种事先进行链接,以后不再拆开的链接方式,称为静态链接方式。

图 4-4 程序链接示意图

2.装入时动态链接(Load-time Dynamic Linking)

用户源程序经编译后所得的目标模块,是在装入内存时边装入边链接的,即在装入一个目标模块时,若发生一个外部模块调用事件,将引起装入程序去找出相应的外部目标模块,并将它装入内存,还要按照图4-4所示的方式来修改目标模块中的相对地址。装入时动态链接方式有以下优点:

(1) 、便于修改和更新。对于经静态链接装配在一起的装入模块,如果要修改或更新其中的某个目标模块,则要求重新打开装入模块。这不仅是低效的,而且有时是不可能的。若采用动态链接方式,由于各目标模块是分开存放的,所以要修改或更新各目标模块是件非常容易的事。

(2)、便于实现对目标模块的共享。在采用静态链接方式时,每个应用模块都必须含有其目标模块的拷贝,无法实现对目标模块的共享。但采用装入时动态链接方式,OS则很容易将一个目标模块链接到几个应用模块上,实现多个应用程序对该模块的共享。

3.运行时动态链接(Run-time Dynamic Linking)

在许多情况下,应用程序在运行时,每次要运行的模块可能是不相同的。但由于事先无法知道本次要运行哪些模块,故只能是将所有可能要运行到的模块都全部装入内存,并在装入时全部链接在一起。显然这是低效的,因为往往会有些目标模块根本就不运行。比较典型的例子是作为错误处理用的目标模块,如果程序在整个运行过程中都不出现错误,则显然就不会用到该模块。 近几年流行起来的运行时动态链接方式,是对上述在装入时链接方式的一种改进。这种链接方式是将对某些模块的链接推迟到程序执行时才进行链接,亦即,在执行过程中,当发现一个被调用模块尚未装入内存时,立即由OS去找到该模块并将之装入内存,把它链接到调用者模块上。凡在执行过程中未被用到的目标模块,都不会被调入内存和被链接到装入模块上,这样不仅可加快程序的装入过程,而且可节省大量的内存空间。

为了阐述上的方便,我们先介绍一个无需进行链接的单个目标模块的装入过程。该目标模块也就是装入模块。在将一个装入模块装入内存时,可以有绝对装入方式、可重定位装入方式和动态运行时装入方式,下面分别简述之。

1.绝对装入方式(Absolute Loading Mode)

在编译时,如果知道程序将驻留在内存的什么位置,那么,编译程序将产生绝对地址的目标代码。即按照物理内存的位置赋予实际的物理地址。例如,事先已知用户程序(进程)驻留在从R处开始的位置,则编译程序所产生的目标模块(即装入模块)便从R处开始向上扩展。绝对装入程序按照装入模块中的地址,将程序和数据装入内存。装入模块被装入内存后,由于程序中的逻辑地址与实际内存地址完全相同,故不须对程序和数据的地址进行修改。程序中所使用的绝对地址,既可在编译或汇编时给出,也可由程序员直接赋予。

这个方式的优点:是CPU执行目标代码快。

缺点:1)是由于内存大小限制,能装入内存并发执行的进程数大大减少

2)编译程序必须知道内存的当前空闲地址部分和其地址,并且把进程的不同程序段连续地存放起来,编译非常复杂。由于程序

因此,通常是宁可在程序中采用符号地址,然后在编译或汇编时,再将这些符号地址转换为绝对地址。

如何把虚拟内存地址空间变换到内存唯一的一维物理线性空间?涉及到两个问题:

  • 一是虚拟空间的划分问题。
  • 二是把虚拟空间中已经链接和划分好的内容装入内存,并将虚拟空间地址映射内存地址的问题。即地址映射。

地址映射就是建立虚拟地址与内存地址的关系。

2.静态地址重定位(可重定位装入方式 Relocation Loading Mode)

绝对装入方式只能将目标模块装入到内存中事先指定的位置。在多道程序环境下,编译程序不可能预知所编译的目标模块应放在内存的何处,因此,绝对装入方式只适用于单道程序环境。在多道程序环境下,所得到的目标模块的起始地址通常是从 0 开始的,程序中的其它地址也都是相对于起始地址计算的。此时应采用可重定位装入方式,根据内存的当前情况,将装入模块装入到内存的适当位置。

静态地址重定位:即在程序装入对目标代码装入内存的过程中完成,是指在程序开始运行前,程序中指令和数据的各个地址均已完成重定位,即完成虚拟地址到内存地址映射。地址变换通常是在装入时一次完成的,以后不再改变。

值得注意的是, 在采用可重定位装入程序将装入模块装入内存后, 会使装入模块中的所有逻辑地址与实际装入内存的物理地址不同,图4-3示出了这一情况。

图4-3 作业装入内存时的情况

例如,在用户程序的 1000 号单元处有一条指令LOAD 1,2500,该指令的功能是将 2500 单元中的整数 365 取至寄存器 1。但若将该用户程序装入到内存的 10000~15000号单元而不进行地址变换, 则在执行11000号单元中的指令时,它将仍从 2500 号单元中把数据取至寄存器1而导致数据错误。由图4-3 可见,正确的方法应该是将取数指令中的地址 2500 修改成 12500,即把指令中的相对地址 2500 与本程序在内存中的起始地址 10000 相加,才得到正确的物理地址12500。除了数据地址应修改外,指令地址也须做同样的修改,即将指令的相对地址 1000 与起始地址 10000 相加,得到绝对地址 11000。

优点:无需硬件支持

缺点:1)程序重定位之后就不能在内存中搬动了;

2)要求程序的存储空间是连续的,不能把程序放在若干个不连续的区域中。

3.动态地址重地位(动态运行时装入方式 Dynamic Run-time Loading)

可重定位装入方式可将装入模块装入到内存中任何允许的位置,故可用于多道程序环境;但这种方式并不允许程序运行时在内存中移动位置。因为,程序在内存中的移动,意味着它的物理位置发生了变化, 这时必须对程序和数据的地址(是绝对地址)进行修改后方能运行。然而,实际情况是,在运行过程中它在内存中的位置可能经常要改变,此时就应采用动态运行时装入的方式。

动态地址重定位:不是在程序执行之前而是在程序执行过程中进行地址变换。更确切的说,是把这种地址转换推迟到程序真正要执行时才进行,即在每次访问内存单元前才将要访问的程序或数据地址变换成内存地址。动态重定位可使装配模块不加任何修改而装入内存。为使地址转换不影响指令的执行速度,这种方式需要一个重定位寄存器的支持,

优点:1)目标模块装入内存时无需任何修改,因而装入之后再搬迁也不会影响其正确执行,这对于存储器紧缩、解决碎片问题是极其有利的;

2)一个程序由若干个相对独立的目标模块组成时,每个目标模块各装入一个存储区域,这些存储区域可以不是顺序相邻的,只要各个模块有自己对应的定位寄存器就行。

缺点:需要硬件支持。

5.1. 构造动态链接库

DLL是包含函数和数据的模块,它的调用模块可为EXE或DLL,它由调用模块在运行时加载;加载时,它被映射到调用进程的地址空间。在VC中有一类工程用于创建DLL。

  • 库程序文件 .C:相当于给出一组函数定义的源代码;
  • 模块定义文件 .DEF:相当于定义链接选项,也可在源代码中定义;如:DLL中函数的引入和引出(dllimport和dllexport)。
  • 编译程序利用 .C文件生成目标模块 .OBJ
  • 库管理程序利用 .DEF文件生成DLL输入库 .LIB和输出文件 .EXP
  • 链接程序利用 .OBJ和 .EXP文件生成动态链接库 .DLL。

5.2. DLL的装入方法

1)装入时动态链接(load-time):

在编程时显式调用某个DLL函数,该DLL函数在可执行文件中称为引入(import)函数。

链接时需利用 .LIB文件。在可执行文件中为引入的每个DLL建立一个IMAGE_IMPORT_DESCRIPTOR结构。

在装入时由系统根据该DLL映射在进程中的地址改写Import Address Table中的各项函数指针。Hint是DLL函数在DLL文件中的序号,当DLL文件修改后,就未必指向原先的DLL函数。在装入时,系统会查找相应DLL,并把它映射到进程地址空间,获得DLL中各函数的入口地址,定位本进程中对这些函数的引用

装入时动态链接过程:

(注:Import Address Table是在装入时依据DLL模块的加载位置确定)。

DLL函数的调用过程:

2)运行时动态链接(run-time):

在编程时通过LoadLibrary(给出DLL名称,返回装入和链接之后该DLL的句柄), FreeLibrary, GetProcAddress(其参数包括函数的符号名称,返回该函数的入口指针)等API来使用DLL函数。这时不再需要引入库(import library)。

  • LoadLibrary或LoadLibraryEx把可执行模块映射到调用进程的地址空间,返回模块句柄;
  • GetProcAddress获得DLL中特定函数的指针,返回函数指针;
  • FreeLibrary把DLL模块的引用计数减1;当引用计数为0时,拆除DLL模块到进程地址空间的映射;

运行时动态链接的例子:

领取大礼包后台私信我【大礼包】,前100名额外赠送一份价值1699的内核资料包(含视频教程、电子书、实战项目及代码)

本文作者及来源:Renderbus瑞云渲染农场https://www.renderbus.com

点赞 0
收藏 0

文章为作者独立观点不代本网立场,未经允许不得转载。