Lockfiles

Lockfiles 是一种实现可重现依赖关系的机制,即使创建了这些依赖关系的新版本或修订版本也是如此。让我们用一个实际的例子来看看,首先克隆 examples2 仓库

$ git clone https://github.com/conan-io/examples2.git
$ cd examples2/tutorial/versioning/lockfiles/intro

在这个文件夹中,我们有一个小项目,由 3 个包组成:一个 matrix 包,模拟一些数学库;一个 engine 包,模拟一些游戏引擎;和一个 sound32 包,模拟一些 32 位系统的声音库。这些包实际上都是空的,它们不构建任何代码,但它们很适合学习 lockfiles 的概念。

digraph lockfiles { node [fillcolor="lightskyblue", style=filled, shape=box] rankdir="BT" "engine/1.0" -> "matrix/1.0"; "engine/1.0" -> "sound32/1.0" [label="if arch==x86"]; }


我们将从创建第一个 matrix/1.0 版本开始

$ conan create matrix --version=1.0

现在我们可以在 engine 文件夹中查看它的配方

class Engine(ConanFile):
    name = "engine"
    settings = "arch"

    def requirements(self):
        self.requires("matrix/[>=1.0 <2.0]")
        if self.settings.arch == "x86":
            self.requires("sound32/[>=1.0 <2.0]")

让我们移动到 engine 文件夹并安装它的依赖项

$ cd engine
$ conan install .
...
Requirements
    matrix/1.0#905c3f0babc520684c84127378fefdd0 - Cache
Resolved version ranges
    matrix/[>=1.0 <2.0]: matrix/1.0

由于 matrix/1.0 版本在有效范围内,因此它被解析和使用。但是,如果有人创建新的 matrix/1.11.X 版本,它也会被自动使用,因为它也在有效范围内。为了避免这种情况,我们将通过创建一个 conan.lock lockfile 来捕获当前依赖关系的“快照”

$ conan lock create .
$ cat conan.lock
{
    "version": "0.5",
    "requires": [
        "matrix/1.0#905c3f0babc520684c84127378fefdd0%1675278126.0552447"
    ],
    "build_requires": [],
    "python_requires": []
}

我们可以看到创建的 conan.lock lockfile 包含 matrix/1.0 版本及其修订版本。但是 sound32/1.0 不在 lockfile 中,因为对于默认配置配置文件(不是 x86),此 sound32 不是依赖项。

现在,创建了一个新的 matrix/1.1 版本

$ cd ..
$ conan create matrix --version=1.1
$ cd engine

看看当我们为引擎发出新的 conan install 命令时会发生什么

$ conan install .
# equivalent to conan install . --lockfile=conan.lock
...
Requirements
   matrix/1.0#905c3f0babc520684c84127378fefdd0 - Cache

正如我们所看到的,新的 matrix/1.1 没有被使用,即使它在有效范围内!发生这种情况是因为默认情况下,如果找到 conan.lock 文件,将使用 --lockfile=conan.lock。锁定的 matrix/1.0 版本和修订版本将用于解析范围,并且 matrix/1.1 将被忽略。

同样,可以发出其他 Conan 命令,如果 conan.lock 在那里,它将被使用

$ conan graph info . --filter=requires # --lockfile=conan.lock is implicit
# display info for matrix/1.0
$ conan create . --version=1.0 # --lockfile=conan.lock is implicit
# creates the engine/1.0 package, using matrix/1.0 as dependency

如果打算使用 lockfile,例如在 CI 中,最好使用显式的参数 --lockfile=conan.lock

多配置 lockfiles

我们在上面看到,如果架构是 x86,则 enginesound32 包有条件依赖。这也意味着上述 lockfile 中没有捕获此类 sound32 包版本。

让我们首先创建 sound32/1.0 包,然后尝试安装 engine

$ cd ..
$ conan create sound32 --version=1.0
$ cd engine
$ conan install . -s arch=x86 # FAILS!
ERROR: Requirement 'sound32/[>=1.0 <2.0]' not in lockfile

发生这种情况是因为 conan.lock lockfile 不包含 sound32 的锁定版本。默认情况下,lockfile 是严格的,如果我们要锁定依赖项,则必须在 lockfile 中找到匹配的版本。我们可以使用 --lockfile-partial 参数来放宽此假设

$ conan install . -s arch=x86 --lockfile-partial
...
Requirements
    matrix/1.0#905c3f0babc520684c84127378fefdd0 - Cache
    sound32/1.0#83d4b7bf607b3b60a6546f8b58b5cdd7 - Cache
Resolved version ranges
    sound32/[>=1.0 <2.0]: sound32/1.0

这将设法部分锁定到 matrix/1.0,并像往常一样解析 sound32 版本范围。但我们可以做得更好,我们可以扩展我们的 lockfile 以锁定 sound32/1.0 版本,以避免由于新的 sound32 意外版本而可能造成的破坏

$ conan lock create . -s arch=x86
$ cat conan.lock
{
    "version": "0.5",
    "requires": [
        "sound32/1.0#83d4b7bf607b3b60a6546f8b58b5cdd7%1675278904.0791488",
        "matrix/1.0#905c3f0babc520684c84127378fefdd0%1675278900.0103245"
    ],
    "build_requires": [],
    "python_requires": []
}

现在,matrix/1.0sound32/1.0 都锁定在我们的 conan.lock lockfile 中。可以将此 lockfile 用于两种配置(64 位和 x86 架构),在 lockfile 中具有给定配置未使用的版本不是问题,只要该配置的必要依赖项在其中找到匹配的版本即可。

重要

Lockfile 包含按版本和修订版本排序的需求排序列表,因此最新的版本和修订版本是在针对 lockfile 进行解析时优先考虑的版本。lockfile 可以包含同一个包的两个或多个不同版本,只是因为不同的版本范围需要它们。排序将提供正确的逻辑,以便每个范围都解析为每个有效的版本。

如果 lockfile 中的版本不适合有效范围,则不会使用它。lockfile 不可能强制执行与 conanfile 要求定义相反的依赖项,因为它们是现有/可实现的依赖关系图的“快照”,但不能定义“不可能”的依赖关系图。

演化 lockfiles

即使 lockfile 强制执行和约束可以为图解析的版本,但这并不意味着 lockfile 不能演化。实际上,lockfile 的受控演化对于诸如持续集成之类的重要流程至关重要,当希望在隔离其他可能并发的更改的情况下测试图中一个更改的效果时。

在本节中,我们将介绍 lockfile 的一些基本功能,这些功能允许这种演化。

首先,如果我们现在想在我们的 engine 中引入并测试新的 matrix/1.1 版本,而无需拉取可能也获得新版本的许多其他依赖项,我们可以手动将 matrix/1.1 添加到 lockfile

$ Running: conan lock add --requires=matrix/1.1
$ cat conan.lock
{
    "version": "0.5",
    "requires": [
        "sound32/1.0#83d4b7bf607b3b60a6546f8b58b5cdd7%1675278904.0791488",
        "matrix/1.1",
        "matrix/1.0#905c3f0babc520684c84127378fefdd0%1675278900.0103245"
    ],
    "build_requires": [],
    "python_requires": []
}

要明确的是:不一定推荐使用 conan lock add 手动添加,可以使用其他方法自动执行该任务,稍后将对此进行解释。这只是对原理和概念的介绍。

重要的想法是,现在我们在 lockfile 中获得了 matrix 的 2 个版本,并且 matrix/1.1matrix/1.0 之前,因此对于范围 matrix/[>=1.0 <2.0],第一个 (matrix/1.1) 将被优先考虑。这意味着当现在使用新的 lockfile 时,它将解析为 matrix/1.1 版本(即使系统中存在 matrix/1.2 或更高版本)

$ conan install . -s arch=x86 --lockfile-out=conan.lock
Requirements
    matrix/1.1#905c3f0babc520684c84127378fefdd0 - Cache
    sound32/1.0#83d4b7bf607b3b60a6546f8b58b5cdd7 - Cache
$ cat conan.lock
{
    "version": "0.5",
    "requires": [
        "sound32/1.0#83d4b7bf607b3b60a6546f8b58b5cdd7%1675278904.0791488",
        "matrix/1.1#905c3f0babc520684c84127378fefdd0%1675278901.7527816",
        "matrix/1.0#905c3f0babc520684c84127378fefdd0%1675278900.0103245"
    ],
    "build_requires": [],
    "python_requires": []
}

请注意,现在解析了 matrix/1.1,并且它的 revision 也存储在 lockfile 中(因为 --lockfile-out=conan.lock 作为参数传递)。

确实,以前的 matrix/1.0 版本没有被使用。如上所述,在 lockfile 中具有未使用的旧版本是无害的。但是,如果我们想修剪未使用的版本和修订版本,我们可以为此使用 --lockfile-clean

$ conan install . -s arch=x86 --lockfile-out=conan.lock --lockfile-clean
...
Requirements
    matrix/1.1#905c3f0babc520684c84127378fefdd0 - Cache
    sound32/1.0#83d4b7bf607b3b60a6546f8b58b5cdd7 - Cache
...
$ cat conan.lock
{
    "version": "0.5",
    "requires": [
        "sound32/1.0#83d4b7bf607b3b60a6546f8b58b5cdd7%1675278904.0791488",
        "matrix/1.1#905c3f0babc520684c84127378fefdd0%1675278901.7527816"
    ],
    "build_requires": [],
    "python_requires": []
}

值得注意的是,-lockfile-clean 可能会删除给定配置中的锁定版本。例如,如果使用上述 x86_64 架构,则 --lockfile-clean 将修剪“未使用”的 sound32,因为在该配置中未使用它。可以评估每个不同配置的新 lockfile,然后合并它们

$ conan lock create . --lockfile-out=64.lock --lockfile-clean
$ conan lock create . -s arch=x86 --lockfile-out=32.lock --lockfile-clean
$ cat 64.lock
{
    "version": "0.5",
    "requires": [
        "matrix/1.1#905c3f0babc520684c84127378fefdd0%1675294635.6049662"
    ],
    "build_requires": [],
    "python_requires": []
}
$ cat 32.lock
{
    "version": "0.5",
    "requires": [
        "sound32/1.0#83d4b7bf607b3b60a6546f8b58b5cdd7%1675294637.9775107",
        "matrix/1.1#905c3f0babc520684c84127378fefdd0%1675294635.6049662"
    ],
    "build_requires": [],
    "python_requires": []
}
$ conan lock merge --lockfile=32.lock --lockfile=64.lock --lockfile-out=conan.lock
$ cat conan.lock
{
    "version": "0.5",
    "requires": [
        "sound32/1.0#83d4b7bf607b3b60a6546f8b58b5cdd7%1675294637.9775107",
        "matrix/1.1#905c3f0babc520684c84127378fefdd0%1675294635.6049662"
    ],
    "build_requires": [],
    "python_requires": []
}

这种多重清理 + 合并操作不是开发人员应该做的,只有 CI 脚本,以及稍后将解释的一些高级 CI 流程。

另请参阅