产品流水线

产品流水线 回应了一个更具挑战性的问题:我的“产品”能否使用新版本的包正确构建?能否与包及其依赖项正确构建?这是真正的“持续集成”部分,其中不同包的更改会针对组织的重要产品进行实际测试,以检查集成是否顺畅或是否出现故障。

让我们继续上面的例子,如果我们现在有一个新的 ai/1.1.0 包,它会破坏现有的 game/1.0 和/或 mapviewer/1.0 应用程序吗?是否需要从源代码重新构建一些直接或间接依赖于 ai 包的现有包?在本教程中,我们使用 game/1.0mapviewer/1.0 作为我们的“产品”,但这个概念稍后会进一步解释,特别是为什么以“产品”而非试图在 CI 中自顶向下显式建模依赖项来思考很重要。

在本例中,此产品流水线的本质是,上传到 products 仓库的新 ai/1.1.0 版本会自动落入有效的版本范围,我们的版本控制方法意味着这种小版本号的增加将需要从源代码构建其消费者,在本例中是 engine/1.0game/1.0,并按照特定的顺序进行,而所有其他包将保持不变。了解哪些包需要从源代码构建以及以何种顺序构建,并执行该构建以检查主要组织产品是否能与新的依赖项版本正确协作,这是产品流水线的职责。

什么是产品

产品是组织(公司、团队、项目)作为最终结果交付的主要软件工件,并为这些工件的用户提供价值。在本例中,我们将 game/1.0mapviewer/1.0 视为“产品”。请注意,可以将同一包的不同版本定义为产品,例如,如果我们需要为不同的客户维护 game 的不同版本,我们可以将 game/1.0game/2.3 以及 mapviewer 的不同版本都作为产品。

“产品”方法除了关注业务价值的优势外,还有一个非常重要的优势:它避免了在 CI 层建模依赖图。一种常见的尝试是试图建模逆向依赖模型,即在 CI 级别表示给定包的依赖项或消费者。在我们的示例中,如果我们配置了一个用于构建 ai 包的作业,我们可以在 ai 作业触发后,为 engine 包配置另一个作业,从而在 CI 系统中以某种方式配置这种拓扑。

但这种方法根本无法扩展,并且具有非常重要的局限性

  • 上面的例子相对简单,但实际上依赖图可以包含更多包,甚至数百个,这使得在 CI 中定义包之间的所有依赖关系变得非常繁琐且容易出错

  • 依赖项会随着时间演变,会使用新版本,一些依赖项会被移除,并添加新的依赖项。在 CI 级别建模的仓库之间的简单关系可能导致 CI 效率低下、速度缓慢且耗时,甚至变得脆弱,因为某些依赖项的更改会导致持续性中断。

  • 依赖图下游发生的组合性质,其中一个相对稳定的顶级依赖项,例如 mathlib/1.0 可能被多个消费者使用,例如 ai/1.0ai/1.1ai/1.2,而每个消费者又可能被多个不同版本的 engine 等等使用。在许多情况下,仅构建最新版本的消费者是不够的,而构建所有版本则会非常昂贵。

  • “逆向”依赖模型,即询问给定包的“依赖项”是什么,在实践中极具挑战性,特别是在像 Conan 这样的去中心化方法中,包可以存储在不同的仓库中,包括不同的服务器,并且没有所有包及其关系的中央数据库。此外,“逆向”依赖模型与直接模型类似,也是有条件的。由于依赖项可以根据任何配置(设置、选项)进行条件化,因此逆向也受相同逻辑的制约,并且这种逻辑也会随着每次新的修订和版本而演变和更改。

在 C 和 C++ 项目中,“产品”流水线变得比其他语言更必要和关键,因为编译模型中头文件的文本包含成为消费者二进制工件的一部分,以及由于原生工件的链接模型。

构建中间包的新二进制文件

一个常见的问题是,当消费者包针对新的依赖项版本进行构建时,其版本会是什么。明确地说,在我们的示例中,我们定义了需要再次构建 engine/1.0 包,因为它现在依赖于 ai/1.1.0 的新版本

  • 我们是否应该创建新的 engine/1.1 版本来针对新的 ai/1.1.0 进行构建?

  • 或者我们应该保留 engine/1.0 版本?

答案在于二进制模型以及依赖项如何影响 package_id。Conan 有一个二进制模型,它同时考虑了依赖项的版本、修订和 package_id,以及不同的包类型(package_type 属性)。

建议将包版本与源代码保持一致。如果 engine/1.0 是从其源仓库的特定提交/标签构建的,并且该仓库的源代码完全没有改变,那么拥有一个偏离源版本且不断变化的包版本会非常令人困惑。使用 Conan 二进制模型,我们将为 engine/1.0 拥有 2 个不同的二进制文件,带有 2 个不同的 package_id。一个二进制文件将针对 ai/1.0 版本构建,另一个二进制文件将针对 ai/1.1.0 构建,类似于:

$ conan list engine:* -r=develop
engine/1.0
    revisions
      fba6659c9dd04a4bbdc7a375f22143cb (2024-08-22 09:46:24 UTC)
        packages
          2c5842e5aa3ed21b74ed7d8a0a637eb89068916e
            info
              settings
                ...
              requires
                ai/1.0.Z
                graphics/1.0.Z
                mathlib/1.0.Z
          de738ff5d09f0359b81da17c58256c619814a765
            info
              settings
                ...
              requires
                ai/1.1.Z
                graphics/1.0.Z
                mathlib/1.0.Z

让我们看看产品流水线如何使用新的依赖项版本构建此类 engine/1.0game/1.0 新二进制文件。在以下部分中,我们将以增量方式介绍产品流水线,与包流水线相同。