本地配方索引仓库

**本地配方索引**是 Conan 中引入的一种**实验性**仓库类型,旨在增强管理 C/C++ 包配方的灵活性。此仓库类型允许用户使用本地目录作为 Conan 远程仓库,其中目录结构与 conan-center-index GitHub 仓库的结构相同。

此设置特别适用于以下情况:

  • 从私有的 conan-center-index 分支构建二进制文件。

  • 共享您自己的某些库或工具的配方,由于许可限制或专有性质,这些库或工具不适合 ConanCenter。请查看文档的专用部分了解如何将其用于此目的 本地配方索引仓库

从私有 conan-center-index 分支构建二进制文件

正如我们在 Conan DevOps 指南的上一节 中介绍的那样,一些组织,特别是大型企业,更倾向于不使用从互联网下载的二进制文件。相反,他们使用 conan-center-index 配方在内部构建自己的二进制文件。这些组织通常需要自定义这些配方以满足其独特的需求,而这些需求不适用于更广泛的社区,因此此类贡献不适合上游仓库。

local-recipes-index 允许用户维护一个与 conan-center-index GitHub 仓库结构相同的本地文件夹,将其用作包配方的来源。这种新型仓库仅包含配方,需要在使用包的每台机器上从源代码构建包二进制文件。为了在团队之间共享二进制文件,我们仍然建议 在生产环境中使用像 Artifactory 这样的 Conan 远程服务器

../_images/local-repo-general-flow-diagram.png

local-recipes-index 仓库允许您轻松地从 conan-center-index 的分支构建二进制文件,然后将它们托管在像 Artifactory 这样的 Conan 远程仓库中。与 上一节 中解释的过程的主要区别在于能够立即测试多个本地更改,而无需在每次修改配方时都进行导出。

请注意,在这种情况下,不建议混合使用来自 ConanCenter 的二进制文件和本地构建的二进制文件,原因如下:

  • 二进制兼容性:ConanCenter CI 和用户 CI 之间可能存在细微的设置差异。为所有二进制文件维护一致的设置可以缓解一些问题。

  • 完全控制构建:自行构建所有二进制文件可确保您完全控制编译环境和依赖项版本。

相反,建议从分支构建所有直接和传递依赖项。首先,删除上游 ConanCenter,因为它将不再使用,所有内容都将来自我们自己的分支。

$ conan remote remove conancenter

然后我们将克隆我们的分支(在本例中,出于演示目的,我们直接克隆上游分支,但您应该克隆自己的分支)。

$ git clone https://github.com/conan-io/conan-center-index

将其添加为我们的 mycenter 远程仓库。

# Add the mycenter remote pointing to the local folder
$ conan remote add mycenter ./conan-center-index

就这样!现在您可以列出和使用 conan-center-index 本地文件夹中的包了。

$ conan list "zlib/*" -r=mycenter
mycenter
  zlib
    zlib/1.2.11
    zlib/1.2.12
    zlib/1.2.13
    zlib/1.3
    zlib/1.3.1

我们还可以从此仓库安装包,例如,我们可以执行以下操作:

$ conan install --requires=zlib/1.3
...
======== Computing dependency graph ========
zlib/1.3: Not found in local cache, looking in remotes...
zlib/1.3: Checking remote: mycenter
zlib/1.3: Downloaded recipe revision 5c0f3a1a222eebb6bff34980bcd3e024
Graph root
    cli
Requirements
    zlib/1.3#5c0f3a1a222eebb6bff34980bcd3e024 - Downloaded (mycenter)

======== Computing necessary packages ========
Requirements
    zlib/1.3#5c0f3a1a222eebb6bff34980bcd3e024:72c852c5f0ae27ca0b1741e5fd7c8b8be91a590a - Missing
ERROR: Missing binary: zlib/1.3:72c852c5f0ae27ca0b1741e5fd7c8b8be91a590a

正如我们所看到的,Conan 成功地从 mycenter 获取了 zlib/1.3 的配方,但随后失败了,因为没有二进制文件。这是预期的,**仓库仅包含配方,而不包含二进制文件**。我们可以使用 --build=missing 参数从源代码构建二进制文件。

$ conan install --requires=zlib/1.3 --build=missing
...
zlib/1.3: package(): Packaged 2 '.h' files: zconf.h, zlib.h
zlib/1.3: package(): Packaged 1 file: LICENSE
zlib/1.3: package(): Packaged 1 '.a' file: libz.a
zlib/1.3: Created package revision 0466b3475bcac5c2ce37bb5deda835c3
zlib/1.3: Package '72c852c5f0ae27ca0b1741e5fd7c8b8be91a590a' created
zlib/1.3: Full package reference: zlib/1.3#5c0f3a1a222eebb6bff34980bcd3e024:72c852c5f0ae27ca0b1741e5fd7c8b8be91a590a#0466b3475bcac5c2ce37bb5deda835c3
zlib/1.3: Package folder /home/conan/.conan2/p/b/zlib1ed9fe13537a2/p
WARN: deprecated: Usage of deprecated Conan 1.X features that will be removed in Conan 2.X:
WARN: deprecated:     'cpp_info.names' used in: zlib/1.3

======== Finalizing install (deploy, generators) ========
cli: Generating aggregated env files
cli: Generated aggregated env files: ['conanbuild.sh', 'conanrun.sh']
Install finished successfully

现在,我们可以在本地缓存中看到二进制包。

$ conan list "zlib:*"
Local Cache
  zlib
    zlib/1.3
    revisions
      5c0f3a1a222eebb6bff34980bcd3e024 (2024-04-10 11:50:34 UTC)
      packages
        72c852c5f0ae27ca0b1741e5fd7c8b8be91a590a
        info
          settings
            arch: x86_64
            build_type: Release
            compiler: gcc
            compiler.version: 9
            os: Linux
          options
            fPIC: True
            shared: False

最后,将二进制包上传到我们的 Artifactory 仓库,以便我们的组织、用户和 CI 作业可以使用它。

$ conan remote add myartifactoryrepo <artifactory_url>
$ conan upload zlib* -r=myartifactoryrepo -c

这样,包的使用者不仅可以享受预编译的二进制文件,避免始终从源代码重新构建所有依赖项,还可以提供更强的保证,确保依赖项构建并正常工作,所有依赖项和传递依赖项能够很好地协同工作等。将二进制文件创建过程与二进制文件使用过程解耦是实现更快、更可靠地使用依赖项的方法。

请记住,在生产环境中,conan upload 命令应由 CI 执行,而不是开发人员执行,遵循 Conan 指南。这种方法确保包使用者能够使用预编译的二进制文件,并保持依赖项的一致性。

修改本地配方索引仓库文件

这种方法的优点之一是,我们在每个配方中所做的所有更改都会自动对 Conan 客户端可用。例如,对 recipes/zlib/config.yml 文件的更改会立即被 Conan 客户端识别。如果您编辑该文件并删除除最新版本以外的所有版本,然后我们列出配方:

$ conan list "zlib/*" -r=mycenter
mycenter
  zlib
    zlib/1.3.1

当某些配方发生更改时,请注意,当前的 Conan 主目录已经包含包的缓存副本,因此除非我们显式使用 --update(与任何其他 Conan 远程仓库一样),否则它不会更新它。

因此,如果我们在 recipes/zlib/all/conanfile.py 中的 zlib 配方中进行更改并重复:

$ conan install --requires=zlib/1.3.1 -r=mycenter --update --build=missing

我们将立即在本地从源代码构建新的修改后的配方中的新包二进制文件,位于我们的 Conan 主目录中。

在生产环境中使用本地配方索引仓库

在使用此新功能时,应考虑以下几个重要事项:

  • 它专为**第三方包**设计,其中一个仓库中的配方使用位于其他位置的源代码创建包。要打包您自己的代码,建议采用标准做法,即在源代码旁边添加 conanfile.py 配方,并使用标准的 conan create 流程。

  • local-recipes-index 仓库指向**文件系统中的本地文件夹**。虽然用户可以选择将该文件夹与 Git 仓库或其他版本控制机制同步,但 Conan 对此一无所知,因为它只知道指向仓库(当前)状态的文件系统中的文件夹。用户可以选择直接运行 Git 命令来切换分支/提交/标签,Conan 将自动识别更改。

  • 此方法在源代码级别运行,不会生成包二进制文件。对于开发和生产环境的部署,使用 Artifactory 等远程包服务器至关重要。需要注意的是,此功能并非 Conan 远程包服务器的替代品,后者在托管包以供常规使用方面发挥着至关重要的作用。

  • 此外,请注意,服务器远程仓库可以保留更改的历史记录,存储多个配方修订版。相反,local-recipes-index 远程仓库在任何给定时间只能表示单个快照。

  • ConanCenter 不使用 python-requires,因为这是一种更适用于第一方包的机制。在 local-recipes-index 仓库中使用 python-requires 目前是可能的(并且是实验性的),但前提是 python-requires 也在同一个索引仓库中。它不打算也不计划支持在其他仓库或用户 Conan 缓存中拥有这些 python-requires

此外,此功能不支持在配方中直接放置服务器 URL;必须使用 conan remote add 显式添加远程仓库。将抽象包需求(例如“zlib/1.3.1”)与其特定来源分离对于正确解析依赖项并利用 Conan 的图形功能至关重要,包括版本冲突检测和解决、版本范围解析、选择预发行版platform_requiresreplace_requires 等。这种分离还有助于实施现代 DevOps 实践,例如包不变性、完全可重定位性和包升级。