使用 Conan 备份第三方源¶
对于开源、公开可用库的配方和构建脚本,通常的做法是从规范源(如 GitHub 发布版本或项目下载网页)下载源。保留这些文件的来源记录对于可追溯性很有用,然而,这些文件通常不保证长期可用,未来从源代码构建相同配方的用户可能会遇到问题。因此,Conan 可以配置为透明地从配置的镜像检索源,而无需修改配方或 conandata.yml。此外,这些源可以通过 conan upload 透明地与包一起上传。
源备份功能旨在将下载的配方源存储在您自己基础设施中的文件服务器上,即使原始下载 URL 不再可访问,也能实现未来构建的可重现性。
当提供 sha256
文件签名时,调用 download 和 get 方法会触发备份。
配置概述¶
此功能由一些 global.conf 项控制
core.sources:download_cache
: 用于存储源备份的本地路径。如果未设置,将使用默认的 Conan 主缓存路径。core.sources:download_urls
: Conan 将尝试下载源的有序 URL 列表,其中origin
表示从 conandata.yml 传递给get
/download
的原始 URL。这允许控制获取顺序,要么是["origin", "https://your.backup/remote/"]
,仅当原始源不存在时才查看并从您的备份远程获取;要么是["https://your.backup/remote/", "origin"]
,优先使用您的备份服务器而非配方的规范链接。由于它是一个列表,也可以有多个远程。["origin"]
默认core.sources:upload_url
: 调用 conan upload 时用于上传备份的远程 URL,此 URL 可能与为下载定义的任何 URL 不同,也可能相同。默认为空core.sources:exclude_urls
: 要跳过备份的来源列表。如果传递给get
/download
的 URL 以此列表中包含的任何来源开头,则在调用 conan upload 时,该源将不会上传到备份远程。默认为空
用法¶
我们通过一个从头到尾的用法示例来概述此功能的工作原理
总之,它看起来像这样
设置一个远程备份仓库。这应允许
PUT
和GET
HTTP 方法来修改和获取其内容。如果需要访问凭据(强烈建议用于上传权限),您可以使用 source_credentials.json 功能。如果您需要配置自己的,请参见下文。然后可以将远程的 URL 设置在
core.sources:download_urls
和core.sources:upload_url
中。在您的配方的
source()
方法中,确保相关的get
/download
调用提供了下载文件的sha256
签名。如果需要自定义位置,请在您的 global.conf 文件中设置
core.sources:download_cache
,否则将使用默认缓存文件夹正常运行 Conan,创建包等。
- 一旦一些源已在本地下载,由
core.sources:download_cache
指向的文件夹将为每个下载的文件包含 一个以
get
/download
中提供的sha256
签名命名的 blob 文件(无扩展名)。一个
.json
文件,其名称也将是sha256
签名,该文件将包含有关此 blob 属于哪个引用和哪个镜像的信息。
- 一旦一些源已在本地下载,由
如果设置了
core.sources:upload_url
,现在调用conan upload
将选择性地上传匹配引用的备份。
注意
参见下文,以获取有关如何配置自己的备份服务器的指南
设置必要的配置¶
如果希望从自定义备份源远程下载,则 global.conf 文件应包含 core.sources:download_urls
;如果需要自定义的本地缓存路径来下载备份,则应包含 core.sources:download_cache
。
core.sources:download_urls=["https://myteam.myorg.com/artifactory/backup-sources/", "origin"]
core.sources:download_cache=/path/to/backup/sources
注意
必须定义 core.sources:download_urls
或 core.sources:download_cache
中的任何一个,才能启用该功能。
您可能需要根据您的用例添加额外的配置,如本文开头所述。
注意
处理组织内 CI 工作人员和开发人员配置的推荐方法是,使用 conan config install
命令在仓库上安装配置。在此处阅读更多信息 here
正常运行 Conan¶
完成上述步骤后,Conan 即可正常使用,对于每个下载的源,Conan 将首先查看 core.sources:download_cache
中指示的文件夹,如果未找到,将遍历 core.sources:download_urls
直到找到文件或失败,并在相同的 core.sources:download_cache
位置存储一个本地副本。
当从备份远程获取备份时,将向用户显示类似以下的消息
$ conan create . --version=1.3
...
======== Installing packages ========
zlib/1.3: Calling source() in /Users/ruben/.conan2/p/zlib0f4e45286ecd1/s/src
zlib/1.3: Sources for ['https://zlib.net/fossils/zlib-1.3.tar.gz', 'https://github.com/madler/zlib/releases/download/v1.3/zlib-1.3.tar.gz']
found in remote backup https://myteam.myorg.com/artifactory/backup-sources
-------- Installing package zlib/1.3 (1 of 1) --------
...
如果现在再次尝试运行它,我们会发现没有执行下载,而是使用了文件的本地存储版本。
上传包¶
如上所示,一旦创建了包,当执行 conan upload zlib/1.3 -c
调用将生成的二进制文件上传到您的 Conan 仓库时,如果配置了,它还将把该相同引用的源备份上传到您的备份远程,并且此配方未来的源下载将在必要时使用最新更新的内容。
注意
请参阅 包列表功能,了解如何仅上传已构建的包
如果需要上传未链接到任何包的源的备份,或上传时会跳过已在远程上的包,则可以使用 conan cache backup-upload 命令来解决此情况。
创建备份仓库¶
您也可以设置自己的远程备份仓库,而不是依赖已有的。虽然 Artifactory 通用仓库(Artifactory CE 免费提供)推荐用于此目的,但任何允许 PUT
和 GET
HTTP 方法修改和获取内容的简单服务器都足够了。
阅读以下部分,了解如何创建 Artifactory 通用备份仓库,以及如何赋予其公共读取权限,同时仅为授权代理保留写入权限