使用 Cloudera Manager 包裹

Anaconda Repository 提供了一种与 Cloudera Manager 集成的方法,以将您的 Anaconda 数据科学工件分发到您的 Hadoop 集群。

创建包、管理包和安装程序

您可以使用所需的包创建自定义 Cloudera Manager 包,包括您自己的包。

注意:创建自定义包需要 Anaconda 包的本地镜像。

创建parcel 时,Repository 会生成一个64 位Linux 安装程序,其中包括指定的包和一个名为 的文件construct.yaml,该文件 可与conda 构造函数一起使用。

要创建自定义包、管理包或安装程序:

  1. 从视图按钮中,选择安装程序。

  2. 单击创建新安装程序按钮。

    ../../../../_images/repo-parcels-create-installer.png

    注意:在安装程序名称中仅使用字母、数字、破折号和下划线。

    创建parcel时,Anaconda Repository 会生成一个带有指定包的 64 位 Linux 安装程序,以及一个construct.yaml可与conda 构造函数一起使用的 名为的文件。

../../../../_images/repo-parcels-parcel.png

要仅创建安装程序脚本,请单击创建安装程序;要创建地块,请单击创建地块

通过选择包裹创建包裹

../../../../_images/repo-parcels-installer-from-pkg.png

  1. 单击从包创建选项卡。

  2. 将从中获取包的频道添加到“搜索频道”框中。通过单击“搜索频道”框旁边的绿色 +(加号)按钮添加每个频道。

    注意:anaconda默认情况下添加用户。

  3. 将包名称添加到“搜索包”框中。通过单击“搜索包”框旁边的绿色 +(加号)按钮来添加每个包。

  4. 使用包名称旁边的列表为每个包设置版本要求。

通过选择环境创建地块

../../../../_images/repo-parcels-installer-from-env.png

  1. 单击从环境创建选项卡。
  2. 输入环境名称并单击绿色复选框按钮。
  3. 从环境名称旁边的列表中选择环境版本。
  4. 单击创建管理包按钮、创建包按钮或创建安装程序按钮。

注意:默认情况下,conda 不包含在自定义包裹中。要将其他包添加到您的环境,您可以使用 Repository Web UI 添加它们。

生成的宗地带有前缀 /opt/cloudera/parcels/PARCEL_NAME。这是加载激活宗地的默认位置。如果您在不同的目录中部署 Parcel,您可以使用 PARCELS_ROOT配置设置更改此前缀。

查看自定义包裹中的包裹列表

要查看自定义包裹中包含的包裹列表,请参阅:

/opt/cloudera/parcels/PARCEL_NAME/meta/parcel.json

注意:将 PARCEL_NAME 替换为所需地块的名称。

分发自定义包裹

创建自定义包裹后,您可以通过添加为远程包裹存储库 URL将其分发到您的集群 。http://<repository ip>:<port>/USERNAME/installers/parcels/

注意:替换为存储库 IP 地址、 端口地址和您的用户名。<repository ip><port>USERNAME

Cloudera Manager 检测托管在 Repository 上的parcel,并提供下载和分发parcel 的选项。

默认情况下,Repository 为每个兼容的分布生成一个parcel 文件 。

您可以通过配置 PARCEL_DISTRO_SUFFIXES配置设置来自定义创建哪些宗地分布。

注意:如果您已~/.condarc在服务器上配置 conda via以使用代理(例如,在代理后进行镜像),则必须禁用 Repository 的代理。有关更多信息,请参阅conda 文档

例子:

proxy_servers:
    https: http://proxy.corp.example.com
    http: http://proxy.corp.example.com
    'http://<repository ip>': false

从以前的版本创建

创建安装程序后,您可以返回此页面并从特定版本创建管理包或包。使用从以前的版本创建选项来选择要使用的版本。由于您已经创建了安装程序,因此 创建安装程序按钮将被禁用。如果您已经为这些版本创建了管理包或包,其他按钮将被禁用。

下拉列表中列出的版本是成功创建安装程序的版本。创建管理包或包需要安装程序,因此不会列出失败的版本。

../../../../_images/repo-parcels-from-prev.png