FedLCM在部署FATE系统时,默认会同时部署Spark、HDFS、Pulsar这些基础引擎组件,这些组件的部署形式是简单的Kubernetes的Pod,从性能上或许不能完全满足实际生产环境的需求,同时,我们的环境中可能已经有部署好的适用于生产环境的这些服务,在这种情况下,我们推荐直接使用这些已存在服务,目前FedLCM支持在部署FATE时指定如何使用这些服务。本文简单介绍这个过程。
- Spark:Spark的worker node必须已经包含有运行FATE的python相关依赖。
- HDFS:FATE-Flow必须能够访问到HDFS的name node和data node。
- Pulsar:Pulsar服务必须启用TLS并配置好相关证书,能够与Exchange里的ATS组件进行TLS连接。
首先,我们仍然需要部署一个Exchange,如文档所介绍。
之后在创建FATE Cluster时,在证书选择处选择"跳过,我将手动安装"。
之后在"选择是否使用已存在的基础引擎服务"这里,打开想要使用的外部基础引擎的开关,并配置如何连接外部引擎的参数。
此处默认为由FedLCM来部署三个基础引擎,因此开关默认关闭。
我们建议三个引擎都为外部,或都为内部,如果其中部分引擎为内部部署,需要额外的配置,如有此类需求,请开Issue获得支持
关于具体参数的配置信息,可以参阅KubeFATE的相关介绍
之后,继续使用FedLCM产生的yaml部署即可。