联邦学习开源框架Fate主要更新

背景

FATE (Federated AI Technology Enabler) 是微众银行AI部门发起的开源项目，为联邦学习生态系统提供了可靠的安全计算框架。FATE项目使用多方安全计算 (MPC) 以及同态加密 (HE) 技术构建底层安全计算协议，以此支持不同种类的机器学习的安全计算，包括逻辑回归、基于树的算法、深度学习和迁移学习等。

FATE官方网站：https://fate.fedai.org/

版本1.4.0

联邦机器学习（Federated Machine Learning）

Home Secureboost（基于xgboost的一个加密boost）
对线性模型的AIC/BIC的逐步回归
Hetero Optimal Feature Binning（异构优化的特征分箱），支持iv/gini/chi-square/ks且允许非对称分箱方法
支持AI生态：引入了pytoch包来支持人神经网络
同构框架解构，简化同构相关算法的开发
为不同算法提供更早的停止策略
多类型分类的本地参照物
一致的预测评估
有效性策略优化，训练有效性的3倍速

Fate-flow（流的支持）

重构模型管理，本地文件存储，更易伸缩且信息更丰富的存储解构
在可靠的分布式系统上，支持模型的导入导出，存储
任务队列使用mysql管理而不是redis，减少系统的复杂性
提供上传客户端上传本地文件
自动检测存在的表且提供删除选项
系统，算法，调度日志的隔离，调度日志可以被独立审查

Eggroll

稳定性提升：新的资源管理组件有全新的会话机制，会话出错后，管理组件呢也能通过简单的方法调用进行清理。去掉了存储服务，没有c++/本地库文件需要编译。联邦学习算法在28%的丢包率下依然工作。
性能提升：在Eggroll2上，联邦学习算法有极大的性能提升，部分算法有10倍性能提升，联邦场景下，join interface比pyspark快16倍
用户体验提升：快速开发，支持maven，pip，config和start。轻量级依赖，可以从requirements.txt（python的依赖文件），pom.xml（java的依赖文件）看出。简易的调试，必要的上下文提供，实时的运行状态可以在日志和数据库中查看。一些jvm应用demo提供。

版本1.3.0

FederatedREC（联邦推荐算法）

添加联合推荐子模块
添加异构因子分解
添加同构因子分解
添加异构矩阵分解
添加异构奇异值分解
添加异构SVD++（满足最近邻分解）
添加异构广义矩阵分解

联邦机器学习

支持非均匀一般线性模型（异构LR、异构LinR、异构poissonR）中用稀疏数据训练
修正了32M分位数限制，以支持更高的特征维度
修正了SecureBoost直方图统计的32M限制，以支持更高的特征维度训练。
在OneHot编码器中添加异常参数和输入数据检测
修复在训练过程中，不传递验证数据来适应支持数据评估验证的过程

Fate-Flow

添加清除job的CLI（命令行交互界面）以清除输出和中间结果，包括数据、度量和会话
支持通过CLI获取表命名空间和输出数据的名称
在某些特殊情况下修复删除job不成功的执行
改进日志系统，添加更多异常和运行时状态提示

版本1.2.0

联邦学习

添加异构深层神经网络
添加秘密共享协议SPDZ
在SPDZ中加入异构特征相关算法并支持异构Pearson相关性计算
增加异构的SQN优化器，可用于异构回归和异构回归，可显著降低通信成本
支持扩展的重复id取交集
异构特征分箱中的多主节点支持
异构特征筛选中的多主节点支持
支持异构特征分箱中离散特征的IV计算
支持异构特征分箱中原始特征值到WOE的转换
在异类特征筛选中添加手动过滤器
支持性能与sklearn' logistic回归的对比
联邦训练迭代过程中对象/表的自动清理
提高大对象的传输性能
添加用于提交和运行任务的自动脚本

Fate-Flow

添加数据管理模块，用于在运行的作业中记录上传的数据表和模型的输出，以及查询和清理的命令行工具。
支持注册中心简化FATE Flow和FATE Serving之间的通信配置
重构模型发布逻辑，命运流将模型直接推向fate服务。将fate服务和Eggroll分离，离线和在线架构只通过fate-flow连接。
提供CLI查询数据上传记录
按行上传和下载数据支持进度统计
添加一些异常诊断提示
支持向任务添加注释信息
本机部署
修复EggRoll启动脚本中的错误，添加mysql，redis启动选项。
禁用mysql服务的主机名解析配置。
使用自动获取模式更新软件打包脚本中每个模块的版本号。

版本1.1.1

主要特点和改进

添加基于ubuntu的集群部署
添加支持数据合并的联合组件。
支持在一个Onehot Encoder中显示部分列
支持任务结束后的中间数据清理
求交加速
优化部署过程

漏洞修补

修复secureboost“提前停止”的错误
修复下载api中的错误
修复spark后端的错误

版本1.1

联邦机器学习

为支持安全聚合的同构联邦学习提供一个通用算法框架
加深度神经网络
添加异质线性回归
添加非均匀泊松回归
支持异构逻辑回归中的多主节点
支持异构线性回归中的多主节点
支持多主节点求交
利用缓存加速求交
重构异构广义线性模型框架
异构SecureBoost中支持仿射同态加密
支持异构SecureBoost中，对于缺失值进行输入数据
支持训练期间的评估并验证数据
添加spark作为计算引擎

fate-flow

查询任务状态的上载和下载，支持CLI
支持取消等待任务
支持设置任务超时
支持在任务日志文件夹中存储任务调度日志
添加身份验证来控制测试版，包括其中组件、命令、角色

版本1.0.2

Python和JDK环境仅用于运行独立版本的快速体验
支持集群版本docker部署
添加中文部署指南
部署群集版本时，支持用于快速体验的独立版本运行。
Python服务日志将保留14天。

版本1.0

这个版本包括两个新产品，分别是fate面板和fate-flow，面板作为联邦建模的可视化工具，fate流是联邦学习的端到端pipeline平台。此版本包含对FederatedML的重要改进，它可以更好地跟踪联邦学习算法的运行进度。

fate面板

联邦学习任务面板
联邦学习任务可视化
联合学习任务管理
实时日志面板

fate-flow

DAG定义Pipeline
联邦多方非对称DSL解析器
联邦学习生命周期管理
联邦任务协同调度
数据、度量、模型等的跟踪
联邦多方模型管理

联邦ML

用fate流更新联邦建模的所有算法模块运行状态
中间统计结果在所有算法模块的面板中可视化。
支持Nesterov Momentum SGD优化器
基于仿射变换的加同态加密方案
联邦特征分享支持稀疏的输入
更新评估指标，如ks、roc、gain、lift curve等
更新算法的参数定义类

fate服务

在线联邦接口添加在线联邦模型的DSL解析器

版本 0.3

联邦学习

支持多标签分类任务的OneVsALL
异方差Logistic回归中的垃圾回收
为sigmoid和对数逻辑函数添加数值稳定。
支持异构Logistic回归和异构SecureBoost的不同计算模式
联邦特征组合与联邦特征选择的解耦
在Hetero SecureBoost中增加特征重要性计算
在Hetero SecureBoost中添加多主节点
支持标签：值稀疏输入数据
支持输出交集id与交集中的特征实例
支持OneHot模块。
支持联邦特性分箱的bucket分箱。
支持定点数上的加法、sub、mul、div、gt、lt、eq等数学运算符
为参数设置添加权限验证

fate服务

为多方推理结果添加多级缓存
添加startInferceJob和getInferenceResult接口以支持推理过程异步化
规范化推理返回码
推理汇总日志和推理细节日志的实时日志记录
改进主机前、后处理适配器和数据访问适配器的加载

eggroll

新的计算和存储api
稳定性优化
性能优化
存储使用率改进
添加Mini FederatedML测试任务示例
使用任务管理器提交当前示例的分布式任务
错误修复和其他更改
修复检测一个最大列溢出错误。
修复数据IO密集格式不读取主机数据头错误。
修正统计函数调用错误
修复联合功能选择的错误，每个参与方至少保留一个功能
出于安全考虑，不允许在LR模块中使用小的批量。
修复联合功能选择模块中的命名错误。
在某些极端情况下修复自动发布模型信息的错误
修复了定点数中的一些溢出错误
修复许多其他错误。

版本0.2

fate-flow

添加模型管道线
添加异构联合特征分箱工作流
添加异构联合特征选择工作流
添加异构dnn工作流
为训练，预测，较差验证添加求交算子

联邦ML

支持svm稀疏格式输入数据
支持标签稀疏格式输入数据
添加异联邦特性分箱
添加异构联邦特征选择
添加功能定标器：MinMaxScaler和StandardScaler
为缺失值填充添加特征输入
为数据实例添加数据统计
支持原始交集可配置的编码和主计算角色
添加采样器：随机采样器和分层采样器
支持SecureBoost中的回归
支持回归评估
支持分散化FTL
通过DNN添加特征提取
将模型格式更改为ProtoBuf
增加异常参数检测
添加异常输入数据检测

fate服务（联邦学习模型的在线推理）

动态加载联邦学习模型。
使用联邦学习模型的实时预测。
模型管理
版本控制
再现性
查询，搜索
任务管理器
添加加载文件/下载文件
从本地文件添加导入ID
添加开始工作流
添加工作流任务队列
添加查询任务状态
添加Get Runtime conf
添加删除任务

Eggroll

为多处理器添加节点管理器以提高分布式计算性能
添加C++重写存储服务
添加eggroll清理API

部署

添加自动部署
改进部署文档

例子

添加异构联邦特征分箱示例
添加异构联邦特征选择示例
添加异构DNN示例
添加小例子
添加任务管理器示例
添加服务示例
错误修复和其他更改
Hetero-LR Minibath 修正
梯度平均修正
代理1秒延迟错误修正
修正了训练流程

版本 0.1

初始化版本

工作flow

支持求交工作流
支持训练工作流程
支持预测工作流
支持评估工作流
支持模型加载和保存工作流

联邦ML

支持样本比对的分布式安全求交和原始求交
支持分布式同质LR和异构LR
支持分布式SecureBoost
支持分布式安全联邦迁移学习
支持二值和多类评估
支持模型交叉验证
支持小批量
支持L1，L2正则化
支持多方同构联邦聚合器
支持多方异构联邦聚合器
支持部分同态加密MPC协议

结构

计算api的初始版本
存储api的初始发布
联合API的初始发布
跨站点网络通信（即“联合”）的初始发布
独立运行时的初始版本，包括计算引擎和k-v存储
分布式运行时的初始发布，包括分布式计算引擎、分布式k-v存储、元数据管理和站点内/跨站点网络通信
支持跨站点异构基础设施
建模与推理的初始支持

部署

支持独立（docker&manual）部署
支持群集部署