今天的论文题目是《FedIPR: Ownership Verification for Federated Deep Neural Network Models》

FedIPR: Ownership Verification for Federated Deep Neural Network Models

FedIPR：联合深层神经网络模型的所有权验证

为了解决联合学习模型开发和部署过程中，面临的非法复制，再分配，滥用等风险，本文提出一种联合深度神经网络（FedDNN）所有权验证方案，允许嵌入和验证私人水印，以保证联合学习模型知识产权（IPR）。本文所做的主要工作在不透露其私人水印的情况下证明训练模型的所有权。

考虑到水印和联合学习中的威胁模型，本文提出了名为FedIPR的统一框架，它由两个独立的过程组成：1）水印嵌入过程，允许多方嵌入它们基于特征和后门的秘密水印。2）验证过程，允许每一方独立验证模型的所有权。

技术挑战

挑战A：如何确保不同的客户嵌入到同一个FedDNN模型中的私人水印不会相互诋毁？

挑战B：如何确保嵌入式水印对保护隐私的学习策略具有鲁棒性？

安全水平联合学习

一个安全的水平联合学习系统由 $K$ 个客户组成，它们用自己的数据建立自己的模型然后把本地模型 ${W_k}_{k=1}^K$ 发送到一个聚合器以获得一个全局模型，如下：

W\leftarrow\sum_{k=1}^K \frac{n_k}{K}W_k

其中 $n_k$ 是每个客户的本地模型Wk的权重。

自由人

freeider自由人，表示不贡献数据或计算资源，只为免费获得全局模型。自由人创建模型：

W^{free}=Free(W^t,W^{t-1})

带高斯噪声的自由人

W^{free}=W^t+\xi_t \quad,\quad \xi_t\backsim N(0,\sigma_t)

DNN水印

DNN水印有两类

基于后门的水印：基于后门的水印 $T={(X_T^1,Y_T^1),...(X_T^{N_T},Y_T^{N_T})}$ 是在训练期间通过加入后门样本的损失函数嵌入到模型函数N中

基于特征的水印：在水印嵌入步骤中，在模型参数W的学习过程中，通过在原始学习任务中加入正则化项，嵌入N比特目标二进制水印 $B \in \lbrace{0,1}\rbrace^N$ 。

FedIPR水印

一个给定的联邦深度神经网络（FedDNN）模型所有权验证方案（FedIPR）被定义为元组 $V=(g,\xi,A,V_W,V_B)$ ，由以下构成

1）对于每个客户端 $K \in \lbrace1,...k \rbrace$ ，密钥生成过程 $G()\rightarrow (B_k,\theta_k,T_k)$ 生成水印 $B_k$ ，水印提取参数 $\theta_k=\lbrace S_k,E_k\rbrace$ ，触发器 $T_k=\lbrace (X_{T_k}^1,Y_{T_k}^1),...(X_{T_k}^{N_T},Y_{T_k}^{N_T})\rbrace$ ，注意：以上参数均应得到保密，其中 $S_k$ 表示水印 $B_k$ 的位置， $E_k$ 表示水印 $B_k$ 的秘密嵌入矩阵。

2）嵌入过程： $L_k:=L_{D_k}(W^t)+\alpha_kL_{T_k}(W^t)+\beta_kL_{B_k,\theta_k(W^t)}$

3）聚合过程：使用 FedAvg algorithm： $W^{t+1}\larr \Sigma_{k=1}^K \frac{n_k}{n}W^{t+1}_k$ ，其中， $W^{t+1}_k \larr ClentUpdate(L_k,W^t)$ 是客户端k在第t轮的本地模型。 $\frac{n_k}{n}$ 表示聚合权重