scVI与MultiVI

scVI：https://docs.scvi-tools.org/en/stable/user_guide/models/scvi.html
MultiVI：https://docs.scvi-tools.org/en/stable/user_guide/models/multivi.html

scVI

single cell variational inference提出了一个灵活的scRNA-seq数据生成模型。scVI功能全面，可以扩展到大规模数据集（处理超过1万个细胞），局限性在于：1.需要GPU才能快速推理，2.与线性方法不同，潜在空间不可解释。

生成

scVI将包含细胞和基因的scRNA-seq基因表达矩阵$X$作为输入（$N$个细胞，$G$个基因），此外，一个设计的矩阵$S$包含$p$个观测协变量，比如day，donor等等，这是可选的输入。虽然$S$可以包含离散协变量和连续协变量，但在下文中，我们假设它仅包含一个具有$K$个类别的离散协变量，这代表了具有多批次数据的常见情况。

对于细胞$n$和基因$g$，scVI用下面过程生成观测的UMI计数$x_{ng}$（其中，$s_n$为细胞$n$的batch id）：$$\begin{gathered} z_n\sim Normal(0,I) \\ {l}_n\sim logNormal(l_{\mu }^{\top }{s}_n,l_{{\sigma }^2}^{\top }{s}_n) \\ {\rho }_n=f_w(z_n,s_n) \\ {\pi }_{ng}=f_h^g(z_n,s_n) \\ {x}_{ng}\sim ObservationModel(l_n{\rho }_n,{\theta }_g,{\pi }_{ng}) \end{gathered}$$简而言之，每个基因的基因表达取决于细胞特异性的潜在变量$z_n$。先验参数 $l_{\mu }$ 和 $l_{{\sigma }^2}$ 是根据所有细胞的对数大小在不同批次之间计算得出的均值和方差。表达数据是从一个基于计数的似然分布生成的，这里称为$ObservationModel$，默认为ZINB分布，也可以是更简单的NB分布。

生成过程使用两个神经网络： f w ( z n , s n ) : R d × { 0 , 1 } K → Δ G − 1 f h ( z n , s n ) : R d × { 0 , 1 } K → ( 0 , 1 ) ⊤ f_{w}(z_{n},s_{n}):\mathbb{R}^{d}\times\left\{0,1\right\}^{K}\rightarrow\Delta^{G-1}\\f_{h}(z_{n},s_{n}):\mathbb{R}^{d}\times\left\{0,1\right\}^{K}\rightarrow(0,1)^{\top} fw​(zn​,sn​):Rd×{0,1}K→ΔG−1fh​(zn​,sn​):Rd×{0,1}K→(0,1)⊤分别解码去噪基因表达和ZINB概率。

下表为潜在变量以及描述：

潜在变量	描述
$z_n\in {\mathbb{R}}^d$	细胞状态的低维表示
${\rho }_n\in {\Delta }^{G-1}$	去噪的基因表达。这是一个cell内总和为1的向量
$l_n\in (0,\infty )$	RNA 文库大小。 这里它被建模为一个潜在变量，但 scVI 最近的默认设置是将文库大小视为观察到的，等于当前细胞$n$的总 RNA UMI 计数
${\theta }_g\in (0,\infty )$	NB的Inverse dispersion。例如，可以通过在模型初始化期间传递dispersion=“gene-batch”来将其设置为特定于基因或批次

推理

scVI 使用变分推理来学习模型参数（神经网络参数、Inverse dispersion等）和具有以下分解的近似后验分布：$$q_{\eta }(z_n,l_n|x_n)=q_{\eta }(z_n|x_n,s_n)q_{\eta }(l_n|x_n)$$这里$\eta$是对应于推理神经网络（编码器）的一组参数。值得注意的是，默认情况下，scVI 仅接收表达数据作为输入（没有观测到的细胞水平协变量）。根据经验，通过让编码器将这些item的串联 $q_{\eta }(z_n,l_n|x_n,s_n)$ 作为输入，我们并没有看到太大的差异。

任务

下面是scVI可以执行的任务。

降维：近似的后验$q_{\eta }(z_n|x_n,s_n)$被返回获得低维表示。

transfer ：scVI可以根据参考数据进行训练，然后将细胞水平协变量（比如细胞类型注释）转移到查询数据。

基因表达的插补：scVI返回近似后验下${\rho }_n$的期望值。对于细胞$n$，可以写成：$${\mathbb{E}}_{q_{\eta }(z_n|x_n)}[f_w(z_n,s_n)]$$

差异分析：scVI在估计后的插补数据上执行差异分析。

生成模拟数据：可以从$z_n$进行采样，重新模拟生成新的细胞数据。

MultiVI

multiVI是一个多模态生成模型，能够整合多组学的scRNA-seq和scATAC-seq数据，训练后，可用于许多常见的下游任务，也可用于缺失模态的插补。

• 图1：其中输入数据由ATAC、RNA两种数据类型组成（或者加上蛋白质模态）。变量$S$表示实验协变量，如批次或实验条件（$S$是可选的输入）。每个数据模态被编码成模态无关的潜在表示，然后，这些表示被合并到一个联合潜在空间。

生成

MultiVI的输入为多模态单细胞矩阵$X_{mult}$，包含$N$个细胞，$G$个基因，以及$M$个基因区域（peaks），或者仅$X_{rna}$（$N$个细胞和$G$个基因），或者仅$X_{atac}$（$N$个细胞和$M$个peaks，peaks可能是二值化的或者整数计数）。此外，一个设计的矩阵$S$包含$p$个观测协变量，比如day等，这是可选的输入。虽然$S$可以包含离散协变量和连续协变量，但在下文中，我们假设它仅包含一个具有$K$个类别的离散协变量，这代表了具有多批次数据的常见情况。

对于细胞$n$和基因$g$以及peaks $j$，MultiVI用下面过程生成观测的UMI计数$x_{ng}$和$y_{nj}$：$$\begin{gathered} z_n\sim Normal(0,I) \\ {l}_n\sim logNormal(l_{\mu }^{\top }{s}_n,l_{{\sigma }^2}^{\top }{s}_n) \\ {\rho }_n=f_w(z_n,s_n) \\ {\pi }_{ng}=f_h^g(z_n,s_n) \\ {x}_{ng}\sim ObservationModel(l_n{\rho }_n,{\theta }_g,{\pi }_{ng}) \\ {p}_{nj}=g_z^j(z_n,s_n) \\ {l}_n=f_l(y_n) \\ {y}_{nj}\sim Bernoulli(p_{nj}\cdot l_n\cdot r_j) \end{gathered}$$对于scRNA-seq，先验参数 $l_{\mu }$ 和 $l_{{\sigma }^2}$ 是根据所有细胞的对数大小在不同批次之间计算得出的均值和方差。表达数据是从一个基于计数的似然分布生成的，这里称为$ObservationModel$，默认为ZINB分布，也可以是更简单的NB分布。

对于scATAC-seq，检测可访问区域（$y_{nj}>0$）是由伯努利随机变量生成的，该变量取决于细胞特异性潜在变量$z_n$，该变量捕获生物异质性。另外有两个辅助的缩放因子$l_n$和$r_j$，分别考虑了特定于细胞和特定于region的批次效应。

MultiVI 的生成过程使用神经网络： f w ( z n , s n ) : R d × { 0 , 1 } K → Δ G − 1 f h ( z n , s n ) : R d × { 0 , 1 } K → ( 0 , 1 ) ⊤ g z ( z n , s n ) : R d × { 0 , 1 } K → [ 0 , 1 ] M f_{w}(z_{n},s_{n}):\mathbb{R}^{d}\times\left\{0,1\right\}^{K}\rightarrow\Delta^{G-1}\\f_{h}(z_{n},s_{n}):\mathbb{R}^{d}\times\left\{0,1\right\}^{K}\rightarrow(0,1)^{\top}\\ g_{z}(z_{n},s_{n}):\mathbb{R}^{d}\times\left\{0,1\right\}^{K}\rightarrow[0,1]^{M} fw​(zn​,sn​):Rd×{0,1}K→ΔG−1fh​(zn​,sn​):Rd×{0,1}K→(0,1)⊤gz​(zn​,sn​):Rd×{0,1}K→[0,1]M分别解码去噪基因表达、非零膨胀概率（仅当使用 ZINB 时）并估计可访问区域的概率。

推理

MultiVI 使用变分推理来学习模型参数，并得到具有以下分解的近似后验分布：$$q_{\eta }(z_n,l_n|x_n)=q_{\eta }(z_n|x_n,y_n,s_n)q_{\eta }(l_n|x_n)$$其中，$z_n$被确定性地计算为变分近似$z_n^{rna}$和$z_n^{atac}$的两个潜在变量的平均值。这两个变量是正态的，因此$z_n$是正态的。

当获得隐变量后，使用生成模型即可完成不同模态的数据还原。

MultiVI的局限：因为$z_n$需要获得两个模态的$z_n^{rna}$和$z_n^{atac}$均值，MultiVI在非联合测量数据上的整合能力有限。