文献阅读 | Benchmarking single cell RNA-sequencing analysis pipelines using mixture control experiments
资源:
CellBench_data - code for the paper
现在单细胞领域的突出问题就是工具过多,但缺乏gold-standard benchmark datasets,没有一定的标准来衡量工具的好坏。
另外人们也不容易根据自己的问题来选择合适的工具,所以保险起见,现在大家都只用最有名气的那几个工具:seurat、monocle、SC3等。
算法是无穷的,随便套几个方法就能组成一个分析方法,做生物信息最大的问题就是要去理解算法,理解生物学问题,这个算法在解决生物学问题上有哪些优势和劣势。
写在前面:
这篇文章要想落到实处,就必须要解决以下的问题:
1. 单细胞的数据有哪些类型?有哪些主流的测序平台?他们各自的特点是什么?模拟的想法很好,但是很容易带来bias,反应不了真实情形。
2. 单细胞分析的主要任务是什么?有哪些最重要的生物学问题亟待解决?问题是灵活且复杂的,但基本问题只有几个。
3. 不要只做调参侠,跑完一个工具你要能解读数据,反应了什么?该算法是否完美的解决了我的问题?是否存在缺陷?在使用的时候有哪些需要特别注意的问题?就算是NCBI这么经典的BLAST都不是完全完美的。
作者用mixture control experiments的方法,来评估现存的主流的pipeline,选出了每个方面最好的工具,发在了NM上。
评估的工具类型:
3,913 combinations of data analysis methods
- normalization
- imputation
- clustering
- trajectory analysis
- data integration
评估的方法:
- Silhouette width
- Correlations
- kBET
- Overlaps
- Entropy
结果解读
scRNA-seq mixology provides ground truth for benchmarking.
- two plate-based (CEL-seq2 and SORT-seq)
- two droplet-based (10× Chromium and Drop-seq)
involved three different experimental designs with replicates, yielding 14 datasets in total
- single cells
- mixtures of single cells
- mixtures of RNA
up to five human lung adenocarcinoma cell lines
pseudo cell需要理解一下:把单细胞的RNA混合起来,或者把RNA直接按比例混合,得到不同配比的“pseudo单细胞”,这种方案适合来评估normalization and imputation。
Comparisons of normalization and imputation methods.
评估的工具list:
normalization:
- TMM
- None
- logCPM
- SCnorm
- BASiCS
- DESeq2
- Scone
- Scran
- Linnorm
Imputation:
- kNN-smoothing
- DrImpute
- SAVER
评估的方法:
- the silhouette width of clusters for all datasets (图里面的n代表了什么?known cell mixture groups,这里直接算这个score了,没有引入聚类。为什么有的不是n=13?为什么说Linnorm效果最好?)
- the Pearson correlation coefficient of normalized gene expression within each group for the RNA mixture data
结果:
normalization:Linnorm was the top performer on average, followed by scran and scone. (Linnorm是隔壁王老板的学生开发的)
Imputation:In general, imputation induces higher intra-group correlation, although considerable differences are observed depending on the normalization method chosen. 没说哪个好坏,只是说imputation确实会增加组内的相关性,但是不同情况下的imputation有一定的差异。
小知识:
The silhouette value is a measure of how similar an object is to its own cluster (cohesion) compared to other clusters (separation). The silhouette ranges from −1 to +1, where a high value indicates that the object is well matched to its own cluster and poorly matched to neighboring clusters. If most objects have a high value, then the clustering configuration is appropriate. If many points have a low or negative value, then the clustering configuration may have too many or too few clusters.
The silhouette can be calculated with any distance metric, such as the Euclidean distance or the Manhattan distance.
Comparisons of clustering methods.
评估的工具list:
- RaceID
- RCA
- Seurat
- clusterExperiment
- SC3
评价的指标:
- entropy of cluster accuracy (ECA)
- entropy of cluster purity (ECP)
- adjusted Rand index (ARI)
We consider these two metrics together to account for both under- and over-clustering, with methods that have both low ECP and low ECA having optimal cluster assignments.
结论:
没有绝对的好坏,因应用场景而异。seurat的平衡性较好,既不over也不under clustering;RaceID3则在复杂的异质性下表现更佳;SC3 under-clusters most datasets
Comparisons of trajectory analysis methods.
这部分的数据是如何模拟的,必须要知道。依然不能真正模拟真实的情况,要控制表达基因的数量,同时mix不一定是线性的,这点文章也承认了。
评估的工具list:
- Slingshot
- Monocle2
- SLICER
- TSCAN
- DPT
评估指标:
- Correlations
- Overlaps
结论:
Slingshot and Monocle2 showed robust results according to both metrics and generated meaningful representations of the trajectory, while Slingshot sometimes gave an extra trajectory path.
Comparisons of data integration methods.
batch effect correction
评估的工具list:
- MNNs
- Scanorama
- scMerge
- Seurat
- MINT
评价指标:
- silhouette width distance
- kBET acceptance rate
结论:
MNNs gave the best performance according to silhouette width distance, while Seurat had the highest kBET acceptance rate in this analysis
读这篇文章的收获:
1. 了解了目前的主流软件,以后做什么分析、用什么软件心里都有个谱;
2. 他们的数据很有用,以后开发工具可以用它来评价工具的好坏;
3. 分析代码、绘图代码都是现成的,无成本快速入门单细胞数据分析,还等什么,满满的诚意,绝不藏着掖着!
4. 危机感,再不好好搞,自己这点水平很快就被取代了。
个人点评:
这篇文章最有价值的就是模拟后测序的数据了,开发工具都知道测试数据的重要性,评价标准决定了开发工具的导向。
另一个创新就是在pipeline level来评价,我们要分析一个任务是有很多前置分析的,前置分析也会影响当下的分析,所以本文选择了随机组合的pipeline level,然后海选出最佳的组合。
但是此文的短板也很明显,除开数据,本文没有核心有价值的观点,没有针对算法的特性来点评和比较结果,只是跑出了结果,用几个僵硬的指标比了一下,技工的味道太明显。
值得深入讨论的是,这种模拟的数据到底有多大的可信度,能多大程度的反应真实的情况,是否囊括了所有的数据可能。
文献阅读 | Benchmarking single cell RNA-sequencing analysis pipelines using mixture control experiments的更多相关文章
- Advances in Single Cell Genomics to Study Brain Cell Types | 会议概览
单细胞在脑科学方面的应用 Session 1: Deciphering the Cellular Landscape of the Brain Using Single Cell Transcript ...
- 单细胞测序技术(single cell sequencing)
单细胞测序技术(single cell sequencing) 2018-03-02 11:02 来源: 一呼百诺 点击次数:6587关键词: 前言 单细胞生物学最近几年是非常热门的研究方向 ...
- Analysis of single cell RNA-seq data(单细胞终极课程)
业界良心啊,开源的单细胞课程. 随便看了几章,课程写得非常用心,非常适合新手. 课程地址:Analysis of single cell RNA-seq data 源码地址:hemberg-lab/s ...
- Multiclonal Invasion in Breast Tumors Identified by Topographic Single Cell Sequencing
Title: Multiclonal Invasion in Breast Tumors Identified by Topographic Single Cell Sequencing 课题的目的 ...
- CAR-T|Single cell plan|Extracellular RNA|
生物医疗大数据 安吉丽娜朱莉发现抑癌基因事件,BRCA突变与乳腺癌关联. 个体化测序商品23 and me 多组学数据研究:eg:太空和地球双胞胎发现生化指标差不多. 研究模式和工业模式相结合. 研究 ...
- 单细胞参考文献 single cell
许多分析软件 : https://github.com/seandavi/awesome-single-cell#software-packages Smart-seq.CEL-seq.SCRB-se ...
- 文献阅读 | The single-cell transcriptional landscape of mammalian organogenesis | 器官形成 | 单细胞转录组
The single-cell transcriptional landscape of mammalian organogenesis 老板已经提了无数遍的文章,确实很nb,这个工作是之前我们无法想 ...
- RNA Sequencing
RNA Sequencing 选择其他单元: RNA Sequencing 国内领先的转录组定序基地 Transcriptome Sequencing可全面性并快速地获得某一物种特定细胞或组织在某一状 ...
- 文献阅读笔记——group sparsity and geometry constrained dictionary
周五实验室有同学报告了ICCV2013的一篇论文group sparsity and geometry constrained dictionary learning for action recog ...
随机推荐
- iview Carousel 轮播图自适应宽高;iview 轮播图 图片重叠问题;iview tabs 高度互相影响问题;vue this问题;
最终效果图: 一.轮播图中图片自适应宽高: <Carousel loop v-bind:height="imgHeight+'px'" v-model="caro ...
- angularcli 第二篇(数据绑定、属性申明、绑定属性)
1.数据绑定 插值绑定: <li>{{ hero.name }} </li> 或 <div class = "{{ demo }}&q ...
- [openssl] 使用openssl生成证书
使用openssl生成带域名的证书,SAN,subjectAltName, subject alternative name, DNS. 1. 生成私钥 openssl genrsa - 2. 编写配 ...
- HTML&CSS基础-样式的继承
HTML&CSS基础-样式的继承 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.HTML源代码 <!DOCTYPE html> <html> & ...
- React系列,初识
学习react对于新手来说,还没有学react往往就会被webpack,npm等搞的晕头转向,所以我们今天就从最简单的方式入手 <script src="react.js"& ...
- gsoup webservice
SoapUI调用webservice实现的两种方式 gsoup https://blog.csdn.net/zhuzhihai1988/article/details/8131370
- 最快速的办法解决MySQL数据量增大之后翻页慢问题
MySQL最易碰到的性能问题就是数据量逐步增大之后的翻页速度变慢的额问题,而且越往后翻页速度越慢,如果用最快速的办法解决,以下就是解决办法,简单方便. 1.问题现状 现有MySQL数据表 event_ ...
- python - 栈与队列(只有代码)
1. 栈: - 后进先出 class Stack(object): def __init__(self): self.stack = [] def peek(self): return self.st ...
- info命令
info命令也可以查看命令的信息,但是和man命令不同,info命令如同一本书,一个命令只不过是书中的一个章节. 1.基本结构: 输入:info ls ls命令只不过是整个文档的10.1章节. 而在章 ...
- 【Redis】Linux下Redis的安装
Redis服务安装 主要有两种方式:apt安装和编译安装. 我采用的是apt安装,系统是ubuntu18.04,Redis version 5:4.0.9-1 在 Ubuntu 系统安装 Redi 可 ...