史上最全生信数据库使用教程,300+页合集,吐血整理

生信数据库

“大数据”时代已经降临,在商业、经济及其他领域中,决策将日益基于数据和分析而作出,而并非基于经验和直觉。在生物学领域,大数据的整合分析更是亟不可待。在大数据时代,如何充分利用数据,让数据不再沉睡?如何结合自己的数据和已有的数据比较分析、充分挖掘数据的意义?如何基于临床研究设计科研课题,整合多组学数据,形成科研论文?

这些问题都需要靠生物信息学来解决。生信学习入门不易,网上能够找到的资料支离破碎,需要耗费大量时间自学才能领悟一二,这显然不符合医生科研精力不足的现状。为此,小编特意为大家整理了常见生信数据库的使用合集!(资源领取方式见文末

StarBase

starBase v3.0可以从多维测序数据中识别出超过110万个miRNA-ncRNA、250万个miRNA-mRNA、210万个RBP-RNA和150万个RNA-RNA相互作用。并且,基于32种癌症的10,882个RNA-seq和10,546个miRNA-seq的基因表达数据,研究人员还能用starBase v3.0对RNA-RNA和RNA-RNA相互作用进行泛癌症分析。starBase v3.0还允许平台对miRNA、lncRNA、mRNA、伪基因等进行生存和差异表达分析,功能非常强大。

R语言

R语言能够“无中生有”通过挖掘和统计分析获得可用于发表SCI的研究数据,故追求者众。掌握此技能,年输出SCI过3篇并不罕见。如此给力的科研技能,当然不是随随便便就能学会的。

市面上几千块的生信培训班,听的时候感觉都懂,自己实操每一步都会卡壳。钱多钱少,并不是能否学会的衡量标准。

利用R语言绘制的精美图像

GEO数据库

Gene Expression Omnibus(GEO)是一个储存高通量功能基因组学数据的数据库,这些高通量功能基因组学数据来自芯片和新一代的测序仪得到的试验数据。GEO除了收录基因表达数据之外还收录其它数据,例如基因组拷贝数变异数据、基因组-蛋白相互作用数据以及基因组甲基化数据等。

GEO数据库被分为两个部分收录在Entrez中,分别是GEO Profiles数据库(它负责收录一个基因在一次试验中的定量基因表达数据)和GEO DataSets 数据库(收录整个试验的数据)。目前,GEO数据库共收录了由世界各地的实验室提交的超过1871121个样本试验数据,16088个芯片平台记录,71339种实验项目以及3848种研究类型的基因表达谱数据。

KEGG数据库

信号通路是基础科研的精粹所在,而掌握通路浩瀚数据的钥匙就是KEGG(Kyoto Encyclopedia of Genes and Genomes)。KEGG——京都基因与基因组百科全书,是日本京都Kanehisa Laboratories根据文献证据手工整理的一个庞大数据库(包括信号通路、基因、疾病、药物等等)。

KEGG有别于其他数据库的一个显著特点就是具有强大的图形功能,它利用直观图形而不是繁缛的文字来介绍众多的代谢途径以及各途径之间的关系,简单明了。但初见KEGG也不是这么好用的,因为日本人清奇的脑回路,很(sang)贴(xin)心(bin)的(kuang)在网站里放了16个子数据库。

部分资源展示

数据可视化

ChiRP和CHART

部分目录展示

资源领取方式

私信回复数据库

或点击下方链接

即可免费领取

一文了解主流图数据库查询语言|操作入门篇

图数据库已经越来越被人们熟知,同时也在许多企业中得到了应用,但是由于市面上没有统一的图查询语言标准,所以有部分开发者对于不同图数据库的用法存在着疑问。因此本文作者对市面上主流的几款图数据库进行了一番分析,并以查询操作为例进行深入介绍。

文章的开头我们先来看下什么是图数据库,根据维基百科的定义:图数据库是使用图结构进行语义查询的数据库,它使用节点、边和属性来表示和存储数据

虽然和关系型数据库存储的结构不同(关系型数据库为表结构,图数据库为图结构),但不计各自的性能问题,关系型数据库可以通过递归查询或者组合其他 SQL 语句(Join)完成图查询语言查询节点关系操作。得益于 1987 年 SQL 成为国际标准化组织(ISO)标准,关系型数据库行业得到了很好的发展。同 60、70 年代的关系型数据库类似,图数据库这个领域的查询语言目前也没有统一标准,虽然 19 年 9 月经过国际 SQL 标准委员会投票表决,决定将图查询语言(Graph Query Language)纳为一种新的数据库查询语言,但 GQL 的制定仍需要一段时间。

鉴于市面上没有统一的图查询语言标准,在本文中我们选取市面上主流的几款图查询语言来分析一波用法,由于篇幅原因本文旨在简单介绍图查询语言和常规用法,更详细的内容将在进阶篇中讲述。

Gremlin 是 Apache ThinkerPop 框架下的图遍历语言。Gremlin 可以是的也可以是命令性的。虽然 Gremlin 是基于 Groovy 的,但具有许多语言变体,允许开发人员以 Java、JavaScript、Python、Scala、Clojure 和 Groovy 等许多现代编程语言原生编写 Gremlin 查询

支持图数据库:Janus Graph、InfiniteGraph、Cosmos DB、DataStax Enterprise(5.0+) 、Amazon Neptune

Cypher 是一个描述性的图形查询语言,允许不必编写图形结构的遍历代码对图形存储有表现力和效率的查询,和 SQL 很相似,Cypher 语言的关键字不区分大小写,但是属性值,标签,关系类型和变量是区分大小写的。

支持图数据库: Neo4j、RedisGraph、AgensGraph

nGQL 是一种类 SQL 的声明型的文本查询语言,nGQL 同样是关键词大小写不敏感的查询语言,目前支持模式匹配、聚合运算、图计算,可无嵌入组合语句。

支持图数据库:Nebula Graph

在比较这 3 个图查询语言之前,我们先来看看他们各自的术语,如果你翻阅他们的文档会经常见到下面这些“关键字”,在这里我们不讲用法,只看这些图数据库常用概念在这 3 个图数据库文档中的叫法。

术语GremlinCyphernGQL点VertexNodeVertex边EdgeRelationshipEdge点类型LabelLabelTag边类型labelRelationshipTypeedge type点 IDvidid(n)vid边 IDeidid®无插入addcreateinsert删除dropdeletedelete / drop更新属性setPropertysetupdate

我们可以看到大体上对点和边的叫法类似,只不过 Cypher 中直接使用了 Relationship 关系一词代表边。其他的术语基本都非常直观。

上面说了一通术语之类的“干货”之后,是时候展示真正的技术了——来个具体一点的例子,在具体的例子中我们将会分析 Gremlin、Cypher、nGQL 的用法不同。

实操示例使用了 Janus Graph 的示例图 The Graphs of Gods。该图结构如下图所示,描述了罗马万神话中诸神关系。

复制代码

在数据插入这块,我们可以看到 nGQL 使用 INSERT VERTEX 插入点,而 Gremlin 直接使用类函数的 g.addV() 来插入点,Cypher 使用 CREATE 这个 SQL 常见关键词来创建插入的点。在点对应的属性值方面,nGQL 通过 VALUES 关键词来赋值,Gremlin 则通过操作 .property() 进行对应属性的赋值,Cypher 更直观直接在对应的属性值后面跟上想对应的值。

在边插入方面,可以看到和点的使用语法类似,只不过在 Cypher 和 nGQL 中分别使用 -[]-> 和 **-> 来表示关系,而 Gremlin 则用 to() ** 关键词来标识指向关系,在使用这 3 种图查询语言的图数据库中的边均为有向边,下图左边为有向边,右边为无向边。

复制代码

这里,我们可以看到大家的删除关键词都是类似的:Delete 和 Drop,不过这里需要注意的是上面术语篇中提过 nGQL 中删除操作对应单词有 Delete 和 Drop ,在 nGQL 中 Delete 一般用于点边,Drop 用于 Schema 删除,这点和 SQL 的设计思路是一样的。

复制代码

可以看到 Cypher 和 nGQL 都使用 SET 关键词来设置点对应的类型值,只不过 nGQL 中多了 UPDATE 关键词来标识操作,Gremlin 的操作和查看点操作类似,只不过增加了变更 property 值操作,这里我们注意到的是,Cypher 中常见的一个关键词便是 MATCH,顾名思义,它是一个查询关键词,它会去选择匹配对应条件下的点边,再进行下一步操作。

复制代码

在查看数据这块,Gremlin 通过调取 valueMap() 获得对应的属性值,而 Cypher 正如上面更新数据所说,依旧是 MATCH 关键词来进行对应的匹配查询再通过 RETURN 返回对应的数值,而 nGQL 则对 saturn 进行 hash 运算得到对应 VID 之后去获取对应 VID 的属性值。

复制代码

查询父亲,其实是一个查询关系 / 边的操作,这里不做赘述,上面插入边的时候简单介绍了 Gremlin、Cypher、nGQL 这三种图数据库是各自用来标识边的关键词和操作符是什么。

复制代码

查询祖父,其实是一个查询对应点的两跳关系,即:父亲的父亲,我们可以看到 Gremlin 使用了两次 out() 来表示为祖父,而 nGQL 这里使用了 (Pipe 管道) 的概念,用于子查询。在两跳关系处理上,上面说到 Gremlin 是用了 2 次 out(),而 Cypher、nGQL 则引入了 step 数的概念,分别对应到查询语句的 GO 2 STEP 和 [:father *2],相对来说 Cypher、nGQL 这样书写更优雅。

复制代码

这个是一个典型的查询语句,找寻符合特定条件的点并返回结果,在 Cypher 和 nGQL 中用 WHRER 进行条件判断,而 Gremlin 延续了它的“编程风”用 gt(100) 表示年大于龄 100 的这个筛选条件,延伸下 Gremlin 中 eq() 则表示等于这个查询条件。

复制代码

这是一个沿指定点 Pluto 反向查询指定边(居住)的操作,在反向查询中,Gremlin 使用了 in 来表示反向关系,而 Cypher 则更直观的将指向箭头反向变成 <- 来表示反向关系,nGQL 则用关键词 REVERSELY 来标识反向关系。

复制代码

这是一个通过查询指定点 Pluto 查询指定边 brother 后再查询指定边 live 的查询,相对来说不是很复杂,这里就不做解释说明了。

最后,本文只是对 Gremlin、Cypher、nGQL 等 3 个图查询语言进行了简单的介绍,更复杂的语法将在本系列的后续文章中继续,欢迎在论坛留言交流。

本文作者及来源:Renderbus瑞云渲染农场https://www.renderbus.com

点赞 0
收藏 0

文章为作者独立观点不代本网立场,未经允许不得转载。