经验 | 记录 NCBI 下载基因组的大坑
写在前面
写在前面
最近分析的物种由于国外品种与国内品种差异还是比较大,虽然大部分文章用的参考基因组都是以国外品种为主,但是由于考虑到目前我这边数据几乎全部都是来源于国内品种,因此在考虑是不是用国内品种的基因组会更妥善。
刚好今年4月份国内品种的基因组又更新了一版,似乎是国内品种中目前质量最高的参考基因组,有被吸引到,因此有了这篇踩坑记录。。。。。
一、在基因组文献中找到参考基因组及注释的存储路径
如图可知该基因组存储在ncbi上,也给出了BioProject Number。注释文件存储在另外一个网站,似乎类似于FTP,直接下载即可,并没有太大问题。
二、NCBI下载基因组与注释文件(开始踩坑)
根据给出的BioProject Number,直接在NCBI上进入物种基因组下载界面,并点击下载
在NCBI上,一般能够下载到某物种的基因组文件及其对应的注释文件。但是我要下的该物种似乎确实没有将注释文件一并上传到NCBI上。因此直接去文章中给出的链接下载。
得到基因组与注释文件之后,使用TBtools提取CDS序列一直提不出来,非常奇怪。
一般来说遇到这种情况,基本上都是用户操作不当或者文件有问题。因此直接查一下文件的完整性。
使用TBtools的File MD5 Sum
功能计算下载的基因组的MD5,发现文件完整度没问题。
提不出CDS序列,输出的是空文件。也许是GFF3文件哪里有问题。检查了一下,发现似乎也没异常,该有的信息都有,除了基因ID长得比较奇怪。。。而且TBtools也能够成功提取该GFF3文件的信息,
顺道看了一眼参考基因组内容,惊呆了。。。问题竟然出现在染色体ID上,应该是NCBI默认给染色体ID更改过了名字,导致参考基因组中的染色体ID与GFF3中的染色体ID不一致。虽然信息很全,但是并没有啥用,甚至还会导致一系列报错。。
fine,既然找到了原因,那么只需要写个命令将基因组中的染色体名称改成与GFF3中一致即可。
三、关于下载参考基因组
我觉得下载参考基因组首先还是要直接看基因组文章里面
DATA AVAILABILITY
部分,是否有给出基因组及其注释文件的下载链接或者存储网站,直接访问下载,往往会比较靠谱。网上搜索是否有所需物种相应的基因组数据库
权威的综合数据库,如Ensembl、Phytozome等等。
最近Ensembl(
https://asia.ensembl.org/index.html
)用的比较多,一般直接进入Ensembl提供的FTP中搜索自己需要的物种以及参考基因组版本,FTP网址为:http://ftp.ensembl.org/pub/
进入会看到版本选择界面
确定好版本号之后,即可选择要下载的文件类型,Ensembl提供了非常详细的相关文件下载,一般我们需要的是基因组序列以及注释文件,即fasta与gff3
接着选取所感兴趣物种下载即可,可以下载其参考基因组序列、CDS与蛋白序列等等
最后,关于Ensembl ID。
通常Symbol是我们更愿意看到的ID,即基因的官方名称,如GFAP、MYB等,便于我们直观的知道这是个什么基因,但是在数据分析的过程中,基因ID往往不会直接以Symbol的形式出现,这个时候可以借助转换工具来对其进行转换,如Y叔的clusterProfiler
,或者直接在Ensembl网站上转换等。
Ensembl ID的含义,如ENSSSCG00000037372
其中ENS是Ensembl ID的标识符;
SSC为物种名的缩写(SSC指的是猪,如果是人的话,则默认为ENS,没有物种名);
G表示该ID为基因ID,指的是一个基因;如果是T,则为转录本ID,指的是某个基因的转录本;P则为蛋白;具体的缩写可以参考Ensembl官方说明:http://asia.ensembl.org/info/genome/stable_ids/prefixes.html
字母后面的一串数字为唯一的ID号,若ID后面还带着.1、.2等版本号标识符(如:ENSSSCG00000037372.3),则表示其在Ensembl中更新的次数,一般在做分析时需要将版本号给去掉。
写在最后
近期状态似乎还不错,虽然通勤真的很累,特别是要挤早高峰和晚高峰的广州死亡3号线。。。
嗯。。愿天下打工人都不用通勤