如何下载生物数据（三）：GATK数据下载
来源地址：https://blog.csdn.net/xxxie_/article/details/100111991
欢迎订阅WX众号：基因学苑，更多精彩内容等你发掘！
基因学苑Q群：32798724
当前做人相关的基因组分析，包括全基因组WGS，全外显子WES以及目标区域测序TRS，基本上都采用GATK标准的Best Practise最佳实践指导。人的基因组分析与其他物种稍微有一些不同，处理下载参考序列，还需要下载已有信息，例如各种人类基因组计划累积的变异信息，这些信息可以用于先验的学习集，提高变异检测的准确性。因此，如果想使用GATK软件，首先就需要下载GATK使用的数据集。
基因组版本选择
由于人的染色体存在多个数据中心，并且有多次更新，因此，当前有多个命名以及多个版本，搞不清这些版本和命名，有时候会产生很严重的后果。因为不同的命名之间序列的ID不同，比如1号染色体，有些是chr1，有些直接就是数字1，不同版本之间存在坐标这件的不同，因为很多注释数据库对染色体有版本要求，不同版本之间需要坐标转换之后才能使用。
UCSC命名最简单，就是hg加数字，比如hg18，hg19和hg38这些版本比较常用；
NCBI的命名更复杂一些，是GRCH开头，然后数字，36,37,38等。
而ENSEMBL命名就更复杂了，只给出版本比如52,59,61,80,81,82等。
这三种命名方式有一个对应关系。如图所示。
hg18 = GRCh36 = ENSEMBL release_52
hg19 = GRCh37 = ENSEMBL release_59/61/64/68/69/75
hg38 = GRCh38 = ENSEMBL release_76/77/78/80/81/82
这里面使用最多的就是hg19和hg38的版本，不同版本基因组之间主要有哪些差别呢，理论上来说越大版本基因组，序列的准确性越高。但是这里面有一个坐标位置的问题。就是我们无法保证坐标完全一致，基因组上坐标修改一个位置，与之相关联的所有内容要发生变化，例如这个坐标已经与dbSNP的rs号相对应了，这也就是为什么虽然现在已经有了hg38，但是hg19这个版本使用依然非常广泛，就是因为大量的注释信息都是基于hg19的版本来做的，如果要切换到hg38，所有的内容都需要改，工作量很大。此外，同一个版本还有很多子版本，例如37.1,37.2,37.3等。这种版本主要是基因组注释信息在更新，基因组序列没有发生变化。
GATK bundle
GATK在官网提供了一个resource bundle，里面包含了所需要的很多数据，如果使用gatk软件，最好把这些数据下载下来。
这些数据提供 FTP 和 Google Cloud bucket两种下载方式。但是因为你知道的原因，我们使用不了google，所以只能使用ftp的方式来进行下载。
https://software.broadinstitute.org/gatk/
https://software.broadinstitute.org/gatk/download/bundle
lftp数据下载
GATK官网推荐使用lftp工具进行访问ftp和下载数据，如果服务器中没有lftp命令，可以提前下载安装，最好使用管理员安装。
yum -y install lftp #Redhat 系列
apt -y install ftp #Debian系列
接下来直接在命令行中通过命令访问ftp服务器进行下载。这些数据都放置在broad的服务器上，没有镜像站点，离我们很远，并且网站限制并发链接，也就是如果全球有多人同时下载，你可能访问不上去。
首先lftp，后面跟用户名，然后at符号，ftp服务器地址。
lftp ftp://gsapubftp-anonymous@ftp.broadinstitute.org/bundle/
这里密码是空的，我们直接敲回车即可。
这样就访问就来了。接下来可以使用cd ls等命令来查看数据。里面包含很多数据目录，你可以选择不同版本的人基因组数据，cd到b37的目录看一下。里面包含了非常多的内容，包括各种数据库，千人基因组的snp和indel文件，dbsnp，瓶中基因组计划的结果。外显子联盟的，Mills_and_1000G_gold_standard.indels，这个是比较准确的人indel数据，这些都可以用在gatk vqsr的机器学习中。此外还包括人基因组序列，各种建好的索引文件等。
1000G_omni2.5.b37.vcf.gz
1000G_omni2.5.b37.vcf.gz.md5
1000G_omni2.5.b37.vcf.idx.gz
1000G_omni2.5.b37.vcf.idx.gz.md5
1000G_phase1.indels.b37.vcf.gz
1000G_phase1.indels.b37.vcf.gz.md5
1000G_phase1.indels.b37.vcf.idx.gz
1000G_phase1.indels.b37.vcf.idx.gz.md5
1000G_phase1.snps.high_confidence.b37.vcf.gz
1000G_phase1.snps.high_confidence.b37.vcf.gz.md5
1000G_phase1.snps.high_confidence.b37.vcf.idx.gz
1000G_phase1.snps.high_confidence.b37.vcf.idx.gz.md5
1000G_phase3_v4_20130502.sites.vcf.gz
1000G_phase3_v4_20130502.sites.vcf.gz.tbi
Broad.human.exome.b37.interval_list.gz
Broad.human.exome.b37.interval_list.gz.md5
CEUTrio.HiSeq.WGS.b37.NA12878.bam
CEUTrio.HiSeq.WGS.b37.NA12878.bam.bai.gz
CEUTrio.HiSeq.WGS.b37.NA12878.bam.bai.gz.md5
CEUTrio.HiSeq.WGS.b37.NA12878.bam.md5
CEUTrio.HiSeq.WGS.b37.NA12878.vcf.gz
CEUTrio.HiSeq.WGS.b37.NA12878.vcf.gz.md5
CEUTrio.HiSeq.WGS.b37.NA12878.vcf.idx.gz
CEUTrio.HiSeq.WGS.b37.NA12878.vcf.idx.gz.md5
CEUTrio.HiSeq.WGS.b37.bestPractices.b37.vcf.gz
CEUTrio.HiSeq.WGS.b37.bestPractices.b37.vcf.gz.md5
CEUTrio.HiSeq.WGS.b37.bestPractices.b37.vcf.idx.gz
CEUTrio.HiSeq.WGS.b37.bestPractices.b37.vcf.idx.gz.md5
Mills_and_1000G_gold_standard.indels.b37.vcf.gz
Mills_and_1000G_gold_standard.indels.b37.vcf.gz.md5
Mills_and_1000G_gold_standard.indels.b37.vcf.idx.gz
Mills_and_1000G_gold_standard.indels.b37.vcf.idx.gz.md5
NA12878.HiSeq.WGS.bwa.cleaned.raw.subset.b37.sites.vcf.gz
NA12878.HiSeq.WGS.bwa.cleaned.raw.subset.b37.sites.vcf.gz.md5
NA12878.HiSeq.WGS.bwa.cleaned.raw.subset.b37.sites.vcf.idx.gz
NA12878.HiSeq.WGS.bwa.cleaned.raw.subset.b37.sites.vcf.idx.gz.md5
NA12878.HiSeq.WGS.bwa.cleaned.raw.subset.b37.vcf.gz
NA12878.HiSeq.WGS.bwa.cleaned.raw.subset.b37.vcf.gz.md5
NA12878.HiSeq.WGS.bwa.cleaned.raw.subset.b37.vcf.idx.gz
NA12878.HiSeq.WGS.bwa.cleaned.raw.subset.b37.vcf.idx.gz.md5
NA12878.knowledgebase.snapshot.20131119.b37.vcf.gz
NA12878.knowledgebase.snapshot.20131119.b37.vcf.gz.md5
NA12878.knowledgebase.snapshot.20131119.b37.vcf.idx.gz
NA12878.knowledgebase.snapshot.20131119.b37.vcf.idx.gz.md5
dbsnp_138.b37.excluding_sites_after_129.vcf.gz
dbsnp_138.b37.excluding_sites_after_129.vcf.gz.md5
dbsnp_138.b37.excluding_sites_after_129.vcf.idx.gz
dbsnp_138.b37.excluding_sites_after_129.vcf.idx.gz.md5
dbsnp_138.b37.vcf.gz
dbsnp_138.b37.vcf.gz.md5
dbsnp_138.b37.vcf.idx.gz
dbsnp_138.b37.vcf.idx.gz.md5
hapmap_3.3.b37.vcf.gz
hapmap_3.3.b37.vcf.gz.md5
hapmap_3.3.b37.vcf.idx.gz
hapmap_3.3.b37.vcf.idx.gz.md5
hapmap_3.3_b37_pop_stratified_af.vcf.gz
hapmap_3.3_b37_pop_stratified_af.vcf.gz.tbi
human_g1k_v37.dict.gz
human_g1k_v37.dict.gz.md5
human_g1k_v37.fasta.fai.gz
human_g1k_v37.fasta.fai.gz.md5
human_g1k_v37.fasta.gz
human_g1k_v37.fasta.gz.md5
human_g1k_v37_decoy.dict.gz
human_g1k_v37_decoy.dict.gz.md5
human_g1k_v37_decoy.fasta.fai.gz
human_g1k_v37_decoy.fasta.fai.gz.md5
human_g1k_v37_decoy.fasta.gz
human_g1k_v37_decoy.fasta.gz.md5
直接使用get命令，接要下载的文件，就可以下载数据了。
比如：get human_g1k_v37_decoy.fasta.gz.md5
也可以使用mget命令，添加通配符，下载同一类型的文件。
这里面我们要下载整个目录数据。可以使用mirror命令。
返回上层目录，直接mirror b37，就可以下载全部数据了。
mirror b37
因为数据比较多，也比较大，下载还是需要很长时间的。
Tips：一般发现下载国外数据，选择白天下载速度较快，可能由于时差的原因，西方人正在睡觉吧，我猜的，没验证过。
这里我们将GATK的hg19，hg38以及b37的数据已经保存在百度网盘，微信后台回复“gatk”即可得到下载链接。
---------- END ----------