目前最佳的几个人工智能开发框架以及(GPT-3) 模型简介

人工智能作为计算机科学的其中一个分支,如今的发展可谓是超越了所有的计算机科学分支,自2016年谷歌的阿尔法围棋(AlphaGo)第一个击败人类职业冠军围棋选手(李世石九段)以来,人工智能的理论和技术日益成熟,应用领域也不断扩大,可以设想,未来人工智能带来的科技产品,将会在部分领域超越甚至取代人类大脑。

而如今随着GPU的更新换代,我们知道在运算能力方面,CPU是不如GPU的,FPGA也无法适应大规模的并行运算。对此谷歌研发出了TPU芯片,就是专门针对人工智能神经网络的运算,这也引起了科技厂商们开始研制神经网络芯片的浪潮。

这几年涌现了许多的人工智能模型,如今(CNN、DNN、RNN)、GAN都是研究的热点,而NLP (自然语言处理)是人工智能的一个子领域,自然语言处理也是人工智能中最为困难的问题之一。

而目前号称全球最大的语言模型最大语言模型(GPT-3),它可以生成评测人员难以与人类撰写的文章区分开的文章。

(GPT-3) 的历史

Generative Pre-trained Transformer 3 (GPT-3) 其实是一种自动回归的语言生成模型,它利用深度学习来生成类人文本。由旧金山的人工智能研究实验室OpenAI创建的gpt-n系列的第三代语言预测模型。

GPT-3于2020年5月发布,并于2020年7月进行了beta测试,它是面向训练前语言表示的自然语言处理(NLP)系统趋势的一部分。在GPT-3发布之前,最大的语言模型是微软于2020年2月推出的图灵NLG。与GPT-3相比,其容量为170亿个参数,不足其10%。

GPT-3生成的文本质量很高,很难与人类书写的文本区分开来,这既有好处,也有风险。可见GPT-3是有史以来最有趣和最重要的人工智能系统之一。

微软于2020年9月22日宣布,微软拥有GPT-3的独家使用权。其他人仍然可以使用公共API接收模型输出,但是只有微软可以控制源代码。

GPT-3模型介绍

最初的GPT一代在训练数据集上相对较小,它只在数千本书和一台普通的8核CPU机器上进行训练。而到了GPT-2大大扩展了训练的范围,训练数据至少是前一版本的10倍以上。GPT-2在当时也已经取得了惊人的成果。GPT-2生成文本的模型,用户只需要输入一段文字,这个模型就能将这段文字引申成一个新闻或文章,足以达到以假乱真的程度。

GPT-3惊人的能力来自于它的大量学习。它将监督学习与无监督学习相结合。GPT-3将收集到的文本中的单词或短语随机删除,并尝试使用上下文填充删除的单词或短语。通过这种训练方法,不需要使用大量的人工数据进行训练,从而使GPT3的大规模训练成为可能。

完整版本的GPT-3可以保存1750亿个机器学习参数,训练一次 GPT-3 模型消耗的电量约为 19 万度,据传训练费用更是高达1200万美元,这样的项目如果不经商业化推行,那么成本将难以承担。

  1. 目前GPT-3已被安德鲁·梅恩(Andrew Mayne)用于AI Writer ,它使人们可以通过电子邮件与历史人物通信。

  2. 被《卫报》用来撰写有关AI对人类无害的文章。提出了一些想法,并撰写了八篇不同的文章,最终将其合并为一篇文章。

  3. GPT-3用于AI地牢,可生成基于文本的冒险游戏等等。

GPT除了可以编写代码,生成文本和文章,它甚至还可以用来生成图像。图片的像素值可以抽取出来转化成文本符号,再用GPT-3的模型进行训练,从而可以让其成为图像生成器。实际上,它的结果可以和专门用于图像生成的对抗生成网络(GAN)媲美。可以预见,GPT系列未来可能会发展成巨大的通用型网络模型。

而且在很多情况下,我们甚至都不需要会编程,那些有机会测试GPT-3 Beta版的研究人员就可以使用这个模型生成可运行的代码。

再来看看目前主流的人工智能框架。

TensorFlow

“使用数据流图表的可伸缩机器学习的计算”,TensorFlow是一个端到端开源机器学习平台。

主流语言:C ++或Python,其他语言基本都有。

TensorFlow就是一套工具,我们需要做的就是学会使用这个工具,去实现自己的各种网络。 TensorFlow在部署基本支持所有平台和所有语言,这一点对开发者还是非常友好的。

Microsoft CNTK

支持 python 、 C++、C#,Microsoft 计算网络工具包 (CNTK) 是一个非常强大的命令行系统,可以创建神经网络预测系统。CNTK 最初是出于在 Microsoft 内部使用的目的而开发的,因而文档有些晦涩难懂,但安装方式最简单的一个框架。

Caffe

Caffe是一个强大的深度学习框架,快速、开源的深度学习框架,对于新手不太友好,尤其是安装环境就十分麻烦。但是作为卷积神经网络CNN的框架,在图像识别领域是非常专业的,用于图像识别、医学诊断辅助模型的设计比较简洁自然。

基本无需额外编写过多的代码,只需要设计网络配置、以及你有大量的正确样本,就可以训练输出比较好的识别结果,也可以额外实现作为具体物体在图像中的位置搜寻功能。

语言:C ++。

缺点是架构比较一般,扩展新的功能较为麻烦。

Torch

Torch是一个用于科学和数字操作的开源机器学习库,这是一个基于Lua编程语言而非Python的库。Torch通过提供大量的算法,使得深度学习研究更容易,并且提高了效率和速度。

当然了,也有PyTorch的实现,它是一个开源的Python机器学习库,基于Torch。

人工智能带来的影响

随着技术的进一步提高,我们可以想象,未来初级程序开发人员可能不会那么受欢迎,无代码和自动机器学习将取代初级开发人员的大部分工作。可以想象,随着人工智能的不断进化,人工智能将逐渐成为人脑的工具。

在人工智能工具的帮助下,一个人可以很容易地处理团队以前需要的工作量。因为工具解放了人类个体的生产力,有了技术知识和愿意使用技术,人们可以创造出比以往任何时候都多的东西。即使需要团队合作,技术的应用也会使团队变得更小,效率更高,团队成员会有更多共同的兴趣。人工智能的应用可能会使那些有先天优势技术好、受过良好教育视野开阔的人获得更多的利润,而那些既没有先天优势也没有良好教育、因生活而短视的人则更处于不利地位,所以社会财富只会将越来越集中。

虽然目前,人工智能具体的应用还未彰显出能取代一切的姿态,也未大规模的走进千家万户之中,但是像GPT-3这样规模的网络的存在是不争的事实了,未来还将出现更多领域的人工智能服务,而这些将取代大部分人的工作。

没有一技之长的人不仅将在这个时代被迅速抛弃,在下一个人工智能时代也将可能被迅速淘汰。可见未来的教育任务才是重中之重。

(0)

相关推荐