【赠书】深入浅出embedding:原理解析与应用实践

‍‍

Embedding(嵌入)是当下人工智能领域的热点,并发挥着越来越重要的作用。本书从Embedding基础概念和方法讲起,逐渐深入其原理,并以应用实例作为辅助,是快速了解并掌握Embedding的参考指南。

本书内容

全书一共16章,分为两个部分:

第一部分为Embedding基础知识(第1~9章),主要讲解Embedding的基础知识、原理以及如何让Embedding落地的相关技术,如TensorFlow和PyTorch中的Embedding层、CNN算法、RNN算法、迁移学习方法等,重点介绍了Transformer和基于它的GPT、BERT预训练模型及BERT的多种改进版本等。

第1章:万物皆可嵌入,介绍了各种各样的embedding技术。

第2章:讲解如何获取Embedding,介绍了Pytorch和Tensorflow框架中的emdding layer使用,以及如何从预训练模型中获取embedding;

第3、4章分别介绍视觉处理、文本处理方面的基础知识;包括视觉中的卷积神经网络与预训练模型,文本处理中的训练神经网络,编解码模型与序列模型。

第5章为本书重点,介绍了多种注意力机制,包括给Encoder-Decoder模型添加注意力机制,Transfromer模型详解与实现,Transfromer-XL模型详解与实现;

第6~8章介绍了ELMo、BERT、GPT、XLNet等多种预训练模型;

第9章介绍了推荐排序系统中的深度学习技术,包括卷积神经网络,transformer的使用。

第2部分(第10 ~16章)Embedding应用实例

通过6个实例介绍了Embedding及相关技术的实际应用,包括如何使用Embedding提升传统机器学习性,如何把Embedding技术应用到推荐系统中,如何使用Embedding技术提升NLP模型的性能等。

第10章介绍如何使用Embedding处理机器学习中的分类特征;

第11章介绍如何使用Embedding提升机器学习性能;

第12章介绍如何使用Transformer实现将英文翻译成中文;

第13章介绍Embedding在推荐系统中的前沿应用;

第14章介绍如何使用BERT实现中文语句分类问题;

第15章介绍如何使用GPT-2实现文本生成;

第16章是对Embedding技术的总结。

本书主要作者:

(0)

相关推荐

  • 2020年深度学习技术发展综述

    来源:无人系统技术 作者:王亚珅 摘要:对深度学习领域的研究进行综合评述,并对其进一步发展方向进行分析.首先分析围绕注意力机制的深度学习技术最新研究成果,以及在自然语言处理领域取得突破性进展的巨型预训 ...

  • 论文解读:Bert原理深入浅出

    Bert 自 Google 于 2018 年发表至今,一直给人们带来惊喜,期间也陆陆续续因为Bert出现的原因多了不少新的岗位,甚至公司 JD 上都明确表明必须懂 Bert. 它在 11 项自然语言处 ...

  • 我们可以无损放大一个Transformer模型吗?

    转载自 | PaperWeekly ©PaperWeekly 原创 · 作者 | 苏剑林 单位 | 追一科技 研究方向 | NLP.神经网络 看了标题,可能读者会有疑惑,大家不都想着将大模型缩小吗?怎 ...

  • NLP:NLP领域没有最强,只有更强的模型——GPT-3的简介、安装、使用方法之详细攻略

    NLP:NLP领域没有最强,只有更强的模型--GPT-3的简介.安装.使用方法之详细攻略 导读:NLP领域的模型,没有最大,只有更大.博主这几天也仔仔细细看了这篇长达75页的论文,光署名作者都有二三十 ...

  • 自监督学习: 人工智能的未来

    导读 什么是自监督学习?为什么自监督学习是AI的未来?自监督学习如何实现? 本文将回顾下自监督学习的前世今生,介绍它在CV.NLP.Graph.RecSys.RL等领域已经取得的令人惊叹的效果! 1. ...

  • 最全攻略:利用LightSeq加速你的深度学习模型

    算法码上来 字节算法工程师,本硕专业第一,这里有算法.自然语言处理.模型加速等众多分享,你想要的这里都有. 228篇原创内容 公众号 - BEGIN - 前言 LightSeq是字节跳动火山翻译团队开 ...

  • NLP实操手册: 基于Transformer的深度学习架构的应用指南(综述)

    人工智能算法与Python大数据 致力于提供深度学习.机器学习.人工智能干货文章,为AI人员提供学习路线以及前沿资讯 23篇原创内容 公众号 点上方人工智能算法与Python大数据获取更多干货 在右上 ...

  • 预训练模型,NLP的版本答案!

    NewBeeNLP 永远有料,永远有趣 222篇原创内容 公众号 1. 碎碎念 大概是两年前,跟百度的nlp组,参与合作过Ernie在对话系统上的应用. 问题其实很多,模型训练慢,一个月迭代一次很正常 ...

  • GPT-2:OpenAI的NLP商业化野望

    自然语言处理(NLP)技术正在生活的方方面面改变着我们的生活. 客厅的智能音箱在跟你每天的对话中飞速进步,甚至开始跟你"插科打诨"来适应你的爱好习惯. 电商客服总是能在第一时间回复 ...

  • 每周一本书之《深入浅出深度学习:原理剖析与Python实践》

    在过去的这十年,深度学习已经席卷了整个科技界和工业界,2016年谷歌阿尔法狗打败围棋世界冠军李世石,更是使其成为备受瞩目的技术焦点. 编辑 | abby 官网 | www.datayuan.cn 微信 ...

  • 基本功 | Java即时编译器原理解析及实践

    跟其他常见的编程语言不同,Java将编译过程分成了两个部分,这就对性能带来了一定的影响.而即时(Just In Time, JIT)编译器能够提高Java程序的运行速度. 本文会先解析一下即时编译器的 ...

  • 不可忽视的调节阀高清动态图及原理解析,值得收藏

    公差帮APP2021-03-05 09:02:00 1.蝶阀 蝶阀 蝶阀的阀瓣是圆盘,围绕阀座内的一个轴旋转,旋角的大小,便是阀门的开闭度. 优点:轻巧.结构简单.比其他阀门要节省材料.开闭迅速,切断 ...

  • 神经张力手法原理解析与手法演示

    概念 神经张力手法又称之为神经松动术(Nerve Mobilization),是现代康复治疗技术中的技能之一,是治疗师利用神经走向(含中枢和周围神经系统)针对神经组织(含其结缔组织)施以机械性拉力而从 ...

  • 3D成像方法 汇总(原理解析)— 双目视觉、激光三角、结构光、ToF、光场、全息

    3D视觉工坊 201篇原创内容 公众号 3D成像方法汇总介绍: 这里要介绍的是真正的3D成像,得到物体三维的图形,是立体的图像.而不是利用人眼视觉差异的特点,错误感知到的假三维信息.  原理上分类:主 ...

  • 深度探索Linux操作系统:系统构建和原理解析

    前言 对于编译内核而言,一条make命令就足够了.构建内核最困难的地方不是编译,而是编译前的配置.配置内核时,通常我们都能找到一些参考. 比如,对于桌面系统,可以参考主流发行版的内核配置,比如,对于嵌 ...

  • django进阶:从WSGI的介绍到Django原理解析

    WEB前端开发社区 今天 WSGI(Web 服务器网关接口)是python中所定义的Web Server和Web APP之间或框架之间的接口标准规范.当使用 Python 进行 web 开发时,要深刻 ...

  • 【IDseq™ Ultra原理解析】当病原宏基因组(mNGS)遇上探针捕获

    常规病原宏基因组检测技术(mNGS)面临样本类型与潜在病原多样.检测分析背景嘈杂的困境,高效去宿主技术是精准检测的核心秘籍之一.对于下呼吸道样本,通过反向富集技术,可以很好地降低宿主占比,显著提高病原 ...

  • 正确太极拳和站桩的神奇原理解析

    铁骑兵2019-05-11阅读 462练拳不练功,到老一场空!练功不练腿,老来冒失鬼 练太极拳和站桩对腿的8大好处:1 加速腿部的血液循环,改善脚冰凉,腿部发沉2 腿部有六条经络,肝经,胆经,脾经,胃 ...