AI公开课：19.05.29 浣军-百度大数据实验室主任《AutoDL 自动化深度学习建模的算法和应用》课堂笔记以及个人感悟

AI公开课：19.05.29 浣军 百度大数据实验室主任《AutoDL 自动化深度学习建模的算法和应用》课堂笔记以及个人感悟

导读
       浣军博士，汉族，1975年出生于江苏苏州，华人科学家，教授，博士生导师，国际著名人工智能专家。历任美国堪萨斯大学电子工程和计算机系终身讲席正教授、博士生导师、美国国家科学基金委大数据学科主任、葛兰素制药高级访问科学家。现任百度大数据实验室主任。
       2006年在北卡来罗纳大学计算机系获得博士学位后加入堪萨斯大学，历任助理教授、副教授、正教授、讲席正教授。 
浣军博士担任堪萨斯大学生物信息学和计算生命科学实验室主任，国家分子探针研究中心化学信息学部主任等职。 
       2015-2018年 任美国国家科学基金委，计算和信息学部，担任大数据学科主任，主管大数据项目规划和审批。
       2018年1月18日，加入百度研究院，担任百度大数据实验室主任 。浣军教授在百度提出开放普惠AI理念，主持开发了Baidu AutoDL: Automated Deep Learning，让广大中小初创企业个人无需特殊软硬件设备和工程团队也能享受到百度开发的先进AI技术。
       研究领域：浣军博士长期从事AI、大数据、数据挖掘和机器学习的理论、算法和应用的研究，研究领域涉及深度学习、大数据、生物信息学等。

问答环节

小编正在使劲整理中……
雷鸣教授：模型的训练，类似启发式搜索。初始的模型是什么？
浣军教授：按照不同模式需要进行因地制宜，比如Resnet，大体机构要是知道的，搜出来的是一个cell，比如七个节点的模块，在这个模板上进行优化，然后将多个cell结合起来。第三个是，比如从Resnet开始，进行局部修改，split，把一层或者改为两层，通过这样得到优化的结果。
雷鸣教授：第一个是有一个大体上框架，然后往里面填框架。第二个是模块化的替换，相当于换个发动机或者什么的，比如火车，有可替换性，然后根据不同组合进行作业；第三个，局部分析修改。下一个问题，对于数据量有什么要求么？
浣军教授：训练一次几个小时，如果比如训练需要3天。整个训练比较大，可以理解为，利用AutoDL，找组件，利用人类的某种组合进行优化。
雷鸣教授：有点类似金融数据分析，先找这些特征，然后综合这些特征，然后通过二级市场操作，会得到有效利用。能不能讲一讲在其他推荐、大数据处理领域上，如何应用？
浣军教授：应该说，视觉领域需求比较强烈，但是NLP上也有很多应用，比如设计RNN或者优化LSTM算法。比如迁移学习，利用Bert训练模型，然后迁移到某个具体场景上。关于推荐系统上，其实，模型不见得很深，尤其对于FE处理，这一块特别重要。
雷鸣教授：在应用上，比如根据迁移学习或者模型压缩，AutoDL有很多有意思的应用，比如还有其他的那些应用？
浣军教授：在分类上，除了图像分类。图像分割领域，比如最近百度语音合作做的，城管的项目，通过摄像头进行识别，识别垃圾不应该出现在不该出现的地方。语义分割领域，工业质检找到产品缺陷，困境是都是小样本、弱监督。弱标签并不是不标记，而是简化标记。安全领域，如何防止别人攻击，如何模拟攻击。风格迁移领域，去燥、超分辨率等，做特征分层，优化k层的识别。
雷鸣教授：放眼未来，未来会有哪些潜在的技术以及如何影响产业？
浣军教授：理论上，神经网络的结构和功能之间的关系，如何通过理论进行刻画，从而用来指导神经网络的设计。对样本的选择，如何优化网络，比如数据的选择、优化器的选择。比如要识别某种动物、识别某种疾病，这对于人类来说，是用的一套系统进行的识别，如何在任务不确定的情况下，也有比较好的模型。这个方向若有扩展，能够有更大的范围，更能优化模型。
雷鸣教授：探讨所谓深度学习的人才，哈哈，其实就是调整各模型，如果调参被AutoDL抢走，那么我们未来的人才应走向何方？
浣军教授：虽然现在的学生只会调参，哈哈，比如我们可以建立一个车床，让学生的加工精度进行提高，使大家自我能力提升。
雷鸣教授：还要理解网络的结构，尝试改一下网络的结构。AutoDL有没有可能会用于一些先验知识？
浣军教授：比如做气象，天气预测，它是有一个很强的物理机制的，如果单纯去学习，它需要的数据量要很大的。可以考虑混合建模。除了模型嵌入，还有知识嵌入，比如要预测斑马，原先不知道斑马，实际上做预测的时候，就不需要大量的斑马图像。能够有效的降低对数据集的依赖。很多的知识，比如夸模态，既有图像又有语言。
雷鸣教授：最近何何凯明的大作，随机的网络还不错？精心设计和随机搜索到底哪个好？有什么建议？总结，随机在一些相对新的、未知的领域，会更好一点。
浣军教授：学术界，要有对认识的认识，要经常反思。如果对问题的理解，调参是基本技能，如果对问题深入理解，随机搜索也不失为一种好的方式，空间定下来，随机搜索可以在固定的时间内给一个不错的结果。多目标搜索，要考虑能耗、响应时间、准确度，此时若主要考虑实时，根据不同的搜索策略。何凯明的大作，说明了随机搜索效果还算不错，其实，这种反思永远是对的，人工智能真的是需要很大的算力、很好的设计才会得到最好的结果吗？
雷鸣教授：AutoDL能干很多东西，那人类还要学什么呢？还需要投向人工智能领域吗？
浣军教授：人工智能处于初级阶段，目前还是需要人工，网络结构对数据的敏感性还是不够。如果12年有博士在做深度学习，那么，他17年才会毕业，其实12年那时候真正做深度学习的人很少很少，所以还是需要的。
雷鸣教授：对有志于人工智能，这只是一个工具，在一些新领域，还是需要继续学习，还有很多很多领域，我们处于非常早期的阶段，AutoDL也是一个非常重要的方向。如何看待神经生物学和人工智能数学科学？会有哪些预期的突破？
浣军教授：比如目标检测，人做目标检测的时候，是基于多通道的，然后注意力集中后进一步检测，其实卷积神经网络矩形感受视野，而人类的感受视野不会一直是矩形的。人类证明了存在这样一个网络，那么，我们能不能设计一个系统完成多个任务。是建立在数学基础上与视觉科学又有不同。
雷鸣教授：人类的脑结构，比如神经科学，最早的神经网络其实就是依据而来。算力的增长，量变到质变的图片。如果层数不多的话，8~10层，最初的层，根据光栅的原理在找边框，随着网络加深依次检测更具体的东西。毕竟，人脑是靠生物学，而神经网络是基于数学的，是否需要完全理解大脑才能做出一个人造的超级大脑，本着科学的精神，结果在没有出来以前，我们都不能否定。比如飞机，现在的飞机的并不是扇动飞行的，所以我们不能完全照抄，但是也是要有模仿的部分。
浣军教授：人工智能的阶段，现在是最有意思的阶段。神经网络是生物学启发的，比如Hinton在用类比的方式，并没有纯数学去建立，NLP领域，必须要理解语言的结构，大家都在小数据上总结出来的类似的结构，这需要大家自己去探索，要保持一个开放的心态、快速学习的能力、探索的能力，认知一件事要有多种可能性。

个评：很多事情需要大家自己去探索，但要保持一个开放的心态、快速学习的能力、探索的能力，认知一件事要有多种可能性。何凯明的大作，说明了随机搜索效果还算不错，其实，这种反思永远是对的，人工智能真的是需要很大的算力、很好的设计才会得到最好的结果吗？保持疑问，带着反思前进！
备注：以上对话环节的文本编辑，为博主总结，与原文稍微有异，请以原文录音为准。时间紧迫，如有错误，欢迎网友留言指出、探讨。

现场图片

小编正在使劲整理中……

演讲PPT

小编正在使劲整理中……

人工智能布局

  • 平台层：AI平台与生态
  • 认知层：语言与知识
  • 感知层：语音、视觉，AR/VR
  • 基础层：大数据、算法、大计算

语音

  • 语音识别
  • 语音合成
  • 语音交互：百度输入法
  • 图像技术：
  • 视频理解：

多元异构知识图谱

  • 语言与知识技术：
  • 从海量数据构建超大规模知识图谱
  • 医疗图谱构建

句法分析与意图理解：机器翻译

基于知识增强的语义建模ERNIE

  • 智能写作
  • 多模态深度语义理解
  • 基于知识图谱的视频理解

百度AI开放平台：PaddlePaddle，案例比如农田病虫害监测。

人工智能正在成为这个时代和核心驱动力

AutoDL

Brief Introduction to Baidu Big Data Laboratory 

AutoDL: Transform Deep Learning Model Design to Affordable Commodity

  • Automated Neural Network Architecture Design is a critical component in AI research and development
  • Baidu AutoDL has three parts:
  • Research Topics Sample

AutoDL design Architecture
Reinforcement Learning in AutoDL 
Major Challenges:

  • High dimensional search space -
  • It takes long time to train a student network

Regularization is Critical in Preventing Overfitting 

  • Deep Convolutional Neural Networks (CNNs) are always over-parameterized
  • Overfitting is a serious problem in Neural Architecture Search, usually optimizing over an exponentially-large space
  • We have utilized a group of regularization methods such as - Mix-up - Shake-shake
  • We developed Rademacher complexity based regularization with proved generalization guarantee

AutoDL Application: De Novo Network Design

AutoDL: Deep Learning Transfer Using Feature Map With Attention 

  • Motivation: unactivated chaimel re-usage
  • Based on the idea of SPAR (using starting point as the reference) and knowledge distillation
  • Preserving transferable channels and reusing tmtransferable channels using an attention mechanism with feature map regularization

AutoDL Edge: 3D-Filtermaps 

  • CNNs learn a 3D-Filtermap. instead of a set of independent filters. in each convolution laver.

AGAN : Automated GAN Architecture Search
With AGAN the benefits are

  • (1) stabilizing GAN training,
  • (2) improving its quality, and
  • (3) providing customized models

StyIeNAS: NAS for Universal Photorealistic Style Transfer
      StyIeNAS adopts (1) a carefully designed search space, which enable end-to-end photorealistic style transfer; (2) a map-reduce based effective parallel evolutionary NAS algorithm; (3) an objective based on a supervisory oracle and the knowledge distillation strategy. Our StyIeNAS achieves state-of-the-art performance in terms of stylization effects and computing time for photorealistic style transfer tasks.

Image Resnet-50

Deep Neural Networks can be Easily Fooled
      They are able to classify objects in images with near-human-level performance most of the time, but can perform very poorly on seemingly easy cases.(Nguyen et al., 2015) 
AutoDL-Safety

  • Comparing to classical models where we know the architecture and parameters , AutoDL may provide a useful shield for adversarial attacks
赞 (0)

相关推荐