800字+两小时,掌握nlp自监督学习!文末福利！_产业新知_资讯_猿巴巴

不要错过文末福利❤

扫盲自监督无监督

（有不少同学还答不上来自监督和无监督真正的区别，我不是针对谁。）

无监督学习：无监督学习不依赖任何标签值，通过对数据内在特征的挖掘，找到样本间的关系，比如聚类相关的任务。

自监督学习：和无监督学习不同，自监督学习主要是利用辅助任务 (pretext）从大规模的无监督数据中挖掘自身的监督信息，通过这种构造的监督信息对网络进行训练，从而可以学习到对下游任务有价值的表征。

总结:：自监督学习的监督信息不是人工标注的，而是是通过辅助任务 (pretext）在大规模无监督数据中自动构造监督信息，通过得到的标签，就可以类似有监督学习一样进行训练。

自监督无监督发展

自监督学习cv方向的视频，医学图像，自动驾驶等领域发展态势十分良好，比如基于对比学习的自监督学习方法《moco》的提出就对cv领域的相关研究产生了深远的影响。

同理，自监督学习在推动自然语言处理(NLP)领域取得了巨大成功，包括Collobert-Weston 2008 model, Word2Vec, GloVE, fastText等。系统以这种方式进行预训练产生的性能要比仅以监督方式进行训练时高得多。

nlp从哪入手自监督学习

掌握自监督无监督学习在nlp领域的技术演化，就是在打地基！ 16号晚深度之眼邀请到5年深度学习和机器学习经验，在ICDM等会议发表多篇学术论文的赵老师来为大家讲解自监督无监督在nlp领域的技术发展要点，以及对比学习的重点。从经典论文cpc （《Representation Learning with Contrastive Predictive Coding》）入手带你吃透nlp自监督学习。最后还有nlp自监督学习学习路径推荐！内容丰富，超值干货，不容错过。

扫描下方二维码

0.1 元购课

购课后添加小享

以免错过直播通知

并领取福利（文末）

直播剧透

详解利用无监督文本，通过预训练任务学习更好的单词表征，应用到下游任务。预训练：word2evc -> ELMo -> GPT -> BERT -> GPT-2 -> XLNet -> RoBERTa

一个词在不同语境中的不同含义（context-aware）
自回归语言模型和自编码语言模型区别

结合以上两方面技术难点串讲 ELMo ， GPT ， BERT ，双向Transformer ；两种新的预训练任务 MLM 和 NSP ， RoBERTa ，XLNet,ALBERT,ELECTRA…等经典算法原理。

完全可以利用对比学习，学习到更好的 word/sentence 表示。

经典 CPC算法的特点：普适性算法可应用于CV、NLP、Speech、强化学习通用的对比学习任务。

算法难点讲解及学习路径分享在16号当晚直播课看哦！

扫描下方二维码

0.1 元购课

购课后添加小享

以免错过直播通知

并领取福利（文末）

文末福利

价值198元的 AI环境配置教程，

购买自监督课程后添加小享免费领取！

扫描下方二维码

0.1 元购自监督课

购课后添加小享

领取AI环境搭建学习视频