人工智能热门
人工智能十问:越来越卷的AI,未来路在何方 求职者可能是假货 Mind最新研究让AI有人一样的直觉感知 智能销售助手Expert:AI实时辅导,助力一线业务人员成为专家 强化学习的起源:从老鼠走迷宫到AlphaGo战胜人类 英国强势布局AI防御与产业优势《国防人工智能战略》详解 锚定产业数字化新赛道 AI和IoT的新时代:告别独自美好,迎接双向奔赴推荐资讯
让区块链变成人人可用的工具,上海原创Web3.0操作系统是如何诞生的 隐私之变|自我主张时代变革,从构建WEB3.0的ID体系开始 被投资圈盯上,风头超过元宇宙,Web3.0到底是啥? Web3.0,勾勒下一代互联网模样 为什么说中国汽车产业已经真正“支棱”起来了 我在新能源汽车行业打工10年:从月薪2千涨至年薪40万,终于熬出头 对话梅宏院士:数字化转型不是想不想,而是必须转 王兴继续“电商零售梦”:告别社区团购 美团优选变身明日达超市强化学习的起源:从老鼠走迷宫到AlphaGo战胜人类
来源:新智元
编辑:如願
【导读】本文介绍了基于模型的和无模型的两种强化学习。用人类和动物的学习方式进行举例,讲述了两种强化学习类型的起源、区别以及结合。
谈到强化学习,很多研究人员的肾上腺素便不受控制地飙升!它在游戏AI系统、现代机器人、芯片设计系统和其他应用中发挥着十分重要的作用。
强化学习算法有很多不同的类型,但主要分为两类:「基于模型的」和「无模型的」。
在与TechTalks的对话中,神经科学家、 「智能的诞生」一书的作者Daeyeol Lee分别讨论了人类和动物强化学习的不同模式、人工智能和自然智能,以及未来的研究方向。
ntainer="">
无模型的强化学习
:19世纪后期,心理学家Edward Thorndike提出的「效应定律」成为了无模型强化学习的基础。
Thorndike提出,在特定情境中具有积极影响的行为,在该情境中更有可能再次发生,而产生负面影响的行为则不太可能再发生。
Thorndike在一个实验中探索了这一「效应定律」。
他把一只猫放在一个迷宫盒子中,并测量猫从盒中逃脱所需的时间。为了逃脱,猫必须操作一系列小工具,如绳子和杠杆。Thorndike观察到,当猫与谜盒互动时,它学会了有助于逃跑的行为。随着时间的推移,猫逃离盒子的速度越来越快。
Thorndike的结论是,猫可以从其行为提供的奖励和惩罚中进行学习。
「效应定律」后来为行为主义铺平了道路。行为主义是心理学的一个分支,试图从刺激和反应的角度来解释人类和动物的行为。
「效应定律」也是无模型强化学习的基础。在无模型强化学习中,通过主体感知世界,然后采取行动,同时衡量奖励。
在无模型强化学习中,并不存在直接的知识或世界模型。RL代理必须通过反复试验,直接去体验每个动作的结果。
基于模型的强化学习
Thorndike的「效应定律」一直流行到20世纪30年代。当时另一位心理学家Edward Tolman在探索老鼠如何快速学会走迷宫时发现了一个重要的见解。在他的实验中,Tolman意识到动物可以在没有强化的情况下了解他们的环境。
例如,当一只老鼠在迷宫中被放出来时,它会自由地探索隧道,并逐渐了解环境的结构。如果随后将这只老鼠重新放进相同的环境,并提供强化信号,如寻找食物或寻找出口,那么它可以比没有探索过迷宫的动物更快地到达目标。
Tolman称之为「潜在学习」,这成为基于模型的强化学习的基础。
「潜在学习」使动物和人类对他们的世界形成一种心理表征,在他们的头脑中模拟假设的场景,并预测结果。
基于模型的强化学习的优点是它消除了agent在环境中进行试错的需要。
值得强调的一点是:基于模型的强化学习在开发能够掌握国际象棋和围棋等棋盘游戏的人工智能系统方面尤其成功,可能的原因是这些游戏的环境是确定的。
基于模型 VS 无模型
通常来说,基于模型的强化学习会非常耗时,在对时间极度敏感的时候,可能会发生致命的危险。
Lee说:「在计算上,基于模型的强化学习要复杂得多。首先你必须获得模型,进行心理模拟,然后你必须找到神经过程的轨迹,再采取行动。不过,基于模型的强化学习不一定就比无模型的RL复杂。」
当环境十分复杂时,倘若可以用一个相对简单的模型(该模型可以快速获得)进行建模,那么模拟就会简单得多,而且具有成本效益。
ntainer="">
多种学习模式
:其实,无论是基于模型的强化学习还是无模型的强化学习都不是一个完美的解决方案。无论你在哪里看到一个强化学习系统解决一个复杂的问题,它都有可能是同时使用基于模型和无模型的强化学习,甚至可能更多形式的学习。
神经科学的研究表明,人类和动物都有多种学习方式,而大脑在任何特定时刻都在这些模式之间不断切换。
最近几年,人们对创造结合多种强化学习模式的人工智能系统越来越感兴趣。
加州大学圣地亚哥分校的科学家最近的研究表明,将无模型强化学习和基于模型的强化学习结合起来,可以在控制任务中取得卓越的表现。
Lee表示:「如果你看看像AlphaGo这样复杂的算法,它既有无模型的RL元素,也有基于模型的RL元素,它根据棋盘配置学习状态值,这基本上是无模型的 RL,但它同时也进行基于模型的前向搜索。」
尽管取得了显著的成就,强化学习的进展仍然缓慢。一旦RL模型面临复杂且不可预测的环境,其性能就会开始下降。
Lee说:「我认为我们的大脑是一个学习算法的复杂世界,它们已经进化到可以处理许多不同的情况。」
除了在这些学习模式之间不断切换之外,大脑还设法一直保持和更新它们,即使是在它们没有积极参与决策的情况下。
心理学家Daniel Kahneman表示:「维护不同的学习模块并同时更新它们是有助于提高人工智能系统的效率和准确性。」
我们还需要清楚另一件事——如何在AI系统中应用正确的归纳偏置,以确保它们以具有成本效益的方式学习正确的东西。
数十亿年的进化为人类和动物提供了有效学习所需的归纳偏置,同时使用尽可能少的数据。
归纳偏置可以理解为,从现实生活观察到的现象中,总结:出规则,然后对模型做一定的约束,从而可以起到模型选择的作用,即从假设空间中选择出更符合现实规则的模型。
Lee说:「我们从环境中获得的信息非常少。使用这些信息,我们必须进行概括。原因是大脑存在归纳偏置,并且存在可以从一小组示例中概括出来的偏置。这是进化的产物,越来越多的神经科学家对此感兴趣。」
然而,虽然归纳偏置在物体识别任务中很容易理解,但在构建社会关系等抽象问题中就变得晦涩难懂。
未来,需要我们了解的还有很多~~~
声明 来源 :新智元 , RAD极客会推荐阅读,不代表RAD极客会立场,转载请注明,如涉及作品版权问题,请联系我们删除或做相关处理!
更多相关内容
-
【390】乐妈学习分享:2年时间我和乐乐共同学习了16期各种类型的软实力课程,飞速成长~
刻意练习 终身成长 第390篇 约2171字 草稿累积约619782字 往期文章请点击如下链接:
-
辛苦打工10年,只换来一身病痛:原来我竟是个铁憨憨!
01 来访者吴芳(化名)前来咨询时是一家公司的财务人员,她做了10多年的财务工作,但不知为何,总是...
-
CloudX云智能学院丨人工智能技术图谱,AI高阶——顶会论文
由阿里云天池倾力打造的AI技术学习图谱,配套有免费算力、珍稀数据集,钉钉群答疑等资源和服务,助力学...
-
中国PaaS市场群雄逐鹿,究竟谁能笑傲江湖
一家云服务商需要具备怎样的能力,才能在群雄逐鹿的中国PaaS市场笑傲江湖?群雄逐鹿的中国PaaS市场众所...
-
这届年轻人是真的很喜欢看直播学习!
哈喽,大家好,我是小谷~ 前有网友看 刘畊宏来锻炼身体,现有大家看 董宇辉(新东方直播老师)学英...
-
抖音评论引流有用吗
现在是秋天,早上和晚上全身都很冷!感觉就像风一样!但从另一个角度来看,秋天是丰硕的!这是一个收获...
-
深度学习论文精读[GAN]:利用深度生成先验进行多用途图像修复与处理
笔者最近在集中时间学习 对抗生成网络(GAN) ,特别是深度生成先验进行多用途图像修复与处理,...
-
800字+两小时,掌握nlp自监督学习!文末福利!
不要错过文末福利❤ 扫盲自监督无监督 (有不少同
-
还有这好事
点击?蓝字关注学姐,文末留言送80cm鼠标垫 作者:学姐 当你打算打比赛
-
26.1万栋经营性自建房存在安全隐患!检测鉴定人才缺口大,学习1个月,做懂鉴定的结构人!
7月8日,全国自建房安全专项整治工作推进现场会在浙江省杭州市召开。会议指出,各地区、各部门高度重视...
推荐阅读