在12月31日， 智源研究院发布了2020年十大AI进展 。新的一年，人工智能又将走向何处？ 2021年开年，全体智源学者经过深入研讨，从人工智能的基础理论、算法、类脑计算、算力支撑等方面进行预测，提出2021年人工智能十大技术趋势，共同展望人工智能的未来发展方向。 我们相信，随着人工智能技术的逐渐成熟，将能够更好地帮助人类应对后疫情时代的各种不确定性，助力构建充满希望与变化的世界。 趋势1：科学计算中的数据与机理融合建模 趋势2：深度学习理论迎来整合与突破 趋势3：机器学习向分布式隐私保护方向演进 趋势4：大规模自监督预训练方法进一步发展 趋势5：基于因果学习的信息检索模型与系统成为重要发展方向 趋势6：类脑计算系统从“专用”向“通用”逐步演进 趋势7：类脑计算从散点独立研究向多点迭代发展迈进 趋势8：神经形态硬件特性得到进一步的发掘并用于实现更为先进的智能系统 趋势9：人工智能从脑结构启发走向结构与功能启发并重 趋势10：人工智能计算中心成为智能化时代的关键基础设施 下面是十大趋势概要介绍，关注「智源研究院」公众号，后台回复「2021趋势」即可下载报告全文： 趋势1：科学计算中的数据与机理融合建模 机器学习与科学计算的结合，即数据和机理的融合计算，为科学研究提供了新的手段和范式，成为了前沿计算的典型代表。从机理出发的建模以基本物理规律为出发点进行演绎，追求简洁与美的表达；从数据出发的建模从数据中总结规律，追求在实践中的应用效果。这两方面的建模方法都在科学史中发挥了重要作用。 近年来，科学计算发展的一个重要趋势是由单纯基于机理或数据的范式向数据与机理的融合建模与计算发展。众多前沿科学领域中的许多重要问题常常涉及多个发生在不同时空尺度上相互耦合的物理过程，具有高度的各向异性、奇异性、非均匀性以及不确定性等特征。人类只能知道部分原理和数据，此时机理与数据结合的方式将成为研究这些问题的有力手段。 趋势2：深度学习理论迎来整合与突破 深度学习在应用领域取得了令人瞩目的成功，但其理论基础仍十分薄弱，研究者对深度学习为何表现出比传统机器学习方法更优越的性能背后存在的机理尚不清楚。深度学习的理论分析需要从数学、统计和计算的不同角度，以及表示能力、泛化能力、算法收敛性和稳定性等多个方面进行探索和创新。当前对深度学习理论碎片式的理解，将进一步迎来整合与突破，从对浅层网络和局部性质的理解向深度网络和全局性质不断深化，最终能够完整解答关于深度学习能力与极限的重大理论问题。 趋势3：机器学习向分布式隐私保护方向演进 当前，全球多个国家和地区已出台数据监管法规，如HIPAA（美国健康保险便利和责任法案）、GDPR（欧盟通用数据保护条例）等，通过严格的法规限制多机构间隐私数据的交互。分布式隐私保护机器学习通过加密、分布式存储等方式保护机器学习模型训练的输入数据，是打破数据孤岛、完成多机构联合训练建模的可行方案。 趋势4：大规模自监督预训练方法进一步发展 GPT-3的出现激发了研究人员在视觉等更广泛的范围内，对大规模自监督预训练方法继续开展探索和研究，未来，基于大规模图像、语音、视频等多模态数据，以及跨语言的自监督预训练模型将进一步发展，研究人员也将持续探索解决当前大规模自监督预训练模型不具有认知能力等问题的方法。 趋势5：基于因果学习的信息检索模型与系统成为重要发展方向 人工智能算法是推荐系统、搜索引擎等智能信息检索系统的核心技术，深刻地影响着亿万互联网产品用户的工作和生活。当前基于人工智能算法的信息检索模型大多关注给定数据中变量间相关性的建立，而相关性与更为本源的因果关系并不等价，导致当前信息检索的结果存在较为严重的偏差，对抗攻击的能力不佳，且模型往往缺乏可解释性。 趋势6：类脑计算系统从“专用”向“通用”逐步演进 以类脑计算芯片为核心的各种类脑计算系统，在处理某些智能问题以及低功耗智能计算方面正逐步展露出优势。但从设计方法角度看，类脑芯片往往根据目标应用要求通过归纳法来确定其硬件功能与接口，并定制化工具链软件，导致软硬件紧耦合、目标应用范围受限等问题。 类脑计算芯片设计将从现有处理器的设计方法论及其发展历史中汲取灵感，在计算完备性理论基础上结合应用需求实现完备的硬件功能。同时类脑计算基础软件将整合已有类脑计算编程语言与框架，提出与具体芯片无关的高层次编程抽象与统一开发框架，针对目标芯片研发类脑计算编译优化与映射优化技术，实现类脑计算系统从“专用”向“通用”的逐步演进。 趋势7：类脑计算从散点独立研究向多点迭代发展迈进 类脑计算在诸多方面已经取得了大量基础性研究成果，但目前的研究仍呈现相对独立狭窄的纵向分布特点，尚未形成相互促进的横向贯通局面。未来的类脑计算将更加注重在单点独立研究的同时与其他层面研究的结合，推动类脑计算的基础理论算法、芯片硬件平台、评估测试基准、编程编译工具以及系统应用的相互协同和促进，构建更具全栈性的类脑计算迭代发展生态，进入良性前进的轨道。 趋势8：神经形态硬件特性得到进一步的发掘并用于实现更为先进的智能系统 新型神经形态器件，如RRAM（可变电阻式存储器）、PCM（相变存储器）等，目前已经在人工智能领域发挥了重大作用，基于这些器件构建的智能硬件系统已经能够有效地提升智能算法执行的速度和能效，并保持算法的性能。 然而当前大部分硬件智能系统仅仅利用了神经形态器件的部分特性，如非易失性、线性等，缺乏对器件更丰富特性，如易失性、非线性、随机性等特性的应用。通过对器件的全面探究，下一代智能系统将会把算法的各种需求同器件的丰富特性紧密结合起来，从而进一步拓展智能系统的功能和应用范围，提升系统的性能和效率。 趋势9：人工智能从脑结构启发走向结构与功能启发并重 脑启发的人工智能在强调对脑结构和神经形态模仿的同时，还需要了解人类神经元和神经回路的功能与机制。这是因为脑结构与脑功能并不存在简单的一一对应的关系，即类似的结构可能有着不同的功能。 例如，作为古老结构的海马体在人和动物的大脑上有着类似的结构，但是它们采用了不同的记忆编码方式。动物的海马体在编码记忆时，采用的是“模式分离”的方式，即神经元形成不同的神经元群组来存储记忆，以避免记忆的混淆。但是，人类的海马体则采用了“概念和联想”的编码方式，即同样的一组神经元可以储存多个不同的记忆。人类这种独特的记忆编码方式可能是人类智能脱颖而出的一个关键因素，有助于解释人类相比于其它物种所具备的独特的认知能力，如人类的抽象思维能力和创造性思维能力。 趋势10：人工智能计算中心成为智能化时代的关键基础设施 近年来，人工智能对算力的需求迅猛增长，并成为最重要的计算算力资源需求之一。AI计算是智能时代发展的核心动力，以人工智能算力为主的人工智能计算中心应运而生。
