著名作曲家史蒂芬·施瓦茨(Stephen Schwartz)在琴键上看到了色彩，传奇歌手多莉·艾莫丝(Tori Amos)说自己的歌曲是光怪陆离的图像，法国诗人阿瑟.里姆堡德(Arthur Rimbaud)将颜色与元音联系在一起。这些人都有联觉——一种感觉混合的状态。联觉者可以品尝颜色、听见材质、闻到形状。这种情况鼓舞了研究感觉和知觉之关联的工作者。
了解知觉工作的机理后，研究者可以更好地理解人类如何感知语言、“有意识”是什么意思，以及大脑如何处理感觉。理解感觉与知觉之间的联系能帮助AI研究者建立更精准的AI模型，用更少的数据执行更复杂的任务。这也是“感知机器”或“有意识的机器”的基础性研究。
据估计，仅在美国至少就有约4%的人有联觉。联觉有50多种不同形式。有趣的是，报告显示许多成年后不具有这种“混合”感觉的人，幼儿时期却有这种经历。研究证明，在婴儿的大脑里有一种“模糊”状态，里面的感觉区域有许多交叉激活的神经连接。
很多人在婴儿时期可能都有联觉体验，但长大后却失去了这种能力。研究表明，在大脑发育成熟时，人类的感知会更加具体。
另外，在有联觉经历的成人的大脑里，感觉处理区域的物理连接比常人更多。大多数人在成年时期没有联觉经历，可能只是因为这种能力随着成长被遗弃，这一部分能力因此受到抑制。
如何感知语言
现在，说起语言研究，人们经常想到语义学或对字词句以及符号的含义解释。但有联觉的人却能经常看到特定颜色的字母。语言可以激发强烈的特定情绪和声音。有联觉的作家常在其作品中使用非常强烈的隐喻，因为这些隐喻在他们的真实生活中确实经历过。
语义上衍生出来的隐喻帮助有联觉的人储存记忆并产生更多联想。研究表明，这些人学习语言的速度更快。
目前，AI系统，尤其是自然语言处理系统的主要关注点是语义。但语义并不是语言学习的全部内容。一个可以理解隐喻的系统不论在连接语言概念还是推理附加含义方面都很强大。
何谓“有意识”?
维基百科对“意识”的定义是：“对内部或外部存在的感知或意识”。一直以来哲学家和心理学家对“意识”都抱有极大趣味。大部分学习是在人有意识的情况下发生的。而自我感知意识强烈的人往往生活得更好。
说起AI领域中的“意识”，人们通常关心机器能否发展意识，以及意识能否帮助机器更好地学习。
其中一个研究领域是围绕意识的神经关联展开的(或者说找到体验与大脑活动之间的关系)。一些技术如EEG(脑电图)和fMRI(功能磁共振成像)能够检测这种关系。研究联觉者与非联觉者之间的差异，可以揭示负责大脑高低层间动态交互的定位和网络。
如果可以识别出意识间的神经关联，理解机器能否发展意识以及意识能否真正帮助人类更好学习便有更大可能性。
联觉者将甜味识别为“红色”，他们对红色和甜味的体验都与非联觉者不同，其中可能涉及不同的神经相关性。这种差异为探索意识的潜在机制打开了大门。
认知如何帮助人类学习?
联觉的相关研究表明，联觉者的学习方式与非联觉者不同。前者在分类方面更为优秀。例如，联觉者可能这样描述他们的生活：如“蓝色星期一”、“黄色星期二”等。这些描述取决于活动本身以及相关的情感。将生活分为这些大类后，他们可以记住一些细节，如星期一上芭蕾课以及当时的情绪等。
这种学习方式可以是有意识行为，也可以是无意识行为。使用联觉作为学习策略常发生在有创造力的学习者身上以及更强烈的语言认知和视觉认知方面。研究表明，联觉者能否学会使用这种学习策略取决于其“混合感觉”，他们可将这种学习策略应用于他们所面临的其它问题上。
对AI的影响
联觉者通过分类以及将事物与符号相关联的学习方式与神经符号AI相似。神经符号AI(Neuro-symbolicAI )不是一个新概念。20世纪50年代到80年代，符号AI是AI研究的主流。AI研究被视作形成世界的内在符号表征、创造并应用规则以处理概念。它基于逻辑。神经符号AI的一个例子是SIR(SemanticInformation Retrieval，语义信息检索)。这是一种能从少量逻辑陈述中学习并形成结论的系统。
将神经网络与神经符号AI的力量相结合是下一代AI的发展方向。通过将世界分解为符号，神经网络可以帮助符号AI系统变得更智能。而符号AI算法有助于将常识与专业知识融入到深度学习中。
这使AI执行复杂任务成为可能，如无人驾驶以及用极少量数据进行自然语言处理。
结论
通过探索神经符号AI和深度学习的交叉点以向更复杂的AI系统发展时，理解联觉者如何感觉、感知和学习将塑造新一代AI。
