2019年7月15日功能
相关的句子表示神经网络编码的大脑深处
印度科学研究所的研究人员(印度)和卡内基梅隆大学(CMU)最近进行的一项研究探索句子表征之间的关系通过神经网络和编码的大脑深处。他们的论文,在arXiv预发布并将在今年的计算语言学协会(ACL)会议上,公布了在大脑深层神经模型和梅格激活之间的相关性的数据可以帮助我们目前的理解大脑如何和深度学习算法过程语言。
“研究的产物之间的合作教授汤姆•米切尔的大脑研究小组卡内基梅隆大学和教授帕Talukdar购物中心实验室在印度,“Sharmistha Jat开展这一研究的研究人员之一,告诉TechXplore。”这些群体的研究集中在大脑如何理解等问题语言。当前研究的主要目标之一是要了解算法过程语言在大脑中神经网络语言模型和比较他们。”
Jat和她的同事们着手调查之间是否存在对应关系隐藏层的深度学习模型和大脑区域,特别是在处理语言。此外,他们想找出是否大脑深度学习模型可用于合成数据,可以用于其他任务。
“我们调查了学习简单句表示各种神经网络模型从简单句子理解神经网络最先进的语言模型和大脑,“Jat说。“调查的关系的主要过程是大脑预测模型表示法表示,基本原则是,如果交涉进行类似的信息然后他们应该相互预测的。”
在他们的调查,Jat和她的同事们认为几个字表示神经网络的体系结构,包括两个最近提议的模型埃尔莫和伯特。他们比较这些网络如何处理特定的句子与收集的数据人类被试使用脑磁图(MEG),功能神经影像学技术映射的大脑活动,因为他们读相同的句子。首先,他们决定使用句子基本用一个简单的语法和语义,如“骨头被狗吃了。”
有趣的是,研究人员发现,激活伯特模型中观察到的最与大脑梅格的数据相关。他们的研究结果还表明,深层神经网络表示可用于生成合成大脑数据与新句子,扩充现有的大脑数据。
“语言模型预测大脑活动具有良好的精度,这是非常令人鼓舞的,”贾特人解释道。“最近的基于变压器表示(BERT)对应最好的大脑编码,这鼓励进一步的研究方向。我们也有多个观察哪些信息(名词,动词,形容词,限定词)是更好的编码在哪种类型的网络表示。我们希望发现“秘密武器”完美的语言建模算法。”
Jat和她的同事们表示,这可能是第一个研究表明MEG录音作为人类正在读一个句子可以用来确定单词在句子,早些时候。此外,他们可能会被首先使用神经网络表示成功地生成合成大脑深处的数据。
Jat和她的同事们最近的研究提供了新的有价值的洞察如何句子表示在一些先进的神经网络和人类大脑如何编码。他们的观察可能很快就通知新的语言处理算法的发展,但也激发进一步的研究探索大脑如何之间的联系和深度学习模型处理信息。
“未来,我们计划继续研究语言理解的核心问题(例如,句子理解,单词组合模型,等等)的人大脑使用神经网络模型,”贾特人补充说。
雅各Devlin et al。伯特:训练的语言理解的深度双向变形金刚。arXiv: 1810.04805 v2 [cs.CL]。arxiv.org/abs/1810.04805
©2019科学欧宝app网彩X网络
用户评论