CCAI 演讲回顾 | 蒲慕明：脑科学与类脑机器学习
2019-10-9 20:17 |
查看: 1113|
评论: 0
脑科学与类脑智能研究的关系 历史上人工智能出现了三次浪潮，每次往上的推动都是从神经科学里得到的启发。例如，McCulloch和Pitts在1943年提出MP神经元模型，以及80年代Hopfield算法、BP算法。最近的深度网络学习，它包括多个层次，每个层次具有不同的功能，这也是从视觉系统得到的启发。 2018年3月 北京脑科学与类脑研究中心挂牌成立。北京大学、清华大学、北京师范大学、中国医学科学院、中国中医科学院等8家研究单位共同签署了《北京脑科学与类脑研究中心建设合作框架协议》。脑科学与类脑研究被纳入“科技创新2030—重大项目”，将“以脑认知原理为主体，以类脑计算与脑机智能、脑重大疾病诊治为两翼，搭建关键技术平台，抢占脑科学前沿研究制高点”。 要理解大脑需从三个层次上分析 第一个是宏观层次。通过核磁成像的技术可以得到粗略的神经束的走向，但单单只了解神经束的走向对于理解脑功能并没有太大贡献。我们要进一步了解大脑必须要达到神经元水平。第二个就是介观层面，空间分辨率要达到微米。用特殊方法来标记不同的神经元种类，了解不同神经元的功能。介观神经连接图谱是目前神经科学的主要方向。第三个是微观层面，微米到纳米尺度。在微观层面对神经元轴突和树突的分布以及突触产生规律的研究可以得到很多有用信息的。
解读整个神经网络的难点 第一个难点就是每一种脑功能都有大量神经元集群参与，简单的视觉输入就有百万千万的神经元被激活。我们非常缺乏非干扰性大量观测神经元集群活动的技术。美国脑计划主要就是在开发脑研究新技术，新技术主要是观测技术，还有能够分析大量神经元动态信息的大数据分析方法。大数据分析不是盲目分析，我们需要有理论指导，用数据去检测这个理论的准确性。 2017年 在论文Automated synaptic connectivity inference for volume electron microscopy中，研究人员介绍了一种自动化突触连接的推论流程（SyConn），该模型需要使用所生成的神经突起骨架以及分类器训练数据作为输入，并提供了一张有着丰富注解信息的接线图或是某个连接组的组件。在该推理流程模型中，第一步是对神经突起骨架进行体积重建。然后是对图像数据中的突触及其它超微结构对象（比如囊泡、线粒体）进行转换。对超微结构的检测可进一步增强神经突起的重建效果。 突触可塑性与Hebb假说 可塑性是大脑认知功能的基础，可塑性使得大脑网络形成新的状态，就会产生新的行为。大脑是不断在变的，每一个活动都引起功能和结构的变化。Hebb（DonaldHebb是加拿大的心理学家）认为：同步的电活动可造成突触加强或稳固。如果两个神经元同时发放，他们之间的突触联接就会加强；如果不同步，那么突触前后的连接就会削弱。 可塑性的现象最早是由中国科学家冯德培发现。冯德培在英国拿到博士学位回国之后，在协和的生理系建立了实验室，专门研究神经肌肉接头的功能。1946年，在他的系列论文的26篇中报告了一个现象：在神经肌肉接头的突触，通过高频的刺激，可以引起突触后肌肉电活动的加强，这个加强长达十分钟之久。突触的效率因为电活动而改变，很快的几秒钟高频刺激，产生的后果是十几分钟的突触增强，这就是可塑性。冯德培1941年发现的现象，是可以拿诺贝尔奖的，但是冯德培先生90年代过世了。到20世纪70年代，人们才在中枢神经系统中发现了类似的现象，被称为长时程增强（LTP）和长时程减弱（LTD）。电活动过后，在脑网络里留下了长期的痕迹，就是记忆，记忆就是储存在神经传递的效率变化之上。 突触可塑性除了突触效率的改变，还有突触结构的变化。为什么轴突不直接把信息送到树突上而是传递到树突棘上呢？其中原因一直没有人知道。在耶鲁大学做教授的时候，张香桐提出了一个假说：树突棘（微小的突起）可以作为调节突触传递效率的结构。现在，学界公认树突棘可以作为调节突触权重的结构。
赫伯（Hebb）细胞群假说 赫伯认为改变连接强度就是储存记忆——记忆储存在网络中，并不由单独的位置储存；把已经储存记忆的细胞群再激活，电活动再出现，记忆就会被提取。比如说我们从小时候开始，祖母面孔就不断的激活我们的细胞，眼睛、嘴巴、鼻子等都会特定激活一群细胞，整个大细胞集群在祖母面孔出现时候集体放电。通过这个超级赫伯细胞群，我们长大了以后，只要看到祖母的眼睛，部分的细胞群激活了，就可以唤起祖母面孔的记忆。 赫伯细胞集群假说可以做进一步补充。祖母是一个概念，这个概念包含了她的面孔，还包含了声音、唱的歌、名字，我看到这些所有的特征，任何其中一个特征，都可以换起对整个祖母全部特征的反映。这个概念是一个超级超级细胞群，她唱的歌也许储存在听觉区，她的面孔在视觉区，味道在嗅觉区，这些信息在跟祖母相关的事情出现的时候，都会同步被激活。这是一种多脑区同步放电活动，是一种超级超级赫伯细胞群的放电。 赫伯学习法则的新转折 赫伯认为同时放电的神经元连在一起，不同步放电就网络连接，但是20年前出现了新的转折——强化或者弱化不只是同步，而且有时序性。突触前放电先于突触后放电，突触强化，反过来就弱化，这种有时序信息的现象我们称为时序信息依赖的可塑性（STDP）。现在已经有人在人工网络上运用STDP。 我们可以做一个简单的游戏，把贝多芬的《致爱丽斯》正序弹奏每个人都会听出来，反过来弹却没人会听出来是什么曲子，这是因为记忆是有时序性的。 2018年8月 普渡大学纳米电子研究实验室Chankyu Lee等人发表了文章Training Deep Spiking Convolutional Neural Networks With STDP-Based Unsupervised Pre-training Followed by Supervised Fine-Tuning。在本文中，他们提出了一种对于脉冲神经网络（SNN）使用生物学上可信的无监督学习的预训练方案，即Spike-Timing-Dependent-Plasticity（STDP），以便在监督优化之前更好地初始化多层系统中的参数。
可塑性对人工智能发展曾有过关键性贡献 Hopfield人工神经网络，每一个突触点赋予某一权重，单元将所有输入加合，各突触的权重可以用赫伯学习法则调节。BP（反向传播）算法可以用来学习说话，Francis Crick对此做出了高度评价，在“The recent excitement about neural networks”文章中认为BP算法非常惊人，但是也提出大脑中似乎没有这种机制，大脑的是轴突的信息送到树突的单向过程，而没有反馈信息。几年以后，我们通过记录多个神经元来验证这种说法是否真实。我们发现突触前神经元内存在逆向传播和侧向传播，突触后只有侧向传播，没有前向传播。轴突终端产生的LTP可以在突触前神经元往回传，但不能往在突触后往前传，我们称这种现象叫做natural BP。现在在自动化所，我们将natural BP应用到人工神经网络上面，希望对非监督或者半监督学习有点帮助。 2018年10月 在Physical Review发表的文章Quantum Hopfield neural network中，Patrick Rebentrost等人提出了采用Hopfield网络的量子算法，它可以用于模式识别，重建和优化，作为内容可寻址存储系统的实现。文章表明，通过将网络编码成量子态的幅度，可以将指数大的网络存储在多项式数量的量子比特中。通过引入用于操作Hopfield网络的经典技术，可以利用量子算法来获得量子计算复杂度，该复杂度在数据维度中是对数的。 |
免责声明：
除非特别声明，文章均为投稿或网络转载，仅代表作者观点，与大数据中国网无关。其原创性以及文中陈述文字和内容未经本站证实，对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺，请读者仅作参考，并请自行核实相关内容。如果本文内容有侵犯你的权益，请发送信息至ab12-120@163.com，我们会及时删除
最新评论
最新新闻
最新新闻
/1 
