大概在四年前了解到计算神经学这一学科. 当时感觉这应该是自己最终的归宿, 先后在coursera上跟过神经元与脑、 计算神经科学两门课程, 但是都没有完成. 17后期到18年, 由于个人感情的问题, 整个人的成长接近停滞. 今年好容易状态恢复. 又拾起这本dayan & abbott经典的<Theoretical Neuroscience>, 准备系统的入个门. 概述 意识问题是现代科学的基本问题之一, 不同的学科对之有不同层次的理解, 并分别试图从各自的角度来解决这一问题. 生物物理学从的意识的物理材料入手, 研究神经元、 神经回路的物理性质、电化学性质, 以此来理解意识问题. 神经科学试图从神经元, 大脑皮层的层面来探索不同脑组织的功能, 通过整合不同大脑模块, 形成意识的初步图景, 这两者都是从还原论的视角来逼近意识问题. 而心理和认知科学则从功能应用的角度出发, 探索意识的作用, 汇总在面临不同情况时, 意识的反应模式及其功能表现, 试图通过描述意识的外在表现来了解意识. 同时还有人工智能学科, 通过数学与统计学, 在类比建模的基础, 使用电子芯片来完成类似于意识的同样功能, 从而反推意识问题的计算本质. 然而, 前两者过于微观, 事实上, 从细胞到组织, 从组织到大脑之间, 这些不同层次间有着巨大的鸿沟, 整体并不等于个体的简单加和, 这也就是网络科学所谈的”涌现”, 因此, 单纯地研究单个细胞的功能对理解整体固然有益, 但是不从全局的视角来理解每一部分所起的作用的话, 很难将纷繁的生物组织性质纳入统一的框架. 从而总结出具有启发性的观点. 心理与认知科学则过于聚焦在对不同功能的列举性描述, 缺乏对于不同认知功能的系统性归纳. 对于研究意识来说, 目的性不强. 而人工智能的曲线救国路径, […]

大约七八岁的时候, 不知是哪部科幻电影的触发, 我开始思考起时空穿越的问题. 我想象在某一个时空中, 有两个自己同时存在, 甚至面对面谈笑说话, 这种想象让我觉得很奇妙, 似乎自己可以借机遁出自己的肉身, 以一个未来版本的心智来重新感触世界. 光想想象自己一个新的躯壳中, 似乎中就能改变自己的认知, 在这种想象之下, 身边熟悉的事物会重新变得鲜活起来. 这样说似乎有点抽象, 不过有另外一个经验说起来可能每个人都有所体验. 有时或者是被罚抄写, 或者是要练字, 你要写一个汉字重复几十次, 甚至几百次, 在某一个瞬间, 突然这个汉字变得别扭起来, 你会产生一样非常陌生, 异常的观感, 就是这个字怎么是这么个样子呢. 那种感觉就是一种混合着陌生和熟悉的体验. 从类似这种体验出发, 我还思考过很多问题, 比如梦醒之后的我还是不是我, 如果我被克隆或者复制了, 那么那个两个我同在存在的感觉是什么样子的. 等等. 现在回头看这些问题, 有不少都属于意识科学的范畴, 有一些是偏科学, 而有一些只是没有多大价值的玄想而已. 虽然意识这个问题是如此重要, 又如此与每个人息息相关, 但是在长一段时间内, 在整个科学界, 它都是一个被无视的问题. 要谈到这个问题, 首先还是老生重谈笛卡尔的二元论. 笛卡尔二元论 笛卡尔二元论: 存在物质的世界与精神的世界, 这两个世界截然分明, 性质不同. 似乎到这里, 问题就结束了, 毕竟在日常生活中”物质世界” , “精神世界”的词汇使用已经约定俗成, 而这种分类也是如此的符合直观. 那么还有什么好说的呢? 然而问题才刚刚开始. […]

有些领域，领域内风起云涌，让人只觉得天地翻覆，就好像潘朵拉的盒子正在打开，不周山的天柱正在倒塌，每个人都像打了鸡血一样生怕被这股能把猪都吹上天的狂风拉下，可是领域外的人们，面对这个似乎很平静的世界，继续讨论着二十四史中可以用阴谋阳谋把握的故事。     自从2006年hinton提出了对比散度算法以来，从玻尔兹曼机到堆叠自编码器，以google brain项目为起始性事件，微软研究院的机器同时传译，IBM的沃森在危机边缘知识推理问题比赛中击败人类年度总冠军，一时间，先是hinton和其两个学生所开创的dnnresearch公司被收购，接下来hinton另外一名学生所在的没人听说过的deepmind，一个要名声没名声，要产品没产品的公司再次被google以4亿美元收购，接下来，深度学习研究领域另一大牛yuu lecun被facebook实验室收走，李彦宏高调成立百度研究院，并发布少帅计划要向三十岁以下的孩子们发放百万以上年薪。     似乎这一时间，只要沾上了”深度学习”这几个字，立马飞上枝头变凤凰，长成深闺无人见，一朝成名天下知了。。。     深度学习，deep learning，其实就是deep neural netword（即hinton的dnnrearch中的dnn），仍然是神经网络的一枝。而神经网络是一门老技术了，从人工智能成立之日起，神经网络就出现了，只是这门技术命途多舛，其中几经起伏碾转，时而狂风大作，时而门庭冷落，幸好还有hinton大叔之辈，举世非之而不加沮，一直和丫这门技术耗，终于耗到今天重新将之发扬光大。     要八卦神经网络的前世今生，需要从人的大脑皮层开始说起。（吕轻侯：这要从人和宇宙的关系开始讲起。） 一般意义上来说，被广泛承认的人工智能领域的第一项工作，开始于warren mcCulloch 和 walter pitts，这二人提出了一个简单的神经元模型，即将一个单独的神经元，看成是一个函数，其输入值对应于下层神经元的传导电位，而其输入值则对于对上层神经元的传导电位（此处做了简化处理，实际情况更加地复杂。）    如图，左代表神经元之间的连接，而右边则是简化的数学模型，每条线就代表着一个值的传递，而一个黄圈则代表一个处理函数：而如果把这些神经元，模仿人类的神经元进行联接之后，我们就会得到这样更加复杂的神经元模型（函数） 这其中每一个神经元的输入就仿佛是生物上下层神经元的轴突与本层神经元的树突的联接，而依次类推。 有了这个模型，我们就有了一种较简单的模型来做最基本的砖头，而从这个砖头出发，历代的神经网络研究者们就试图从简到繁，一步一步地来搭建出人类的整个大脑。     这种从简单出发的研究方法，不仅在人工智能领域，同样在神经科学领域也是采取着类似的方法，关于我们的记忆，长期以来也是困扰人类的一个问题，1929年，karl lashley移除活鼠的不同部位，发现其记忆似乎不受影响，因而主张，脑部并没有主管记忆的专区，整个大脑皮层外围都负责记忆动作，然而在这种主张下，医生对病人进行了海马切除手术后，却发现病人的短期记忆转化机制出现明显的问题，病人不再能够记住刚刚发生的事情。 于是lashley的说法遭到质疑，更多的人希望对记忆机制有更深一步的了解，能够搞明白记忆的生理基础。     而最后成功的，则是美国国家健康研究院的Eric Kandel童鞋，Kandel到处思考和寻找，试图设计可行的实验，因为困难在于，对于大脑而言，神经元实在是太小了，然后最后将终于将焦点固定在海蜗牛上面，这种只有两万个神经元的生物，体现比一般蜗牛稍大，就像其他的蜗牛一样，丫会分泌黏液，而分泌的地方，受到刺激就会收缩，小时怕有不少男童鞋们，会拿着一枝尖尖的树枝去刺蜗牛，然后去观察他那种剧烈的收缩。     Kandel对蜗牛进行电击，然后使用行为主义（巴甫洛夫的狗）的方法来对其进行习惯化、敏感化等等，最后成功观察出蜗牛神经连接强度的改变，从而提出记忆的分布式存储理论。     之后我会开始学习神经网络设计一书，在学习过程中，与童鞋们分享我们的仿生学之路。

图灵在此论文中主要论及了下面几个方面 1，提出了图灵测试 图灵认为对”机器能思考么”这个问题而言，”机器”和”思考”的定义还都太多争议，且易与日常使用相混，所以回答这个问题，不如讨论一个相关的新问题，然后从一个”男人女人版图灵测试”（即判断对方是男的还是女的）出发，提出了图灵测试，判断对方是人还是机器。 要注意的是，在图灵测试中，所谓成功的机器，不是简单地骗过一次两次的机器，而应该是在多次测试后，机器与人的表现相似，导致判断者判断正确与判断错误的概率接近50%，即，判断者判断正误的概率是否发生变化，导致概率发生变化的机器才称得上是通过图灵测试的机器。 —->图灵并未从博弈论的角度来讨论在图灵测试中，参与测试的人类和机器分别的目的，以及单纯为通过测试而应该采用的策略。 2，定义数字计算机 图灵认为数字计算机应该由三部分组成 存贮器 执行单元 控制器 这个观点与现代观点相比较，只是把外设等信息输入输出模块给去掉了。 图灵甚至设想了后世汇编语言的具体形式 如他假设一串数字6809430217,17定义为加法操作，6809为一个存储单元，4302为一个存储单元，然后两数相加放入后一个单元。 他并且提出了指令的无条件跳转结构与条件循环等。 3，定义离散状态机 即与图灵机类似的观点，提出数字计算机都是等价的，他们可以模拟任何的离散状态变化。机器的下个状态可以由当前状态以及操作指令来定义，初始状态和指令序列便可以给出机器的所有状态。 然后做了一个拉格朗日的联想，彼人曾经提出，给出宇宙的某一时刻所有粒子的位置和速度，便可以预测一切未来，图灵认为这个很困难，因为蝴蝶效应的存在。一个小误差会导致雪崩一样的效果。 于是这一点导出一个重要的结论，单从理论而言，我们可以不那么关心计算机的运算速度，因为任何的计算机都是等价的，在服从离散状态变化这一点上，他们乃是”通用机器” 4，对图灵测试与智能的一些假想争议的回应 (1 神学观点—->上帝没有给机器灵魂<—–回应：伊斯兰认为妇女没有灵魂，上帝此刻正要通过我之手制造变种。 (2 情绪观点—->会思考的机器太可怕<—–回应：不值一驳 (3 数学观点—->哥德尔定理<—–回应：这一个机器的这个系统有些问题肯定答不出，但是这个问题在其他机器则可能会答出，况且人类智能也有这种局限性。 (4 意识观点—->机器真知道自己在做什么么<—–回应：人真知道自己在做什么么，汝非鱼，安知鱼之乐，汝非我，安知我不知鱼之乐，这个问题脱开唯心论的哲学争论，我们只能使用行为来确定其是否思考，是否知道自己在做什么。图灵并举了一个非常有意思的例子的来说明这个问题。 Interrogator: In the first line of your sonnet which reads “Shall I compare thee to a summer’s day,” would not “a spring day” do as well or better? […]