Prml1.2 学习笔记--高斯噪声下的最大似然

本来说今天中午要写一prml,但是第一章快读完了,可是回头再一看最大后验概率,很多东西像没看一样,于是再抓起来做导图。

 

上次简略地提了下贝叶斯学派和频率学派的区别,接下来就细说一下这两派的不同的作法。

对于频率学派来说,既然把整个模型的参数看作固定的,那么要做的事情就是去估计这个参数,而一个非常常用的方法就是最大似然估计。

假设我们现在有一个曲线拟合问题,也就是说,我们有一堆相互对应的(x,t)(与书中符号一致,这里的目标值写做t而不写做y),我们希望使用通过这一堆值,去寻找到一个两者之间对应的确定关系。

首先确定一点,这些样本不会完全拟合到一个函数的(如果安全拟合的话,那就是一个矩阵或者多项式求解问题了),对于拟合不了的原因,一般使用高斯来进行捕获,即我们认为数据在整体上上符合一个给定的规则的,不能完全符合是出于设备的抖动之类的原因,将这些原因使用高斯分布来建模。

 

得到的结果差不多是这样:


对于一个样本点而言,给定x的情况下,目标值大致出现在红线周围,并以高斯分布围绕以对应的y(x0,w)为均值。


其中β是所谓的precision,其值即等于方差的倒数。

 

在建立模型之后,我们使用最大似然估计,也就是说我们要使得



如果我们想


我们同样可以通过:


 

 

那么:




 

在上式中注意xiti是书籍量,我们的目标是求上式的极佳,上式是关于βw的函数分别对于这个未知量求导,并令其为零。

 


 



 


 


 



Prml1.2学习笔记---似然函数

上节从最简单的随机变量扯到宇宙原理(汗)。今天接着上次扯。

关于均值,方差标准差什么的,没有什么好说的。

值得一提是书中提到的关于随机变量的变换,


在满足x=g(y)的情况下,概率密度函数存在着变量的代换,这里比较需要注意的变量代换的下标。

离散型与连续型随机变量的期望公式,也比较简单,但是需要注意边缘分布与联合分布下的对某一随机变量的期望求解。

特别是条件分布的条件期望:

关于条件期望的形式,非常容易出错,貌似之前我经常写错f(x)的位置

 
 

这里需要记得,关于条件期望,是指首先是条件概率,即在条件yx发生的概率,然后在x发生的情况下,再去对x进行函数变换。

 
 

上次本来说要好好谈一谈协方差,但是自己对协方差的理解感觉也需要演化,于是推一推,现在且先记得协方差衡量的是两个变量之间的相关性就可以了。

 
 

之后贝叶斯公式再次出现了,不过换了两个变量,变得得更有意义了


这里的w即是我们在机器学习过程中所需要优化和拟合的模型的参数,而D则是训练集。从贝叶斯的角度来理解,我们的目标是在给定了训练集的情况下,预测参数,也就是计算P(w|D),而根据等式的右边,我们可以通过对于P(D|w)的计算来完成,P(D|w)是指在给定的参数下,训练数据出现的概率。

也就是说,刚一开始,我们要优化的目标是看到数据,想一想,这样的数据可能对应着什么的参数,但是反过来思考,什么样的参数会产生这样的数据呢。

P(D|w)就是传说中大名顶顶的似然函数。

 
 

在贝叶斯学派和频率学派的做法,似然函数都起着非常重要的作用。

对于频率学派而言,w的值是固定,他的值,需要通过估计来求得,而估计的过程则需要考虑所有可能出现的数据集。

而对于贝叶斯学派而言,我们的数据集只有一份,即是目前眼前看到手中持有的那一份,因此参数的不确定性就表示为参数w的分布。

 
 

频率学派的做法一般是最大似然,即求maximize P(D|w),而通常的作法是求最大似然的负log值,这个负log值被称为error funcion,或者损失函数。

因为log函数是单调递减函数,因此最大似然,也就意味着最小错误。

 
 

在最简单的线性回归,如果我们最错误建模为是由于高斯噪声出现的,那么对高斯分布,进行反向log运算,再进行一些简单的变化后,就能够得到最常见的损失函数的形式。


回顾那些年的群体性事件

回顾下零八,那是很不平常的一事,从动车到新疆,从奥运到汶川,奥运的五个吉祥物,每一个都和一件灾难挂上了钩,那些年,群体性事件频发,我当时正读大学,那几年也是我自己最关注新闻的几年,瓮安,石首,邓玉娇,躲猫猫,在网吧通宵看汶川新闻报道,以及之后关注3q大战,那时关注一个新闻会以一种专题学习的态度去搜集所有的资料,然后分析和总结。

 
 

现在自己很少再看新闻了,如果不做记者,空洞地关注民生不如自己做好自己的本职,互联网改变了沟通,改变了社会结构,在可预见的将来,也会改变这个国家,互联网珠玉在前,我也小小地奢望能够在自己的工作领域做出一些成果,微波地推动一些事情的发展。

 
 

今天不知从何而起,突然想当时经历过的群体性事件,经历之后,只留了下对执政党的恨意,对这个无物之阵的无力感,但是事件本身最后的结果,大多湮灭无闻。这许多年过去,回头再看看,那些当事人们,都又如何了?

 
 

一、

瓮安事件:

简要回顾来说,一个名叫李树芬的女孩子,死于瓮安的河中,警方声称是自杀身亡,但是家庭不满尸检结果,于是使用冰棺将尸体冰冻,并看守,之后由于政府应对不当,反对迟缓,于是谣言四起,家属被打被关押,而行凶者传言是县委书记的侄女以及派出所长的儿子,女孩子在死前遭受过性侵犯,而且冲突的原因是李树芬在考试时拒绝了县委书记侄女的抄袭请求。

 
 

事件中愤怒的民众火烧了县政府大楼,推翻了公安局的警车,随后被武警驱散。

尸体事后经多次尸检,进行尸检的法医级别不等,一直到省级和国家级,最后的结论仍然是溺水身亡,且生前未遭受性侵犯,在死后仍然为处女。

这起事件的爆点,除了激化的官民之外,还在官员听起来无稽的事件经过,做俯卧撑成为一时的热词。成为强奸的同义语。

在事件发展过程中,事件中的谣言一一揭破,传言中被打死的死者的叔叔仍然健在,所谓三名官二代的行凶者的父母亲属也皆为平民,县委书记为异地调任,在本地并无亲属。

而事后贵州省委书记石宗源的看法是,由于矿业纠纷,农民征地等等问题,当地的官民关系早已经激化到了极点,十万人的县城在事件发生时有居然有三万人上街。

中国青年报在事发四年后,进行了回访,

http://zqb.cyol.com/html/2012-04/27/nw.D110000zgqnb_20120427_1-01.htm

看起来,瓮安的后续建设相当不错,新任的县委书记的开门信访态度比较妥善地解决了问题。

 
 

在研究社会学的人眼中,瓮安经验是一起非常正面的经验,在事件的后期,官方的态度积极不遮掩,迅速地针对谣言进行访谈,我至今仍记得当时暑假回家时,看到新闻频道在采访所谓的县委书记的侄女时,所感觉到的震撼。

这种震撼,或者被激进者看起来,被剥夺了许多的奴隶,在给予本来就应当赋予的权利。

然后对于我自己而言,却是首次感觉到,这种敏感事件,首次不再只人人网中管理猿键盘下的在关键词,而是可以放在台面上进行讨论的议题。

这无疑代表着一种绝大的进步。

 
 

每一起群体性事件都是一个非常值得学习的思索的材料,在群体的互动过程中,互动双方最后的结果,其实代表一种广场政治的磨合,我们的国家,对于广场政治其实极为幼稚,广场政治最后的结果大多是以流血冲突和非理性地极端事件告终,这其中其实包含着一种价值观的错位。

我们对正确的要求,远远要超过对真实的要求。

这也是当前周小平之所以红火的吊诡之处,同时也是我非常讨厌方舟子,却一直很认同他的存在的原因所在。

 
 

二、

邓玉娇事件

雄风宾馆的一名服务员,在洗衣服时被进来寻欢的官员非礼,最后愤怒地拿出修脚刀杀了非礼者,捅伤了另一个官员。

当时网络舆论的焦点,我记得是说当时政府在面对舆论的压力时,准备将邓玉娇判做精神病,然后关押在精神病。

一年之后,时代周刊的记者对邓玉娇进行了回访。

http://news.jcrb.com/jxsw/201005/t20100527_361794.html

看起来,对于邓玉娇,官员们将其供了起来,给了其优厚的条件,而采访中流露出来的跑步机等信息,看似邓玉娇是在这起群体性事件中因祸得福了。

其人最后由于自首,并被判双相精神障碍,免于刑责。

关于双相精神障碍,是与抑郁症相关的一种精神障碍,双相是指病人会在抑郁和狂躁之间交替变换。也称躁郁症。

当然邓玉娇是否是此病是另外一个问题,但是如果其果真有双相障碍,那么刺死官员就更加具有一定的合理性。

 
 

 
 

三、

石首事件

石头事件是三起事件到今天为止,仍然事实不清,经过不明的一起群体性事件,而且在事件过程中政府的做事风格完全黑社会化,动用警察与武警抢尸体,全市进行网络封锁,交流盘查,甚至不明人士殴打记者。

石首群体性事件的背后,据信是当时警方的黑社会化,对毒品查禁不力,直接形成毒品的保护伞,而毒品问题又接着引起各种治安问题,盗窃斗殴等等事件频发。

在死者酒店厨师涂明高死前的一段时间,同样的酒店就已经死去一个服务员。

而涂明高死后,政府的各种无理举措再一次引发激烈的冲突。

同样,在石首事件之后,死者家属居然被刑事拘留,即使在其他的群体性事件中,也不多见。

 
 

石首事件比较怪异,查到最晚的信息,就是在整发仅一个月之后的报道,更晚的回访,再也没有了。

http://news.163.com/09/0730/10/5FFAI2030001124J.html

 
 

而石首事件被免职的市委书记钟鸣在一年后调任荆州市副秘书长异地任用。

事后两年,网上仍有其指点江山的报道。

http://www.cnchu.com/viewnews-68019.html

 
 

 
 

 
 

总结:

 
 

总结这三起事件,基本可以说,对群体性事件的处置,没有一个共同的规律或者制度可以遵循,从信息最开放的瓮安事件,到信息最闭塞的石首事件,一次事件的经验并不会在其他地方被使用和借鉴。

 
 

或者做两个并不靠谱的大胆猜想,对于瓮安事件而言,在一定意义上,由于事件中谣言较多又较揭穿,背后没有涉及复杂的利益和更高层的人事等等问题,d因此官府乐得信息开放并将做作为一个社会进步的典型的表征。

而内幕重重的邓玉娇案,和波谲云诡的石首事件,媒体则保持不同程度的沉默。

 
 

同样,可以看到一条规则。

对于一起事件报道的最后时间离这起事件越长,这起事件解决的越好,越合官府的意旨。

因此,瓮安答卷可以在时隔四年之后,回访,而邓玉娇案的一年,以及石首事件的一个月,皆间隔佐证着此观点。

 
 

 
 

 
 

今天看了眼何清涟女士的博客,何女士认为,我们的宪法,已经通过对共产党的自我赋权,自我将立法,司法,行政权合于一身,因此所谓十八大的依法治国,到最后,也不过统摄于目前由最高统治者所所重新确立的强人政治而已。

 
 

而最高统治者已经通过周小平,明确地表达其政治思想对国家的见解。

 
 

每一起群体性事件中,网民的态度,参与者也好,旁观者也罢,当事人政府,甚至我这名在五六年之后,突然想起写文回访的无关者也好。

都能够从中发现自身的人性。

黑如一滩死水。