Prml1.2 学习笔记–高斯噪声下的最大似然

本来说今天中午要写一prml,但是第一章快读完了,可是回头再一看最大后验概率,很多东西像没看一样,于是再抓起来做导图。   上次简略地提了下贝叶斯学派和频率学派的区别,接下来就细说一下这两派的不同的作法。 对于频率学派来说,既然把整个模型的参数看作固定的,那么要做的事情就是去估计这个参数,而一个非常常用的方法就是最大似然估计。 假设我们现在有一个曲线拟合问题,也就是说,我们有一堆相互对应的(x,t)(与书中符号一致,这里的目标[…]

继续阅读 …

Prml1.2学习笔记—似然函数

上节从最简单的随机变量扯到宇宙原理(汗)。今天接着上次扯。 关于均值,方差标准差什么的,没有什么好说的。 值得一提是书中提到的关于随机变量的变换, 在满足x=g(y)的情况下,概率密度函数存在着变量的代换,这里比较需要注意的变量代换的下标。 离散型与连续型随机变量的期望公式,也比较简单,但是需要注意边缘分布与联合分布下的对某一随机变量的期望求解。 特别是条件分布的条件期望: 关于条件期望的形式,非常容易出错,貌似之前我经常写错f(x)的[…]

继续阅读 …

回顾那些年的群体性事件

回顾下零八,那是很不平常的一事,从动车到新疆,从奥运到汶川,奥运的五个吉祥物,每一个都和一件灾难挂上了钩,那些年,群体性事件频发,我当时正读大学,那几年也是我自己最关注新闻的几年,瓮安,石首,邓玉娇,躲猫猫,在网吧通宵看汶川新闻报道,以及之后关注3q大战,那时关注一个新闻会以一种专题学习的态度去搜集所有的资料,然后分析和总结。     现在自己很少再看新闻了,如果不做记者,空洞地关注民生不如自己做好自己的本职,互联网改变了沟通,改变了社[…]

继续阅读 …

怒吼那光的退缩

周日刷了两遍星际穿越。 两刷很值,土星环从遥远的看不分明的太阳光中穿过的,在暴烈的虫洞中光阴如潮水拍打星空,以及时光之屋,维度在小女孩的房间中昏睡蜷缩,这一切事物,都令人屏息静气,生怕打扰那种宏大造物之美。     不要温顺地走进那个良夜 暮年当在光阴将逝时燃烧激烈 怒吼 怒吼 朝着那光的退缩     我们被扔在三维的宇宙魔方中,困顿在喜怒无常的时光琴弦上。眨眼间要回视正视不息的光阴,肚子和坟墓一起隆起,婚礼和葬礼一起举行,亲密的故事像[…]

继续阅读 …

Prml1.2学习笔记—–兼谈离散与连续的世界。

这节讲的大部分东西,也不需要太过于多说的样子,加法法则,乘法法则,联合分布,边缘分布和条件分布,值得注意的是联合概率的英文是the probability of X and Y,而条件概率的英文是the probability of X given y,自己在文科的思维来搞理工,一向缺乏术语的严谨性,经常懂了,向行外人表达得挺清晰,可是在行内人听起来却很成问题。这一点需要克服改进之。     接下来就是机器学习贝叶斯学派最重要的贝叶斯法[…]

继续阅读 …

Python gil之三 check

上回书说完了信号和tick,这回书接着来说check。 当某一个主线程运行了100tick之后,经过检查,从而释放了gil锁,并由操作系统调度其他的线程来运行,如图是线程2开始运行,当线程2也运行完100个tick之后,调度线程3.这两次进行的都很顺利,但是线程三在运行时,却出现故障。     如前所述,只有主线程中实现了线程处理函数,可以处理系统广播的信号,而在线程三的这一次运行中,当线程3接收到系统传递过来的信号后,线程3不再等10[…]

继续阅读 …

PRML1.1学习笔记及其扩展

最近参加完mla2014,深感自己基础还是甚不牢靠,之前断断续续的学习,没有一部内化的大部头做根基,一切都是无根之萍。 好在最近自己的生活节奏和状态都已经调节到看prml丝毫不觉得违和的地步,而且不再焦急地想把它看完,这样的学习状态应该是最好的。于是,进军PRML。     首先是训练集与测试集的概念,泛化,输入空间与输出空间,特征空间,特征提取,监督学习,非监督学习,分类与回归任务,这些都没有什么太多可说的。     此书中提到非监督[…]

继续阅读 …

姑且零乱姑且流水

又是一个不知道说些什么的日子。 近几天外出参加一个会议,虽说不是国际顶级会议,不过参加之后的收获反倒是好像比国际顶级会议还多些。     谈到国际顶级会议,就想到上次参加icaij的经历,上次和那个绕着舌头的日本人沟通,虽然看其墙展,其好像是使用EM算法来分析amazon 众包中某一份任务的标注的有效性,明明看其工作就是很有意思,可是干看着,鸡同鸭讲,怎么也听不懂其圈着舌头的日式英语。     好歹mla2014没有这样的现象。 这会先[…]

继续阅读 …

Python 之gil之二

之前说到在gil的控制下,如果一个cpu富集(这个词可能不是标准译法,英文cpu bound,指运行时间主要由cpu运算的时间来决定的任务)线程获取了gil锁,然后它会一直运行下去,为了使得其他的线程也能够运行,每次过100个tick,线程会阻塞自身,然后由python解释器来进行一次check。查看是否有其他的线程在等待获取gil。     首先来谈这个tick,这个tick其实是一定的步数的字节码,如果使用python提供的反汇编模[…]

继续阅读 …