我的AI学习史

接触这个领域的时间并不长,到现在也称不上入门,但是也有些经历,也许说出来可能给相同阶段的童鞋们一些借鉴。

关于学习的动机

为什么在这样一篇谈学习线路的文章里要首先谈学习的动机,原因在于学习或者说工作和职业在深入之后希望做出一些成果的话都仍然是一件非常需要投入的事情,没有这样的动机,hinton, lecun等几位大神不可能在神经网络几次陷低谷的时候仍然在这个领域深耕并推动这个领域的发展。
我在接触AI之前兴趣非常驳杂(现在也并没有好多少),在人文社科和自然科学领域都有一点接触,于是很长时间内,在各个领域之间跳来跳去,遇到Ai之后,感觉到这门学科的思维范式以及跨领域性可以把之前对计算机,心理学,经济学,哲学的非常多的思考贯通起来,而且这门学科中的很多内容都是如此好玩,因此才确定入坑.

关于学习的路径

我的学习路径是这样的:

<用nltk进行自然语言处理(书籍)> —> <cs181.1伯克利人工智能课程> —> <coursera斯坦福机器学习课程> —> <cs229,斯坦福机器学习讲义> —> <一个文本分类的project> —> <统计学习方法 李航> —> <PRML> & <cs224d 斯坦福自然语言处理课>

这其中也读了不少论文, 看了不少的博客和技术文章, 跟了不少的小项目, 但是都比较零散.

DraggedImage

这本书当时读主要作用是打下了python编程的基础, 我是从这本书开始接触python的, 关于机器学习的语言问题, 从现在看来, java、python、scala、R、c-plus-plus应该是之后主要的几门语言, 其中java和c-plus-plus偏向工程化应用, scala主要是spark这个工具带起来的, R纯研究目的, python则跨研究和工程两大类, 可用的包最多, 语法简单易上手, 算是刚开始入坑的不二之选; 另外这本书中顺带也讲了自然语言处理的一些基本方法, 课后题中有很多的非常不错的小题目. 大家可以参照一看.
DraggedImage-1

<cs188伯克利人工智能课程>

需要重点推一下这门课, 这门课给出整体的框架, AI都有哪些主要问题, 主要的学科范式是什么, 如何对一个问题进行建模, 我当时学习的时候, edx平台只有前半部分, 现在已经是完全版的archive.
这门课也是我在跟过的公开课中体验最好的一次, 当然时间的投入也比较长, 作业相对难一些.这门课最好的地方在于, 它的作用从前到后, 几乎是在一个一个大的游戏项目的框架下进行的, 跟着课程一步步走, 能够较快地进入到一个大型项目的协同开发的路子上, 这种经验是非常可贵的, 相比之下, cs229的课程作用使用的大多是matlab代码, 几个文件解决一个理论问题. 从实践性到深入程度与这门课都不可相提并论.
pacman-show
上图就是这门课强化学习的一个作业, 基于强化学习做的pacman小游戏, 其中pacman的行为完全是通过强化学习在随机经验中学习出来的. 图不太清楚, 大家凑合着看吧.

coursera ng课程与cs229讲义

这两个可以放在一起说, 因为都是ng的东西. 吴恩达童鞋的coursera课程应该是机器学习入门最多的推荐了. 吴童鞋的讲课实在是深入浅出, 把一个东西讲得非常透彻(曾经听过吴童鞋演讲, 他初任教职的时候讲课全校排名倒数, 不得不感叹人要用心做一件事, 也是耶风挡不往)
ng课程的内容大家说得够多, 顺便推一下cs229, cs229的比coursera课程要难了很多, 更偏理论推导, 而且会讲到线性指数族, 强化学习, EM算法等等更多更深的内容, 由于和cousera课程的内容有一部分重合之处, 和coursera课程参考着看更好, 而且有概率,线代,高斯等等补充材料. 也方便快速地过一下基础.

DraggedImage-2
如果这门课能够好好地刷完的话, 机器学习就算是入门了. 整个领域的方法论就算完全掌握了, 掌握的好的话, 独立完成一些项目就没有问题了. 去各大公司面试什么的, 应该也是OK.

PRML & 统计学习方法

这两本书也放在一起说了, 需要说的是这两本书, 我还没有读完, 但是啃PRML应该是每个有志于机器学习的童鞋必须要做的一件事, 此书确实非常经典, 但是也非常难啃, 具体应该如何啃, 方法放到后面说.
DraggedImage-3
对于统计学习方法而言, 这本书写作的方法更像我们之前读过教科书, 非常的简洁, 但是李航老师对这些问题的讲解仍然清楚, 虽然是薄薄的一本小册子, 料却十足. 最近写knn, 优化的时候, 仍然是从这本书的kd树中得到的思路.

cs224d

这个已经是自己的研究方向了, 比较个人化, 只捎带提一句就好.
提一下深度学习, 深度学习近两年非常火, 机器学习和深度学习的关系到底应该怎么摆, 是否有了深度学习就可以不用机器学习了? 想必是一些人心中的疑问.
其实我对这个问题并没有多少发言权(毕竟入行时间不长), 但是从个人体会出发, 深度学习从长远来看必然会发挥越来越大的作用, 但是即使它解决了表示的问题, 在实际工作中, 大量的任务, 还是需要使用机器学习的方法来进行探索, 聚类, 简单的分类, 特征工程, 无论是在哪个任务中, 出现的频次都非常高, 而这些活如果都使用深度网络来实现, 其代价和成本实在是太大, 而且深度学习的模型本来是比较复杂的, 数据量如果不大到一定程度, 使用深度学习并无必要而且容易过拟合.

关于学习的一点心得.

从接触这个领域到现在, 算算已经过了两年半的时间, 除去中间被各种事情打断的时间, 自己的学习和工作应该已经有近两年, 但是对于这个领域仍然不敢说是入门, 主要在于这个领域每一个点的背后都是有着数学支撑的, 到底怎样算是对机器学习入了门呢, 拿到一个问题, 能够找到合适的算法包解决它? 能够架设一个分布式平台实现大数据规模的机器学习? 能够优化模型, 在数学上优化新算法? 上述每一个问题都需要长期扎实的学习和钻研.

一个最大的想法是:
一定要在代码, 工具, 数学, 论文之间找到一个平衡. 这个领域吸引人的东西很多, 像vanpik这样的数学家和jeff dean这样的工程之神都在这个领域中, 中间更有ng, hinton这样的人物, 这些大神们的背景也正像黑客与画家一书中所谈的那样, 计算机是个框, 什么都可以往里装, 工程师, 数学家, 黑客, 计算机科学家看起来好像都是同一个title, 在相似的title之下, 找准自己的定位的长期的发展方向是非常必要的.

但是同时, 如果要实现什么东西, 无论是优秀的工程实践也好, 牛叉的科研成果也罢, 工程能力和学术能力都是需要的, 无非是这两者之间的谁多谁少的平衡问题.

所以在学习时, 从一个算法的数学证明, 到复杂度计算, 到算法的实现, 到工具平台化的抽象, 这几个部分也需要一个平衡和侧重, 建议是在学习的时候, 也能够从几个不同的点来学习.
举例来说, 对于knn, 掌握knn的数学证明, sciki-learn中的包使用, kd树的优化方法, 能够分析其算法复杂度(例子不太好…), 这样间杂着学习, 理论和实践相互替, 才能够更地对这个算法有比较透彻的了解, 同时也需要对数据集的数据特性做一些探索.

写在最后

我入行不久, 造诣也并不算深, 厚着脸皮写下这篇文章, 无非是想也许正好有处在相似阶段的童鞋确实想入坑, 那么这篇文章也许能够有一定借鉴作用.
借用ng童鞋的话, ai是一门回报非常大的学科, 无论是对机器的认识, 对人自身的认识, 对自然问题的认识, 甚至人的存在本质, 自由意志, 都可以在门学科中得到更深入的洞见和收获.
更何况, 它还是一门新生的学科. 五十年历史过去, 却连学科(人工智能)的定义都没有, 这个天地也是大为可为. 期待与大家一起努力.

快速见面36问

纽约州立大学石溪分校(Stony Brook University SUNY )的心理学家亚瑟· 阿伦(Arthur Aron )对人们怎样形成恋爱关系非常感兴趣。他提出一种独创性的方式,让素未谋面的男性和女性感到彼此亲近。他只有一小时左右的时间来建立亲密关系,而这个层次通常是需要几周、几个月,或是几年时间才能达到的。但他却通过36 个问题让参与者快速地从第一个层次进入到麦可亚当系统的第二个层次,这加速了“ 开始认识你” 的进程。问题的一部分是时长一小时的“ 分享游戏” 。每对人都需要大声读出问题,然后在进入下一题之前,两个人都需要回答此题。
下文是一些“ 分享游戏” 中所设里问题的范例。尝试在脑中回答这些问题,再想想这些会泄露你什么信息。你将会看到分享答案是怎样让你觉得了解了某人,而且跟此人更亲近了。
1 。如果可以选择世界上的任何人,你想邀请谁做你宴会上的客人?
2 。在打电话前,你是否会演练自己要说的话?为什么?
3 。对你来说“ 完美” 的一天由哪些事物组成?
4 。你最后一次唱歌给自己听是什么时候?唱给别人听呢?
5 。如果你可以活到90岁,而且可以在后面的60 年里保持30 岁的思维或身体,你会选择哪一个?
6 。关于你将来会怎样死去,你是否有过预感?
7 。如果你可以改变自己成长过程中的任何事情,你想改变什么?
8 。如果你明早限来时就可以拥有一种特质或能力,你想拥有什么?
9 。有什么事情是你一直想要做的?为什么一直没有做?
10 。你最珍惜的回忆是什么?
11 。如果你知道一年内自己就会突然死去,你是否会改变现在的生活方式?为什么?
12 。爱和情感在你的生活中扮演若怎样的角色?
13 。与他人分享一件你在生活中碰到的馗尬事。
14 。你最近一次在他人面前哭泣是什么时候?独自哭泣呢?
15 。什么事情很严重,不能一笑了之?
 
 
下面是全部的三十六问题
According to Dr Arthur Aron of the Interpersonal Relationships Lab at Stony Brook University, NY, as published in "The Experimental Generation of Interpersonal Closeness" in Personality and Social Psychology Bulletin (1997), there are 36 questions that almost always guarantee that 2 people, if they ask each other them over 45 minutes, will want to see each other again and have positive feelings towards one another. Here they are, in order: 
 
1. Given the choice of anyone in the world, whom would you want as a dinner guest? 
2. Would you like to be famous? In what way? 
3. Before making a phone call, do you ever rehearse what you're going to say? Why? 
4. What would constitute a perfect day for you? 
5. When did you last sing to yourself? To someone else? 
6. If you were able to live to the age of 90 and retain either the mind or body of a 30-year old for the last 60 years of your life, which would you choose?
7. Do you have a secret hunch about how you will die? 
8. Name three things you and your partner appear to have in common. 
9. For what in your life do you feel most grateful? 
 
10. If you could change anything about the way you were raised, what would it be? 
11. Take four minutes and tell you partner your life story in as much detail as possible. 
12. If you could wake up tomorrow having gained one quality or ability, what would it be? 
13. If a crystal ball could tell you the truth about yourself, your life, the future or anything else, what would you want to know? 
14. Is there something that you've dreamt of doing for a long time? Why haven't you done it? 
15. What is the greatest accomplishment of your life? 
 
16. What do you value most in a friendship? 
17. What is your most treasured memory? 
18. What is your most terrible memory? 
19. If you knew that in one year you would die suddenly, would you change anything about the way you are now living? Why? 
20. What does friendship mean to you? 
21. What roles do love and affection play in your life? 
22. Alternate sharing something you consider a positive characteristic of your partner. Share a total of five items. 
23. How close and warm is your family? Do you feel your childhood was happier than most other people's? 
24. How do you feel about your relationship with your mother? 
25. Make three true "we" statements each. For instance, "we are both in this room feeling..." 
26. Complete this sentence "I wish I had someone with whom I could share..." 
27. If you were going to become a close friend with your partner, please share what would be important for him or her to know. 
28. Tell your partner what you like about them: be honest this time, saying things that you might not say to someone you've just met. 
29. Share with your partner an embarrassing moment in your life. 
30. When did you last cry in front of another person? By yourself? 
31. Tell your partner something that you like about them already. 
32. What, if anything, is too serious to be joked about? 
33. If you were to die this evening with no opportunity to communicate with anyone, what would you most regret not having told someone? Why haven't you told them yet? 
34. Your house, containing everything you own, catches fire. After saving your loved ones and pets, you have time to safely make a final dash to save any one item. What would it be? Why? 
35. Of all the people in your family, whose death would you find most disturbing? Why 
36. Share a personal problem and ask your partner's advice on how he or she might handle it. Also, ask your partner to reflect back to you how you seem to be feeling about the problem you have chosen. 
 
Variations 
37. If you could choose the sex and physical appearance of your soon-to-be-born child, would you do it? 
38. Would you be willing to have horrible nightmares for a year if you would be rewarded with extraordinary wealth? 
39. While on a trip to another city, your spouse/lover meets and spends a night with an exciting stranger. Given they will never meet again, and you will not otherwise learn of the incident, would you want your partner to tell you about it? 
 
My thoughts 
I think these are all great questions for getting to know someone in general. None of them can be used at the initial rapport-building part of a conversation, but if you're sitting down with someone and getting to know them properly, then they're all great. 
 
In terms of women specifically, I would say pick your favourite 5-10 and incorporate them into the middle section of your first date. So, you'd start with a bit of banter, joking around, teasing and flirting, then get into your favourite questions (I would definitely avoid all the ones about death and anything negative!), and then end with someone along the lines of question 39, which would help you transition into some more SEXUAL conversation. The problem with these is if you did all the questions it's way too much comfort and not enough sexual. As long as you made things sexual afterwards and spent the last 25% of your date talking more along those lines, being sexual, touching more, etc. then you'd be fine!
 
来自 \<http://www.pick-up-artist-forum.com/36-questions-in-45-minutes-make-any-2-people-fall-in-love-vt120045.html>