deep learning 知识总结_百度文库
两大类热门资源免费畅读
续费一年阅读会员，立省24元！
deep learning 知识总结
上传于||暂无简介
阅读已结束，如果下载本文需要使用0下载券
想免费下载更多文档？
下载文档到电脑，查找使用更方便
还剩4页未读，继续阅读
你可能喜欢The page is temporarily unavailable
nginx error!
The page you are looking for is temporarily unavailable.
Please try again later.
Website Administrator
Something has triggered an error on your
This is the default error page for
nginx that is distributed with
It is located
/usr/share/nginx/html/50x.html
You should customize this error page for your own
site or edit the error_page directive in
the nginx configuration file
/etc/nginx/nginx.conf.刘畅，IT，学生
Embedded Systems
在荷兰上学我只担心到时候回国了会不会不适应地沟油。
首先你要做到“长期训练”。
613 人关注
&b&致命的自负：关于英国退欧，万一你们都错了呢？&/b&&br&&b&&br&作者为一线交易者： &a data-hash=&a7ed0b8f4d204a2179e5& href=&///people/a7ed0b8f4d204a2179e5& class=&member_mention& data-tip=&p$b$a7ed0b8f4d204a2179e5&&@NE0Matrix&/a& 于英国退欧前一天首发于微信号：扑克投资家（puoketrader） &/b&&br&&br&&p&明日中午，整个欧盟将迎来自诞生以来最大的一个挑战，那就是英国在欧盟的去留。&/p&&p&对于英国退欧，绝大部分人仍然把它当成一场闹剧，尤其是在留欧派议员Cox被两颗子弹刺杀倒在血泊中之后，绝大部分人都觉得英国退出欧盟的几率已经无限接近于零。但是，当我们去看整个人类的历史，它的吊诡之处就在于，很多改变历史进程的事件，往往是跟绝大多数人预想的方向相反。&/p&&br&&p&道理很简单，如果我们能预料到一件事情的严重性，那我们会在它发生之前已经阻止它，这实际上就把这件可能改变历史的事件扼杀在摇篮中，那么，只好是那些我们不重视的事情，我们忽视却又实际上非常重要的事件，成为每一次改变人类历史跳跃方向的推动力。&/p&&br&&p&关于论证英国如何不可能退欧的文章已经汗牛充栋，我亦无意为其中再添一份没有意义的拷贝。纵观金融市场数百年历程，超额利润从来都不会来自于众人都达成的看法，英国真正退出欧盟的可能性虽然在很多人看来很小，但对那些可能性小却一旦发生会带来巨大影响的事情押注，不应该是一个很好的习惯么？&/p&&br&&p&至少在我看来，有几个非常重要的问题是值得去思考的：&/p&&br&&p&&strong&人血馒头已干&/strong&&/p&&br&&p&这些天推动英国退欧方向从退欧派领先到留欧派领先的标志性事件莫过于议员Cox的遇刺事件，甚至很多人把Cox身上的两颗子弹比喻成当年把陈水扁推上台湾领导人的那两颗子弹。&/p&&br&&img src=&/7953aec6758bfaaa66d32ee_b.jpg& data-rawwidth=&530& data-rawheight=&298& class=&origin_image zh-lightbox-thumb& width=&530& data-original=&/7953aec6758bfaaa66d32ee_r.jpg&&&br&&p&像吗？确实很像。&/p&&br&&p&抛开政治正确，我们应该正视的事实是，很多时候，广大人民群众并没有像书上告诉我们那样主导了历史，恰恰相反，绝大多数的普通人会有贪婪，会有恐惧，会因为贪婪而奋不顾身，会因为恐惧而摇摆不定，这也意味着，人的意识和对某件事的看法是可以被影响，被操纵的。&/p&&br&&p&只要把群体短时间置身于不停歇的大量外界信息轰炸之下，绝大多数人会失去独立思考的能力，除非等过一阵他们缓过来有时间去反思的时候，才会恍然大悟自己上当了。如果说Cox的遇刺跟陈水扁当年被枪击进行类比有什么不妥的话，在我看来，那就是枪手对Cox的袭击时间选得过早。&/p&&br&&p&一次完美的袭击，应该选在离公投无限接近的时间，那样才能让公众在完全来不及反应的情况下，被突发的爆炸性新闻影响从而失去判断能力。绝大部分人就不会理性地思考退出或者不退出的原因，他们只能动用感性的一面和对于死者羞愧的一面投下留欧的那一票。&/p&&br&&p&而现在，谁TM还在乎那个死去的议员吗？你在新闻上已经看不到任何关于她的后续消息，在这个信息流转速度已经无比快的世界，已经有无数的事替代和吸引了众人的关注，信息流的旋风已经把Cox的人血馒头风干得一点血腥味都没有，只剩那么一个黑白的背影。&/p&&br&&p&当人们有足够的时间冷静下来的时候，他们就可以计算整个退留的得失。熙熙攘攘，皆为利来，皆为利往。人在做决策的时候，无非是一个趋利避害的生物，如何寻求对于自己利益能最大化的事情，才是他们考虑的重点。&/p&&br&&p&英国加入欧盟的时间也不短了，就像两个在一起的人，时间一久，当初带来的红利和新鲜感可能已经逐步退化，这就是为什么很多人结婚之后才发现，谈恋爱时看起来多么完美的对方竟然会有那么多缺点。人是一种什么动物？人就是一种在得不到之前渴望与得到之后厌倦之间摇摆的动物。&/p&&br&&p&当一样东西因为时间的流逝而钝化的时候，人们就会想起对立面的好。&/p&&br&&p&&strong&退欧，是英国唯一的出路&/strong&&/p&&br&&p&不单是普通的民众，我觉得站在英国的管理层角度而言，这同样不是一件儿戏的事。如果你去过英国的前殖民地跟法国或者葡萄牙，西班牙的前殖民地，你就会发现英国人当年强大不是没有理由的。把一个国家比作一家公司的话，英国的管理层无疑有着优秀的传统和杰出的公司文化。&/p&&br&&p&同时，对于外部环境变化的捕捉，英国的政治家这么多年来一直的记录都不错。我相信他们对于整个欧洲正在发生的趋势，也一定不会那么神经大条地忽略掉，除非巴黎和布鲁塞尔的枪声与爆炸声还不能惊醒他们。&/p&&br&&img src=&/df6ce7fb2cba_b.jpg& data-rawwidth=&640& data-rawheight=&409& class=&origin_image zh-lightbox-thumb& width=&640& data-original=&/df6ce7fb2cba_r.jpg&&&br&&p&要知道，普通人考虑的是自己身边那些蝇头小利，但是作为一个国家的管理层，面对重大的历史事件，考虑问题的出发点和立足点都必然立足于本民族在数年甚至数十年内的生存和发展需要。在可预见的将来，欧洲大陆已经不复当年的繁荣与安宁。&/p&&br&&p&停滞的社会，过高的福利，伊斯兰社群的崛起，都会逐步撕裂掉整个老欧洲。对于英国的国家利益而言，只有尽快撇清跟整个欧洲大陆的联系，才会在以后的岁月里，最大可能地避免受到一个动荡的欧洲的影响，同时更好地保留自己在政治和外交方面的灵活性。&/p&&br&&p&英国离开欧洲，失去的只有枷锁，而留在欧洲，只会被一个注定要衰落的政治实体拖进去无底的深渊。&/p&&br&&p&当然，作为英国的首相，公然宣称脱离欧盟是一种政治不正确，不管私底下是何种立场，在公开场合，他都只能有一个选择。但是难道你们没有留意，我们可敬的卡相并没有像当年苏格兰要脱离英国的那场公投那样，红着眼眶要求你们留下来么？&/p&&br&&p&&strong&英国，不会是第一个特例&/strong&&/p&&br&&p&英国的退欧并不是一起孤立的事件。任何政治嗅觉足够敏锐的人，都能捕捉得到，整个欧洲大陆的风向，正在变化。法国的极右翼政党国民阵线已经在法国多个选区攻城掠地，而在意大利的罗马，右翼政党“五星党”刚刚赢得了市长的选举，更不要说甚至远在美洲大陆的特朗普，一路势破如竹。&/p&&br&&img src=&/cccf3cdd8e6e_b.jpg& data-rawwidth=&640& data-rawheight=&451& class=&origin_image zh-lightbox-thumb& width=&640& data-original=&/cccf3cdd8e6e_r.jpg&&&br&&p&如果说这些人都有什么共同特点，那就是他们都站到了多年来政治正确的对立面，他们不再追求苏联解体，冷战结束之后那种全球大同的根本不切实际的梦想。&/p&&br&&p&在我个人看来，往后的数年，对于全球化不满的大众会用选票把他们一个又一个推上权力的宝座。&/p&&p&那时，欧盟作为一个脆弱的政治实体，一定会分崩离析。这个实体的地基本质上基于一种理想化的设计，基于一个飘渺而不切实际的大同理想。尽管我对欧洲这么多年能走到今天这一步很赞赏，但遗憾的是，凡是由人设计出来的系统，那就一会有缺陷，随着时间的推移，缺陷一定会慢慢表现出来，因为我们的大脑，本质上不是一个完美的程序，它充斥着各种盲点和漏洞，哈耶克称之为理性的边界。&/p&&br&&p&过于高估我们人类自身的理性，是一种致命的自负。&/p&&br&&p&即使这次英国没有退欧，那么，在整个欧洲政治风向全面转向的大前提下，它早晚也有一天会退出的，无非是时间问题而已。如果它不开这个头，那么很有可能别的欧洲国家一样会有退出的冲动。&/p&&br&&p&&strong&可能的影响&/strong&&/p&&br&&p&在我个人看来，对于英镑而言，不管明天结果如何，至少它现在的价格已经把留欧给Price in了，如果明天英国留下，那就小跌，如果脱欧，那就是大跌，连带着欧元都会大跌，但长期来看，当英国退欧的好处慢慢显现，这次退欧事件导致的大跌会成为它很好的一个买入点。&/p&&br&&p&但是如果真的退欧，那么，英镑如何，其实真的不太重要了。&/p&&br&&p&因为我们在接下来数年可能要面对的，是整个欧盟的支离破碎和欧洲价值观的崩坏。&/p&&p&在这个历史进程面前，小小的英镑，根本无足挂齿……&/p&
致命的自负：关于英国退欧，万一你们都错了呢？作者为一线交易者：
于英国退欧前一天首发于微信号：扑克投资家（puoketrader） 明日中午，整个欧盟将迎来自诞生以来最大的一个挑战，那就是英国在欧盟的去留。对于英国退欧，绝大部分人仍然把它当…
首先是单下划线开头，这个被常用于模块中，在一个模块中以单下划线开头的变量和函数被默认当作内部函数，如果使用 from a_module import * 导入时，这部分变量和函数不会被导入。不过值得注意的是，如果使用 import a_module 这样导入模块，仍然可以用 a_module._some_var 这样的形式访问到这样的对象。&br&&br&在 Python 的官方推荐的代码样式中，还有一种单下划线结尾的样式，这在解析时并没有特别的含义，但通常用于和 Python 关键词区分开来，比如如果我们需要一个变量叫做 class，但 class 是 Python 的关键词，就可以以单下划线结尾写作 class_。&br&&br&双下划线开头的命名形式在 Python 的类成员中使用表示名字改编 (Name Mangling)，即如果有一 Test 类里有一成员 __x，那么 dir(Test) 时会看到 _Test__x 而非 __x。这是为了避免该成员的名称与子类中的名称冲突。但要注意这要求该名称末尾没有下划线。&br&&br&双下划线开头双下划线结尾的是一些 Python 的“魔术”对象，如类成员的 __init__、__del__、__add__、__getitem__ 等，以及全局的 __file__、__name__ 等。 Python 官方推荐永远不要将这样的命名方式应用于自己的变量或函数，而是按照文档说明来使用。&br&&br&另外单下划线开头还有一种一般不会用到的情况在于使用一个 C 编写的扩展库有时会用下划线开头命名，然后使用一个去掉下划线的 Python 模块进行包装。如 struct 这个模块实际上是 C 模块 _struct 的一个 Python 包装。&br&&br&更多关于命名的内容可以参考 PEP 8 《代码风格指南》的 Name Conventions 一节：&a href=&///?target=http%3A//www.python.org/dev/peps/pep-0008/& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&http://www.&/span&&span class=&visible&&python.org/dev/peps/pep&/span&&span class=&invisible&&-0008/&/span&&span class=&ellipsis&&&/span&&i class=&icon-external&&&/i&&/a&&br&&br&需要说明的是，由于这份文档看起来经过多次修改，双下划线开头的用法似乎曾经如 @makestory 所说，建议为类的私有成员，至少啄木鸟社区的 PEP 8 译文是这样写的，但 PEP 8 当前的官方版本中并没有体现。&br&&br&啄木鸟的译文参考：&a href=&///?target=http%3A//wiki./moin/PythonCodingRule& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&http://&/span&&span class=&visible&&wiki./&/span&&span class=&invisible&&moin/PythonCodingRule&/span&&span class=&ellipsis&&&/span&&i class=&icon-external&&&/i&&/a&&br&另找到一份较新的译文参考：&a href=&///?target=http%3A///p/zhong-wiki/wiki/PEP8& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&http://&/span&&span class=&visible&&/p/zhong&/span&&span class=&invisible&&-wiki/wiki/PEP8&/span&&span class=&ellipsis&&&/span&&i class=&icon-external&&&/i&&/a&
首先是单下划线开头，这个被常用于模块中，在一个模块中以单下划线开头的变量和函数被默认当作内部函数，如果使用 from a_module import * 导入时，这部分变量和函数不会被导入。不过值得注意的是，如果使用 import a_module 这样导入模块，仍然可以用 a_mo…
&p&刚好毕设相关，论文写完顺手就答了&/p&&br&&p&&b&先给出一个最快的了解+上手的教程：&/b&&/p&&br&&p&
直接看theano官网的LSTM教程+代码：&a href=&///?target=http%3A//deeplearning.net/tutorial/lstm.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&LSTM Networks for Sentiment Analysis&i class=&icon-external&&&/i&&/a&&/p&&p&但是，前提是你有RNN的基础，因为LSTM本身不是一个完整的模型，LSTM是对RNN隐含层的改进。一般所称的LSTM网络全叫全了应该是使用LSTM单元的RNN网络。教程就给了个LSTM的图，它只是RNN框架中的一部分，如果你不知道RNN估计看不懂。&/p&&p&
比较好的是，你只需要了解前馈过程，你都不需要自己求导就能写代码使用了。&/p&&p&
补充，今天刚发现一个中文的博客：&a href=&///?target=http%3A//blog.csdn.net/a/article/details/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&LSTM简介以及数学推导(FULL BPTT)&i class=&icon-external&&&/i&&/a&&/p&&p&
不过，稍微深入下去还是得老老实实的好好学，下面是我认为比较好的&/p&&br&&p&&b&完整&/b&&b&LSTM&/b&&b&学习流程&/b&：&/p&&br&&p&
我一直都觉得了解一个模型的前世今生对模型理解有巨大的帮助。到LSTM这里（假设题主零基础）那比较好的路线是MLP-&RNN-&LSTM。还有LSTM本身的发展路线（97年最原始的LSTM到forget gate到peephole再到CTC ）&/p&&p&
按照这个路线学起来会比较顺，所以我优先推荐的两个教程都是按照这个路线来的：&/p&&ol&&li&多伦多大学的 Alex Graves 的RNN专著&i&《Supervised Sequence Labelling with Recurrent Neural
Networks》&/i&&br&&/li&&li& Felix Gers的博士论文&i&《Long short-term memory in recurrent neural networks》&/i&&/li&&/ol&这两个内容都挺多的，不过可以跳着看，反正我是没看完
￣)┍&br&&p&还有一个最新的（今年2015）的综述，&i&《A
Critical Review of Recurrent Neural Networks for Sequence Learning》&/i&不过很多内容都来自以上两个材料。&/p&&p&
其他可以当做教程的材料还有：&/p&&p&&i&《From
Recurrent Neural Network to Long Short Term Memory Architecture Application to
Handwriting Recognition Author》&/i&&/p&&p&&i&《Generating Sequences With Recurrent Neural Networks》&/i&（这个有对应源码，虽然实例用法是错的，自己用的时候还得改代码，主要是摘出一些来用，供参考）&/p&&br&&p&然后呢，可以开始编码了。除了前面提到的theano教程还有一些论文的开源代码，到github上搜就好了。&/p&&br&&p&顺便安利一下theano，theano的自动求导和GPU透明对新手以及学术界研究者来说非常方便，LSTM拓扑结构对于求导来说很复杂，上来就写LSTM反向求导还要GPU编程代码非常费时间的，而且搞学术不是实现一个现有模型完了，得尝试创新，改模型，每改一次对应求导代码的修改都挺麻烦的。&/p&&br&&p&其实到这应该算是一个阶段了，如果你想继续深入可以具体看看几篇经典论文，比如LSTM以及各个改进对应的经典论文。&/p&&br&&p&还有楼上提到的&i&《LSTM: A Search Space Odyssey》&/i& 通过从新进行各种实验来对比考查LSTM的各种改进（组件）的效果。挺有意义的，尤其是在指导如何使用LSTM方面。&/p&&p&不过，玩LSTM，最好有相应的硬件支持。我之前用Titan 780，现在实验室买了Titan X，应该可以说是很好的配置了（TitanX可以算顶配了）。但是我任务数据量不大跑一次实验都要好几个小时（前提是我独占一个显卡），（当然和我模型复杂有关系，LSTM只是其中一个模块）。&/p&&br&&p&===========================================&/p&&p&如果想玩的深入一点可以看看LSTM最近的发展和应用。老的就不说了，就提一些比较新比较好玩的。&/p&&br&&p&LSTM网络本质还是RNN网络，基于LSTM的RNN架构上的变化有最先的BRNN（双向），还有今年Socher他们提出的树状LSTM用于情感分析和句子相关度计算&i&《Improved Semantic Representations From Tree-Structured Long
Short-Term Memory Networks》&/i&（类似的还有一篇，不过看这个就够了）。他们的代码用Torch7实现，我为了整合到我系统里面自己实现了一个，但是发现效果并不好。我觉的这个跟用于建树的先验信息有关，看是不是和你任务相关。还有就是感觉树状LSTM对比BLSTM是有信息损失的，因为只能使用到子节点信息。要是感兴趣的话，这有一篇树状和线性RNN对比&i&《(treeRNN vs seqRNN )When Are Tree Structures Necessary for Deep
Learning of Representations?》&/i&。当然，关键在于树状这个概念重要，感觉现在的研究还没完全利用上树状的潜力。&/p&&br&&p&今年ACL（2015）上有一篇层次的LSTM&i&《A
Hierarchical Neural Autoencoder for Paragraphs and Documents》&/i&。使用不同的LSTM分别处理词、句子和段落级别输入，并使用自动编码器（autoencoder）来检测LSTM的文档特征抽取和重建能力。&/p&&br&还有一篇文章&i&《Chung J, Gulcehre C, Cho K, et al. Gated feedback recurrent neural networks[J]. arXiv preprint arXiv:, 2015.&/i&&i&》&/i&，把gated的思想从记忆单元扩展到了网络架构上，提出多层RNN各个层的隐含层数据可以相互利用（之前的多层RNN多隐含层只是单向自底向上连接），不过需要设置门（gated）来调节。&br&&br&&p&记忆单元方面，Bahdanau
Dzmitry他们在构建RNN框架的机器翻译模型的时候使用了GRU单元（gated recurrent unit）替代LSTM，其实LSTM和GRU都可以说是gated hidden unit。两者效果相近，但是GRU相对LSTM来说参数更少，所以更加不容易过拟合。（大家堆模型堆到dropout也不管用的时候可以试试换上GRU这种参数少的模块）。这有篇比较的论文&i&《（GRU/LSTM对比）Empirical Evaluation of Gated Recurrent Neural Networks on Sequence
Modeling》&/i&&/p&&br&&p&应用嘛，宽泛点来说就是挖掘序列数据信息，大家可以对照自己的任务有没有这个点。比如（直接把毕设研究现状搬上来(????)??）：&/p&&br&&p&先看比较好玩的，&/p&&p&&b&图像处理（对，不用CNN用RNN）：&/b&&/p&&p&&i&《Visin F, Kastner K,
Cho K, et al. ReNet: A Recurrent Neural Network Based Alternative to
Convolutional Networks[J]. arXiv preprint arXiv:, 2015》&/i&&/p&&p&4向RNN（使用LSTM单元）替代CNN。&/p&&br&&p&&b&使用LSTM读懂python程序：&/b&&/p&&p&&i&《Zaremba W, Sutskever I.
Learning to execute[J]. arXiv preprint arXiv:, 2014.》&/i&&/p&&p&使用基于LSTM的深度模型用于读懂python程序并且给出正确的程序输出。文章的输入是短小简单python程序，这些程序的输出大都是简单的数字，例如0-9之内加减法程序。模型一个字符一个字符的输入python程序，经过多层LSTM后输出数字结果，准确率达到99%&/p&&br&&p&&b&手写识别：&/b&&/p&&p&&i&《Liwicki M, Graves A,
Bunke H, et al. A novel approach to on-line handwriting recognition based on
bidirectional long short-term memory》&/i&&/p&&br&&p&&b&机器翻译：&/b&&/p&&p&&i&《Sutskever I, Vinyals
O, Le Q V V. Sequence to sequence learning with neural networks[C]//Advances in
neural information processing systems. -3112.》&/i&&/p&&p&使用多层LSTM构建了一个seq2seq框架（输入一个序列根据任务不同产生另外一个序列），用于机器翻译。先用一个多层LSTM从不定长的源语言输入中学到特征v。然后使用特征v和语言模型（另一个多层LSTM）生成目标语言句子。&/p&&p&&i&《Cho K, Van Merri?nboer B, Gulcehre C, et al. Learning phrase representations using rnn encoder-decoder for statistical machine translation[J]. arXiv preprint arXiv:, 2014.》&/i&&/p&&p&这篇文章第一次提出GRU和RNN encoder-decoder框架。使用RNN构建编码器-解码器（encoder-decoder）框架用于机器翻译。文章先用encoder从不定长的源语言输入中学到固定长度的特征V，然后decoder使用特征V和语言模型解码出目标语言句子&/p&&p&&b&以上两篇文章提出的seq2seq和encoder-decoder这两个框架除了在机器翻译领域，在其他任务上也被广泛使用。&/b&&/p&&p&&i&《Bahdanau D, Cho K, Bengio Y. Neural machine translation by jointly learning to align and translate[J]. arXiv preprint arXiv:, 2014.》&/i&&/p&&p&在上一篇的基础上引入了BRNN用于抽取特征和注意力信号机制（attention signal）用于源语言和目标语言的对齐。&/p&&br&&p&&b&对话生成：&/b&&/p&&p&&i&《Shang L, Lu Z, Li H. Neural Responding Machine for Short-Text Conversation[J]. arXiv preprint arXiv:, 2015.》&/i&&br&&/p&&p&华为诺亚方舟实验室，李航老师他们的作品。基本思想是把对话看成是翻译过程。然后借鉴Bahdanau D他们的机器翻译方法（&b&encoder-decoder，GRU&/b&，attention signal）解决。训练使用微博评论数据。&/p&&p&&i&《VINYALS O, LE Q，.A Neural Conversational Model[J]. arXiv: [cs], 2015.》&/i&&/p&google前两天出的论文（）。看报道说结果让人觉得“creepy”：&a href=&///?target=http%3A///read/googles-new-chatbot-taught-itself-to-be-creepy& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Google's New Chatbot Taught Itself to Be Creepy&i class=&icon-external&&&/i&&/a& 。还以为有什么NB模型，结果看了论文发现就是一套用&b&seq2seq框架&/b&的实验报告。（对话可不是就是你一句我一句，一个序列对应产生另一序列么）。论文里倒是说的挺谨慎的，只是说纯数据驱动（没有任何规则）的模型能做到这样不错了，但还是有很多问题，需要大量修改（加规则呗？）。主要问题是缺乏上下文一致性。（模型只用对话的最后一句来产生下一句也挺奇怪的，为什么不用整个对话的历史信息？）&br&&br&&p&&b&句法分析：&/b&&/p&&p&&i&《Vinyals O, Kaiser L,
Koo T, et al. Grammar as a foreign language[J]. arXiv preprint arXiv:,
2014.》&/i&&/p&&p&把LSTM用于句法分析任务，文章把树状的句法结构进行了线性表示，从而把句法分析问题转成翻译问题，然后套用机器翻译的seq2seq框架使用LSTM解决。&/p&&br&&p&&b&信息检索：&/b&&/p&&p&&i&《Palangi H, Deng L,
Shen Y, et al. Deep Sentence Embedding Using the Long Short Term Memory Network:
Analysis and Application to Information Retrieval[J]. arXiv preprint
arXiv:, 2015.》&/i&&/p&&p&使用LSTM获得大段文本或者整个文章的特征向量，用点击反馈来进行弱监督，最大化query的特性向量与被点击文档的特性向量相似度的同时最小化与其他未被点击的文档特性相似度。&/p&&br&&p&&b&图文转换：&/b&&/p&&p&图文转换任务看做是特殊的图像到文本的翻译问题，还是使用encoder-decoder翻译框架。不同的是输入部分使用卷积神经网络（Convolutional Neural Networks，CNN）抽取图像的特征，输出部分使用LSTM生成文本。对应论文有：&/p&&p&&i&《Karpathy A, Fei-Fei L. Deep
visual-semantic alignments for generating image descriptions[J]. arXiv preprint
arXiv:, 2014.》&/i&&/p&&p&&i&《Mao J, Xu W, Yang Y, et al. Deep
captioning with multimodal recurrent neural networks (m-rnn)[J]. arXiv preprint
arXiv:, 2014.》&/i&&/p&&p&&i&《Vinyals O, Toshev A, Bengio S, et al. Show and
tell: A neural image caption generator[J]. arXiv preprint arXiv:,
2014.》&/i&&/p&&br&&br&&p&就粘这么多吧，呼呼~复制粘贴好爽\(^o^)/~&/p&&p&其实，相关工作还有很多，各大会议以及arxiv上不断有新文章冒出来，实在是读不过来了。。。&/p&&br&&p&然而我有种预感，说了这么多，工作之后很有可能发现：&/p&&p& 这些东西对我工作并没有什么卵用
(＞﹏＜＝&/p&
刚好毕设相关，论文写完顺手就答了先给出一个最快的了解+上手的教程： 直接看theano官网的LSTM教程+代码：但是，前提是你有RNN的基础，因为LSTM本身不是一个完整的模型，LSTM是对RNN隐含层的改进。一般所称的LSTM网络…
毕业后在一家国际投行的亚太区IT总部做了三年，以下是一点感想：&br&&br&１.　投行IT有哪些部门？&br&投行的IT部门其实很大，简单来说，投行的各个其他部门都需要用IT系统，都需要IT的支持，由此产生了对应各个其他投行部门的IT部，比如支持IBD的IT，支持trading的IT，支持middle office例如risk and finance的IT, 支持operations的IT。每一个这样的对应IT部门都又可以细分为软件开发(application development), 技术支持(IT support), 商业分析(business analyst) 等层面。另外，这些IT都需要有基础设施，所以又有相关部门负责基础设施(infrastructure)。&br&&br&２.　投行IT有哪些岗位？&br&从以上的部门分类衍生开来，IT岗位有如下几种：&br&&ul&&li&软件研发 (application development): 投行会有一些自己研发的软件，所以需要研发人员。即使是从各种供应商那里购买专业的软件，也需要有自己的程序员来根据公司具体的需要来加工处理这些软件(customization).&br&&/li&&li&技术支持 (IT support): 除了专门写代码的程序员以外，当然还有专门的技术支持人员负责这些软件的日常维护，给用户疑难解答之类。当然，发现重大问题的时候就得需要软件研发的人来进行调整，甚至找供应商解决。&br&&/li&&li&商业分析 (business analyst)：business analysts是其他部门和IT间的桥梁，比如说，risk IT的business analyst就负责和风险管理部接洽，把风险管理部门的用户需求翻译成具体的IT任务，甚至帮助测试。&/li&&li&质量测试 (quality assurance): 顾名思义，就是进行各种测试&/li&&li&基础设施构建与维护 (IT operations, system engineering)：构建和维护各种基础设施，比如服务器，网络，数据库，以及一些全银行的人都会用的系统，比如邮箱啦即时通讯工具啦之类。&/li&&li&项目管理 (project management)：可以是任何方面的IT项目，确保钱到位，人到位，项目进展顺利。&/li&&li&行政管理 (business management)：负责管理预算，经费，编制等等。&/li&&li&服务管理 (service management): 由于IT终极意义上讲是一种服务，而且现在很多银行会把一部分IT外包，就产生了服务管理岗。它可以是和外包商接洽，确保外包的质量，也可以是IT内部确保服务高效高质量的一种岗位。&/li&&li&IT风险管理：银行最重要就是安全，所以有专门的风险管理人员来评估和解决IT方面的风险问题。&/li&&/ul&&br&３.　投行IT一般有哪些职业发展前景？&br&&ul&&li&继续做投行IT，努力爬到管理层：你可以在同一种岗位上一直做，或者在各个IT岗位和各个IT部门跳来跳去，随着年资，能力，阅历的增长，你负责的东西会越来越多，与此对应的就是升职。但是比起负责给投行赚钱的front office，IT的升职会相对缓慢。而和所有的企业一样，投行IT也是金字塔层级，所以越往上越难升职，机遇人脉就越重要。&/li&&li&跳去对口的投行其他部门，比如finance IT的跳去做投行的财务：一直做finance IT的系统，能把系统玩得很熟不说，对finance部具体的业务也肯定是要了解，和finance部的用户也会有接触，所以有合适的机会就可以跳过去。但是即使你做的是front office的系统，跳去front office还是很难。&/li&&li&跳去供应商公司(vendor side)：比如你一直在做一个从vendor那里买来的财务系统，你对这个系统有了相当的了解，也经常和vendor打交道，那么，跳去vendor side不难。跳去以后很有可能继续被派去做金融机构财务系统的consultant或者support&/li&&li&跳去咨询公司：因为有了多年从事金融业IT的经验，可以去咨询公司做偏金融IT的咨询师&/li&&li&跳去纯科技企业，做和金融不相关的纯IT工作：金融IT以用户需求为主，以安全性为最高考量，所以比起谷歌之类纯IT公司，投行IT使用的科技必然相对陈旧。有一些技术很强的程序员之类可能做了一段时间觉得金融IT无法实现自己做尖端科技的愿望，或者太迁就用户，所以会选择跳去纯IT企业。&/li&&/ul&&br&４.　氛围强度，以及工作感受&br&　　投行IT是支持性部门，所以氛围相对轻松。工作强度取决于很多因素，比如你做什么岗位，支持的对口部门是否pushing，你组里人手够不够，今年上的项目多不多，等等。但是就国际投行而言，很多时候会需要和其他地区的同事开会讨论，或者有可能你支持的用户在其他地区，那就要求你很有可能晚上上线工作，开远程会议。另外，普通工作日很难进行系统维护和更新，所以经常会有周末做升级做维护之类。不过，现在大家都比较人性化，IT部门也因为要晚上开会或者周末工作之类可以有灵活的工作时间，比如昨晚开会了，今天就晚去上班，周末工作了，就能拿到半天一天的额外假期。很多时候也可以在家办公，尤其是晚上开会之类。&br&&br&　　总体而言，投行IT其实并不适合特别有野心的人。如果你立志在金融界有一番作为，那么front office更适合你；如果你想在IT领域大展宏图，去纯科技类企业当弄潮儿吧。但如果你想要的只是一份待遇不错的工作，不谋求火速升职，工作时间相对灵活，压力也不大的工作，那么可以来投行做IT。当然，在投行做IT不代表混吃等死毫无建树，毕竟，支持性部门cost很重要，如果你做的东西没有给企业带来价值，或者有办法找个比你薪水低很多的人做同样的东西，那么你的位子岌岌可危，这种现象在中低管理层里尤为明显。所以你得一直想办法让自己不可或缺，想办法让自己给企业带来价值，这也就意味着从长期来讲，你必须要保持思考，保持学习。其实做任何工作都是如此，当你觉得学不到东西得不到发展的时候，就是该改变的时候了。
毕业后在一家国际投行的亚太区IT总部做了三年，以下是一点感想：１. 投行IT有哪些部门？投行的IT部门其实很大，简单来说，投行的各个其他部门都需要用IT系统，都需要IT的支持，由此产生了对应各个其他投行部门的IT部，比如支持IBD的IT，支持trading的IT，支…
转自：&a href=&///?target=http%3A//jmozah.github.io/links/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Deep learning Reading List&i class=&icon-external&&&/i&&/a&&br&Free Online Books&ol&&li&&a href=&///?target=http%3A//www.iro.umontreal.ca/%7Ebengioy/dlbook/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Deep Learning&i class=&icon-external&&&/i&&/a& by Yoshua Bengio, Ian Goodfellow and Aaron Courville&/li&&li&&a href=&///?target=http%3A///& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Neural Networks and Deep Learning&i class=&icon-external&&&/i&&/a& by Michael Nielsen&/li&&li&&a href=&///?target=http%3A///pubs/209355/DeepLearning-NowPublishing-Vol7-SIG-039.pdf& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Deep Learning&i class=&icon-external&&&/i&&/a& by Microsoft Research&/li&&li&&a href=&///?target=http%3A//deeplearning.net/tutorial/deeplearning.pdf& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Deep Learning Tutorial&i class=&icon-external&&&/i&&/a& by LISA lab, University of Montreal&/li&&/ol&Courses&ol&&li&&a href=&///?target=https%3A//class.coursera.org/ml-005& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Machine Learning&i class=&icon-external&&&/i&&/a& by Andrew Ng in Coursera&/li&&li&&a href=&///?target=https%3A//class.coursera.org/neuralnets-& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Neural Networks for Machine Learning&i class=&icon-external&&&/i&&/a& by Geoffrey Hinton in Coursera&/li&&li&&a href=&///?target=https%3A///playlist%3Flist%3DPL6Xpj9I5qXYEcOhn7TqghAJ6NAPrNmUBH& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Neural networks class&i class=&icon-external&&&/i&&/a& by Hugo Larochelle from Université de Sherbrooke&/li&&li&&a href=&///?target=http%3A//cilvr.cs.nyu.edu/doku.php%3Fid%3Ddeeplearning%3Aslides%3Astart& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Deep Learning Course&i class=&icon-external&&&/i&&/a& by CILVR lab @ NYU&/li&&li&&a href=&///?target=http%3A//vision.stanford.edu/teaching/cs231n/syllabus.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&CS231n: Convolutional Neural Networks for Visual Recognition&i class=&icon-external&&&/i&&/a& On-Going&/li&&li&&a href=&///?target=http%3A//cs224d.stanford.edu/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&CS224d: Deep Learning for Natural Language Processing&i class=&icon-external&&&/i&&/a& Going to start&/li&&/ol&Video and Lectures&ol&&li&&a href=&///?target=https%3A///watch%3Fv%3DRIkxVci-R4k& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&How To Create A Mind&i class=&icon-external&&&/i&&/a& By Ray Kurzweil - Is a inspiring talk&/li&&li&&a href=&///?target=https%3A///watch%3Fv%3Dn1ViNeWhC24& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Deep Learning, Self-Taught Learning and Unsupervised Feature Learning&i class=&icon-external&&&/i&&/a& By Andrew Ng&/li&&li&&a href=&///?target=https%3A///watch%3Fv%3DvShMxxqtDDs%26index%3D3%26list%3DPL78U8qQHXgrhP9aZraxTT5-X1RccTcUYT& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Recent Developments in Deep Learning&i class=&icon-external&&&/i&&/a& By Geoff Hinton&/li&&li&&a href=&///?target=https%3A///watch%3Fv%3Dsc-KbuZqGkI& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&The Unreasonable Effectiveness of Deep Learning&i class=&icon-external&&&/i&&/a& by Yann LeCun&/li&&li&&a href=&///?target=https%3A///watch%3Fv%3D4xsVFLnHC_0& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Deep Learning of Representations&i class=&icon-external&&&/i&&/a& by Yoshua bengio&/li&&li&&a href=&///?target=https%3A///watch%3Fv%3D6ufPpZDmPKA& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Principles of Hierarchical Temporal Memory&i class=&icon-external&&&/i&&/a& by Jeff Hawkins&/li&&li&&a href=&///?target=https%3A///watch%3Fv%3D2QJi0ArLq7s%26list%3DPL78U8qQHXgrhP9aZraxTT5-X1RccTcUYT& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Machine Learning Discussion Group - Deep Learning w/ Stanford AI Lab&i class=&icon-external&&&/i&&/a& by Adam Coates&/li&&li&&a href=&///?target=http%3A///& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Making Sense of the World with Deep Learning&i class=&icon-external&&&/i&&/a& By Adam Coates&/li&&li&&a href=&///?target=https%3A///watch%3Fv%3DwZfVBwOO0-k& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Demystifying Unsupervised Feature Learning &i class=&icon-external&&&/i&&/a& By Adam Coates&/li&&li&&a href=&///?target=https%3A///watch%3Fv%3D3boKlkPBckA& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Visual Perception with Deep Learning&i class=&icon-external&&&/i&&/a& By Yann LeCun&/li&&/ol&Papers&ol&&li&&a href=&///?target=http%3A//papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&ImageNet Classification with Deep Convolutional Neural Networks&i class=&icon-external&&&/i&&/a&&/li&&li&&a href=&///?target=http%3A//www.cs.toronto.edu/%7Ehinton/absps/esann-deep-final.pdf& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Using Very Deep Autoencoders for Content Based Image Retrieval&i class=&icon-external&&&/i&&/a&&/li&&li&&a href=&///?target=http%3A//www.iro.umontreal.ca/%7Elisa/pointeurs/TR1312.pdf& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Learning Deep Architectures for AI&i class=&icon-external&&&/i&&/a&&/li&&li&&a href=&///?target=http%3A//deeplearning.cs.cmu.edu/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&CMU’s list of papers&i class=&icon-external&&&/i&&/a&&/li&&/ol&Tutorials&ol&&li&&a href=&///?target=http%3A//deeplearning.stanford.edu/wiki/index.php/UFLDL_Tutorial& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&UFLDL Tutorial 1&i class=&icon-external&&&/i&&/a&&/li&&li&&a href=&///?target=http%3A//ufldl.stanford.edu/tutorial/supervised/LinearRegression/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&UFLDL Tutorial 2&i class=&icon-external&&&/i&&/a&&/li&&li&&a href=&///?target=http%3A//www.socher.org/index.php/DeepLearningTutorial/DeepLearningTutorial& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Deep Learning for NLP (without Magic)&i class=&icon-external&&&/i&&/a&&/li&&li&&a href=&///?target=http%3A///machine-learning/an-introduction-to-deep-learning-from-perceptrons-to-deep-networks& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&A Deep Learning Tutorial: From Perceptrons to Deep Networks&i class=&icon-external&&&/i&&/a&&/li&&/ol&WebSites&ol&&li&&a href=&///?target=http%3A//deeplearning.net/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&deeplearning.net&i class=&icon-external&&&/i&&/a&&/li&&li&&a href=&///?target=http%3A//deeplearning.stanford.edu/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&deeplearning.stanford.edu&i class=&icon-external&&&/i&&/a&&/li&&/ol&Datasets&ol&&li&&a href=&///?target=http%3A///exdb/mnist/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&MNIST&i class=&icon-external&&&/i&&/a& Handwritten digits&/li&&li&&a href=&///?target=http%3A//ufldl.stanford.edu/housenumbers/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Google House Numbers&i class=&icon-external&&&/i&&/a& from street view&/li&&li&&a href=&///?target=http%3A//www.cs.toronto.edu/%7Ekriz/cifar.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&CIFAR-10 and CIFAR-100&i class=&icon-external&&&/i&&/a&&/li&&li&&a href=&///?target=http%3A//www.image-net.org/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&IMAGENET&i class=&icon-external&&&/i&&/a&&/li&&li&&a href=&///?target=http%3A//groups.csail.mit.edu/vision/TinyImages/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Tiny Images&i class=&icon-external&&&/i&&/a& 80 Million tiny images&/li&&li&&a href=&///?target=http%3A///post//one-hundred-million-creative-commons-flickr-images& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Flickr Data&i class=&icon-external&&&/i&&/a& 100 Million Yahoo dataset&/li&&li&&a href=&///?target=http%3A//www.eecs.berkeley.edu/Research/Projects/CS/vision/bsds/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Berkeley Segmentation Dataset 500&i class=&icon-external&&&/i&&/a&&/li&&/ol&Frameworks&ol&&li&&a href=&///?target=http%3A//caffe.berkeleyvision.org/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Caffe&i class=&icon-external&&&/i&&/a&&/li&&li&&a href=&///?target=http%3A//torch.ch/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Torch7&i class=&icon-external&&&/i&&/a&&/li&&li&&a href=&///?target=http%3A//deeplearning.net/software/theano/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Theano&i class=&icon-external&&&/i&&/a&&/li&&li&&a href=&///?target=https%3A///p/cuda-convnet2/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&cuda-convnet&i class=&icon-external&&&/i&&/a&&/li&&li&&a href=&///?target=http%3A//libccv.org/doc/doc-convnet/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Ccv&i class=&icon-external&&&/i&&/a&&/li&&li&&a href=&///?target=http%3A//numenta.org/nupic.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&NuPIC&i class=&icon-external&&&/i&&/a&&/li&&li&&a href=&///?target=http%3A//deeplearning4j.org/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&DeepLearning4J&i class=&icon-external&&&/i&&/a&&/li&&/ol&Miscellaneous&ol&&li&&a href=&///?target=https%3A///communities/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Google Plus - Deep Learning Community&i class=&icon-external&&&/i&&/a&&/li&&li&&a href=&///?target=http%3A//on-demand-/gtcnew/on-demand-gtc.php%3FsearchByKeyword%3Dshelhamer%26searchItems%3D%26sessionTopic%3D%26sessionEvent%3D4%26sessionYear%3D2014%26sessionFormat%3D%26submit%3D%26select%3D%2B& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Caffe Webinar&i class=&icon-external&&&/i&&/a&&/li&&li&&a href=&///?target=http%3A///software-meta-guide/100-best-github-deep-learning/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&100 Best Github Resources in Github for DL&i class=&icon-external&&&/i&&/a&&/li&&li&&a href=&///?target=https%3A///p/word2vec/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Word2Vec&i class=&icon-external&&&/i&&/a&&/li&&li&&a href=&///?target=https%3A//registry./u/tleyden5iwx/caffe/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Caffe DockerFile&i class=&icon-external&&&/i&&/a&&/li&&li&&a href=&///?target=https%3A///TorontoDeepLearning/convnet& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&TorontoDeepLEarning convnet&i class=&icon-external&&&/i&&/a&&/li&&li&&a href=&///?target=http%3A//www.cs.cmu.edu/%7Ecil/v-images.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Vision data sets&i class=&icon-external&&&/i&&/a&&/li&&li&&a href=&///?target=http%3A///wiki/doku.php& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Fantastic Torch Tutorial&i class=&icon-external&&&/i&&/a& My personal favourite. Also check out &a href=&///?target=https%3A///clementfarabet/gfx.js& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&gfx.js&i class=&icon-external&&&/i&&/a&&/li&&li&&a href=&///?target=https%3A///torch/torch7/wiki/Cheatsheet& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Torch7 Cheat sheet&i class=&icon-external&&&/i&&/a&&/li&&/ol&
转自：Free Online Books by Yoshua Bengio, Ian Goodfellow and Aaron Courville by Michael Nielsen by Microsoft Research by LISA lab, …
先看你有没有相关的应用需求，如果有的话就太好了。借助情景学习起来非常快。&br&&br&Tutorial&br&&ul&&li&&a href=&///?target=http%3A//ufldl.stanford.edu/tutorial/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Deep Learning Tutorial from Stanford&i class=&icon-external&&&/i&&/a& - Stanford计算机系的官方tutorial，Andrew Ng执笔。要想了解DL的原理，这个最好用了。&br&&/li&&/ul&&br&论文&br&&ul&&li&&p&&a href=&///?target=http%3A///news/computer-science-the-learning-machines-1.14481& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&The Learning Machines&i class=&icon-external&&&/i&&/a& -
一个导论性质的文章，让你大致了解深度学习是什么，用来干什么的。&/p&&/li&&li&&p&&a href=&///?target=http%3A///articles/nature14539.epdf%3Freferrer_access_token%3DK4awZz78b5Yn2_AoPV_4Y9RgN0jAjWel9jnR3ZoTv0PU8PImtLRceRBJ32CtadUBVOwHuxbf2QgphMCsA6eTOw64kccq9ihWSKdxZpGPn2fn3B_8bxaYh0svGFqgRLgaiyW6CBFAb3Fpm6GbL8a_TtQQDWKuhD1XKh_wxLReRpGbR_NdccoaiKP5xvzbV-x7b_7Y64ZSpqG6kmfwS6Q1rw%253D%253D%26tracking_referrer%& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Deep Learning&i class=&icon-external&&&/i&&/a& - (Review Article in Nature, May 2015) 三大神 Yann LeCun, Yoshua Bengio, and Geoffrey Hinton的文章，不解释。&/p&&/li&&li&&p&&a href=&///?target=http%3A//cacm.acm.org/news/188737-growing-pains-for-deep-learning/fulltext& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Growing Pains in Deep Learning&i class=&icon-external&&&/i&&/a&&/p&&/li&&li&&p&&a href=&///?target=http%3A//arxiv.org/pdf/.pdf& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Deep Learning in Neural Networks&i class=&icon-external&&&/i&&/a&
- This technical report provides an overview of deep learning and related techniques with a special focus on developments in recent years. 主要看点是深度学习近两年（）的进展情况。&/p&&/li&&/ul&&br&课程&br&&ul&&li&&p&&a href=&///?target=https%3A//class.coursera.org/neuralnets-/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Neural Networks for Machine Learning&i class=&icon-external&&&/i&&/a& - Geoffrey Hinton在Coursera开设的MOOC。现在没有重新开课，但里面的资料都有，论坛也开放。 &/p&&/li&&li&&p&&a href=&///?target=http%3A///tag/deep-learning-course/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Oxford Deep Learning&i class=&icon-external&&&/i&&/a& -
Nando de Freitas 在 Oxford 开设的深度学习课程，有全套视频。&/p&&/li&&/ul&&br&教材&br&&ul&&li&&a href=&///?target=http%3A//www-labs.iro.umontreal.ca/%7Ebengioy/dlbook/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Deep Learning&i class=&icon-external&&&/i&&/a& -
Yoshua Bengio, Ian Goodfellow and Aaron Courville，目前最权威的DL教材了&/li&&/ul&&br&&p&几个常用的深度学习代码库：&/p&&ul&&li&&p&&a href=&///?target=http%3A///product/deep-learning/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&H2O&i class=&icon-external&&&/i&&/a& - 一个开源的可扩展的库，支持Java, Python, Scala, and R&/p&&/li&&li&&p&&a href=&///?target=http%3A//deeplearning4j.org/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Deeplearning4j&i class=&icon-external&&&/i&&/a& - Java库，整合了Hadoop和Spark&/p&&/li&&li&&p&&a href=&///?target=http%3A//caffe.berkeleyvision.org/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Caffe&i class=&icon-external&&&/i&&/a& - Yangqing Jia读研究生的时候开发的，现在还是由Berkeley维护。&/p&&/li&&li&&p&&a href=&///?target=http%3A//deeplearning.net/software/theano/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Theano&i class=&icon-external&&&/i&&/a& - 最流行的Python库&/p&&/li&&/ul&&br&News&br&&ul&&li&&a href=&///?target=http%3A//news.startup.ml/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Deep Learning News&i class=&icon-external&&&/i&&/a& - 紧跟深度学习的新闻、研究进展和相关的创业项目。&br&&/li&&/ul&&br&So，各位加油咯！！！&br&&br&&br&&br&&p&--------------------------------------------------------补
充--------------------------------------------------------------------------&/p&&p&另外建议看看大神Yoshua Bengio的推荐（左边的链接是论文，右边的是代码），有理论有应用（主要应用于CV和NLP）&br&&/p&&ul&&li&&a href=&///?target=http%3A//www.cs.toronto.edu/%7Ehinton/absps/fastnc.pdf& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Page on Toronto&i class=&icon-external&&&/i&&/a&, &a href=&///?target=http%3A//www.cs.toronto.edu/%7Ehinton/MatlabForSciencePaper.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Home Page of Geoffrey Hinton&i class=&icon-external&&&/i&&/a&&br&&/li&&li&&a href=&///?target=http%3A//www.cs.toronto.edu/%7Ehinton/absps/dbm.pdf& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Page on Toronto&i class=&icon-external&&&/i&&/a&, &a href=&///?target=http%3A//www.utstat.toronto.edu/%7Ersalakhu/DBM.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Home Page of Ruslan R Salakhutdinov&i class=&icon-external&&&/i&&/a&&br&&/li&&li&&a href=&///?target=http%3A//machinelearning.wustl.edu/mlpapers/paper_files/ICML2011Rifai_455.pdf& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Page on Wustl&i class=&icon-external&&&/i&&/a&, &a href=&///?target=https%3A///ynd/cae.py& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&ynd/cae.py · GitHub&i class=&icon-external&&&/i&&/a&&br&&/li&&li&&a href=&///?target=http%3A//icml.cc/2012/papers/718.pdf& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Page on Icml&i class=&icon-external&&&/i&&/a&, &a href=&///?target=https%3A///lisa-lab/pylearn2/blob/master/pylearn2/models/s3c.py& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&/lisa-lab/pyle...&i class=&icon-external&&&/i&&/a&&br&&/li&&li&&a href=&///?target=http%3A//jmlr.org/proceedings/papers/v28/goodfellow13.pdf& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Page on Jmlr&i class=&icon-external&&&/i&&/a&, &a href=&///?target=https%3A///lisa-lab/pylearn2/tree/master/pylearn2/scripts/papers/maxout& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&pylearn2&i class=&icon-external&&&/i&&/a&)&br&&/li&&li&&a href=&///?target=http%3A//jmlr.org/proceedings/papers/v28/pascanu13.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&On the difficulty of training recurrent neural networks&i class=&icon-external&&&/i&&/a&, &a href=&///?target=https%3A///pascanur/trainingRNNs& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&trainingRNNs&i class=&icon-external&&&/i&&/a&&br&&/li&&li&&a href=&///?target=http%3A//books.nips.cc/papers/files/nips25/NIPS.pdf& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&ImageNet Classification with Deep Convolutional Neural Networks&i class=&icon-external&&&/i&&/a&, &a href=&///?target=http%3A///p/cuda-convnet/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&cuda-convnet - High-performance C++/CUDA implementation of convolutional neural networks - Google Project Hosting&i class=&icon-external&&&/i&&/a&&br&&/li&&li&&a href=&///?target=http%3A///pubs/189726/rvecs.pdf& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Linguistic Regularities in Continuous Space Word Representations&i class=&icon-external&&&/i&&/a&, &a href=&///?target=https%3A///p/word2vec/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&word2vec - Tool for computing continuous distributed representations of words. - Google Project Hosting&i class=&icon-external&&&/i&&/a&&/li&&/ul&
先看你有没有相关的应用需求，如果有的话就太好了。借助情景学习起来非常快。Tutorial - Stanford计算机系的官方tutorial，Andrew Ng执笔。要想了解DL的原理，这个最好用了。论文 - 一个导论性质…
先了解个大概&a class=& wrap external& href=&///?target=http%3A///machine-learning/an-introduction-to-deep-learning-from-perceptrons-to-deep-networks& target=&_blank& rel=&nofollow noreferrer&& A Deep Learning Tutorial: From Perceptrons to Algorithms&i class=&icon-external&&&/i&&/a&&br&神经网络肯定是要学习的，主要是BP算法，可以看看PRML3、4、5三章，可先忽略其中的贝叶斯视角的解释。一些主要的算法理解要看具体的论文了，有个Matlab的程序不错，有基本算法的实现，见&a class=& wrap external& href=&///?target=https%3A///rasmusbergpalm/DeepLearnToolbox& target=&_blank& rel=&nofollow noreferrer&&rasmusbergpalm/DeepLearnToolbox · GitHub&i class=&icon-external&&&/i&&/a&。有一本系统的介绍深度学习的书，不过还没写完，样稿见&a class=& wrap external& href=&///?target=http%3A//www.iro.umontreal.ca/%7Ebengioy/dlbook/& target=&_blank& rel=&nofollow noreferrer&&DEEP LEARNING&i class=&icon-external&&&/i&&/a&。还有评论中提到的UFLDL教程：&a href=&///?target=http%3A//ufldl.stanford.edu/tutorial/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Unsupervised Feature Learning and Deep Learning Tutorial&i class=&icon-external&&&/i&&/a&
先了解个大概神经网络肯定是要学习的，主要是BP算法，可以看看PRML3、4、5三章，可先忽略其中的贝叶斯视角的解释。一些主要的算法理解要看具体的论文了，有个Matlab的程序不错，有基本算法的实现…
已有帐号？
无法登录？
社交帐号登录