\

简介

本教程旨在介绍如何使用TensorFlow以及LSTM神经网络进行深度学习（了解更多机器学习请参见教程

@ML@ML

）。本教程的演示方法为：以实数序列的预测模型为例进行论述，并对股票价格或股指指数进行实测。

序列数据

本教程将使用神经网络作为序列数据的预测模型。接下来我们介绍什么是序列数据。

数学上的实数序列

vv为一有限实数序列，即v=(v1,...,vM)v=(v1,...,vM)，其中∀i=1,...,M∀i=1,...,M，vi∈Rvi∈R为实数，MM为一非负整数，亦即vv是一包含MM个元素的实向量（若M=0M=0

导语

本文将介绍LSTM模型的原理与构建其选股模型的流程

LSTM简介

循环神经网络（RNN）

传统的神经网络是基于所有时刻的输入和输出间相互独立的假设来生成已学习数据的静态模型，并根据新接受的数据进行运算。但在很多情景中，如语音识别中预测当前的单词的含义，需要知道之前的输出结合上文语境做出判断，循环神经网络（Recurrent Neural Networks，简称 RNN）可以用于解决这类问题。 循环神经网络也被称为递归神经网络是受到人类对于近期事件会有所保留的背景而启发，循环神经网络会随着数据的输入生成动态模型。 理论上，RNN可以支持无限长的时间序列，然

策略案例

https://bigquant.com/experimentshare/8594992a1d9345d98cbe949eb6297067

\

LSTM Networks应用于股票市场之Functional Model。本文是已初步探索，如下示例中 使用 LSTM 预测沪深300 涨跌。

用一个input（6 features * 30 time series）训练LSTM，将训练结果与另一个辅助性输入label(np.round(close/500))一起作为input输入至Dense层 LSTM future_return_5作为output（time series=30,features=[‘close’,‘open’,‘high’,‘low’,‘amount’,‘volume’]）

\

https://bigquant.com/experimentshare/d50ee96c36f84af6ad990409294db4cb

\

更新

本文内容对应旧版平台与旧版资源，其内容不再适合最新版平台，请查看新版平台的使用说明

新版量化开发IDE（AIStudio）：

https://bigquant.com/wiki/doc/aistudio-aiide-NzAjgKapzW

新版模版策略：

https://bigquant.com/wiki/doc/demos-ecdRvuM1TU

新版数据平

今天小编为大家带来近期出版的一些关于机器学习、深度学习、数据科学方面的书籍。希望大家有所收获！

我们已经打包好了！

可在文末下载

![](/community/uploads/default/origin

物体检测，是计算机视觉任务的基础，其精度将直接影响相关视觉任务的效果，在深度学习方法兴起之前，开展了很多利用场景上下文来提高检测精度的研究。近年来，随着Faster RCNN等深度学习方法的兴起，在日益强调数据和性能的背景下，对上下文关联信息的利用却鲜有尝试。本文将介绍一种结构推理网络(Structure Inference Net，简称SIN)，将物体检测问题形式化为图结构推理，采用图结构同时建模物体细节特征、场景上下文、以及物体之间关系，采用门控循环单元(GRU)的消息传递机制对图像中物体的类别和位置进行联合推理。在基准数据集PASCAL VOC和MS COCO上的实验，验证了方法在精度提

推荐一本2018年初发布的，由佐治亚理工学院交互计算学院副教授Jacob Eisenstein编写的深度学习与自然语言处理的教材。这本书由浅入深，在详细、全面介绍了自然语言处理相关的基础知识之上，结合了最新的深度学习技术，详细介绍了深度学习技术在自然语言处理很多方面的应用。文末附本书pdf下载地址。

主要内容

LEARNING

Linear text classification

Nonlinear Classification

Linguistic Application of Classification

Learning without Supervi

年初就一直在等啦

终于等到这本书

分享一下

此书的代码下载地址：https://github.com/fchollet/deep-learning-with-python-notebooks

![](/community/uploads/default/original/3X/c/c/cc94b84a373c66d820177c480765c8ec2467c73d

回顾去年的DCNN成果和深度学习发展，就必然会提及到到Kaiming He的深度残差网络 (https://arxiv.org/abs/1512.03385)。这不仅是因为ResNet一举拿到了CV下多个比赛项目的冠军，更重要的是这一结构解决了训练极深网络时的degradation问题。作为我来到MSRA第一个月重点学习的论文，现在在这里分享一下我这大半个月以来的学习成果。

论文解读

He首先提出一个问题:*Is learning bett

通过上次在Cifar10上复现ResNet的结果，我们得到了上表，最后一栏是论文中的结果，可以看到已经最好的初始化方法(MSRA)已经和论文中的结果非常接近了！今天我们完全按照论文中的实验环境，复现一下ResNet论文中的结果。

上次的论文复现主要和原文中有两点不同：

Data Augmentation

Cifar10中的图像都是32X32的，论文中对测试集中的每张图

最近处于读论文的状态，给大家分享一些导读（一段话的论文总结），持续更新。

论文地址我就不贴了，Google一下就find得到。

主要论文涉及深度学习、计算机视觉(包括但不限于物体检测、图像分割)、模型设计及优化方面。欢迎评论区随时讨论papers，共同进步。

SENET : Squeeze-and-Excitation Networks

这篇文章考虑特征通道之间的关系，显著地建模特征通道之间的相互依赖关系，但又不引入新的空间维度来

好嘛博主食言了。不过本文没什么干货，主要是前后看了大概一个星期，反复去读源码和解读文章，终于感觉这东西不那么云山雾罩了。同时也发现网上很多材料有点扯淡，99% 的博文不过是把别人的东西用自己的话说一下，人云亦云。好多人自己理解错了而不自知，实在是误人误己。

我也不敢说理解得有多深，下面的内容甚至可能有自相矛盾的地方，所以阅读本文时请一定擦亮眼睛，认真思考。

源码才是根本，作者那两篇论文感觉参考价值也不高。说到底，Machine Learning/Deep Learning 的价值在于实践，而实际开发的应用中经过大量的 tricks 之后，代码跟论文推导、实验可能相去甚远。

Data Mi

目录

1. 随机梯度下降法有什么问题？
2. 负采样
3. 计算梯度

1. 随机梯度下降法有什么问题？

通过对代价函数求权重的梯度，我们可以一次性对所有的参数 进行优化，但是如果每次等全部计算完成再优化升级，我们将等待很长时间（对于很大的语料库来说）。

所以我们采用随机梯度下降（ Stochastic Gradient Descent），也就是说每次完成一次计算就进行升级。

但是，还有两个问题导致目前的模型效率低下！

第一个问题，我们每次只对窗口

由于深度学习中牵扯到Dropout和随机种子等多处随机项，因此如果无法固化模型，当缓存丢失后会模拟交易/回测会触发重新训练，导致模型变化，本帖介绍固化已有的模型的步骤。

第一步，调试策略

好的策略应该经过多次训练查看模型的回测效果稳定性，如果发现同样参数下多次训练模型得到的回测结果变动范围较大，多半是模型不稳定。模型稳定后可以考虑固化模型并开启模拟交易。

第二步，记录模型文件到userlib文件夹

以上图DNN模型为例，

https://bigquant.com/experimentshare/b6bb3c84df0c4da5bb0b495bc52feb06

\

导语

由于深度学习中牵扯到Dropout和随机种子等多处随机项，因此如果无法固化模型，当缓存丢失后会模拟交易/回测会触发重新训练，导致模型变化，本帖介绍固化已有的模型的步骤。

如何固化模型

调试策略

第一步，调试策略

好的策略应该经过多次训练查看模型的回测效果稳定性，如果发现同样参数下多次训练模型得到的回测结果变动范围较大，多半是模型不稳定。模型稳定后可以考虑固化模型并开启模拟交易。

记录模型文件

第二步，记录模型文件到userlib文件夹

![](/wiki/api/attachments.redirect?id=43e5c6bc-0a87-48

\

• %%BigQuant_ChatGPT 你好

\

\

新版本暂无深度学习可视化模块

导语

在阅读了 深度学习的简要介绍后，本文将介绍深度学习DNN模型及其在量化投资领域中的应用。

深度学习在量化领域的应用

机器学习作为人工智能的核心，其传统算法在解决很多问题上都表现出了高效性。随着近些年数据处理技术上的进步和计算能力的提升，深度学习得以在很多问题上也大放光彩，成为近一段时间互联网、金融等领域的大热门。

在量化投资领域，机器学习尤其是由统计学延伸的各种算法一直以来都被尝试应用在选股、择时等策略的开发上，随着深度学习在其他领域上的突破，其在自动化交易甚至投资策略的自开发自

更新

本文内容已经过期，不再适合平台最新版本，请查看如下最新内容：

https://bigquant.com/wiki/doc/5z65lqo5y2356ev56we57up572r57uc55qe5asa5zug5a2q6ycj6ikh-3hXXZIwYtI

策略案例

[https://bigquant.com/experimentshare/86296263b27

更新

本文内容对应旧版平台与旧版资源，其内容不再适合最新版平台，请查看新版平台的使用说明

新版量化开发IDE（AIStudio）：

https://bigquant.com/wiki/doc/aistudio-aiide-NzAjgKapzW

新版模版策略：

https://bigquant.com/wiki/doc/demos-ecdRvuM1TU

新版数据平

更新

本文内容对应旧版平台与旧版资源，其内容不再适合最新版平台，请查看新版平台的使用说明

新版量化开发IDE（AIStudio）：

https://bigquant.com/wiki/doc/aistudio-aiide-NzAjgKapzW

新版模版策略：

https://bigquant.com/wiki/doc/demos-ecdRvuM1TU

新版数据平

更新

本文内容对应旧版平台与旧版资源，其内容不再适合最新版平台，请查看新版平台的使用说明

新版量化开发IDE（AIStudio）：

https://bigquant.com/wiki/doc/aistudio-aiide-NzAjgKapzW

新版模版策略：

https://bigquant.com/wiki/doc/demos-ecdRvuM1TU

新版数据平