深度学习

{{use_style}}

一.导语

欢迎您来到BigQuant！

BigQuant是一个人工智能量化投资平台，平台内聚集了各类人工智能量化开发者、订阅者和学习者。

二.开发者

如果您是一位充满好奇心的学习者，在BigQuant您可以前往：

1.培训报名

与知识经验丰富的讲师团队，通过线上+线下的方式，学习AI量化入门、因子构建分析、AI量化实践、实战等，纵观全局获得AI量化全貌，由浅入深进阶成为量化大神。

![{w:100}{w:100}{w:100}{w:100}{w:10

推荐一本2018年初发布的，由佐治亚理工学院交互计算学院副教授Jacob Eisenstein编写的深度学习与自然语言处理的教材。这本书由浅入深，在详细、全面介绍了自然语言处理相关的基础知识之上，结合了最新的深度学习技术，详细介绍了深度学习技术在自然语言处理很多方面的应用。文末附本书pdf下载地址。

主要内容

LEARNING

Linear text classification

Nonlinear Classification

Linguistic Application of Classification

Learning without Supervi

通过上次在Cifar10上复现ResNet的结果，我们得到了上表，最后一栏是论文中的结果，可以看到已经最好的初始化方法(MSRA)已经和论文中的结果非常接近了！今天我们完全按照论文中的实验环境，复现一下ResNet论文中的结果。

上次的论文复现主要和原文中有两点不同：

Data Augmentation

Cifar10中的图像都是32X32的，论文中对测试集中的每张图

今天小编为大家带来近期出版的一些关于机器学习、深度学习、数据科学方面的书籍。希望大家有所收获！

我们已经打包好了！

可在文末下载

![](/community/uploads/default/origin

最近处于读论文的状态，给大家分享一些导读（一段话的论文总结），持续更新。

论文地址我就不贴了，Google一下就find得到。

主要论文涉及深度学习、计算机视觉(包括但不限于物体检测、图像分割)、模型设计及优化方面。欢迎评论区随时讨论papers，共同进步。

SENET : Squeeze-and-Excitation Networks

这篇文章考虑特征通道之间的关系，显著地建模特征通道之间的相互依赖关系，但又不引入新的空间维度来

物体检测，是计算机视觉任务的基础，其精度将直接影响相关视觉任务的效果，在深度学习方法兴起之前，开展了很多利用场景上下文来提高检测精度的研究。近年来，随着Faster RCNN等深度学习方法的兴起，在日益强调数据和性能的背景下，对上下文关联信息的利用却鲜有尝试。本文将介绍一种结构推理网络(Structure Inference Net，简称SIN)，将物体检测问题形式化为图结构推理，采用图结构同时建模物体细节特征、场景上下文、以及物体之间关系，采用门控循环单元(GRU)的消息传递机制对图像中物体的类别和位置进行联合推理。在基准数据集PASCAL VOC和MS COCO上的实验，验证了方法在精度提

回顾去年的DCNN成果和深度学习发展，就必然会提及到到Kaiming He的深度残差网络 (https://arxiv.org/abs/1512.03385)。这不仅是因为ResNet一举拿到了CV下多个比赛项目的冠军，更重要的是这一结构解决了训练极深网络时的degradation问题。作为我来到MSRA第一个月重点学习的论文，现在在这里分享一下我这大半个月以来的学习成果。

论文解读

He首先提出一个问题:*Is learning bett

年初就一直在等啦

终于等到这本书

分享一下

此书的代码下载地址：https://github.com/fchollet/deep-learning-with-python-notebooks

![](/community/uploads/default/original/3X/c/c/cc94b84a373c66d820177c480765c8ec2467c73d

好嘛博主食言了。不过本文没什么干货，主要是前后看了大概一个星期，反复去读源码和解读文章，终于感觉这东西不那么云山雾罩了。同时也发现网上很多材料有点扯淡，99% 的博文不过是把别人的东西用自己的话说一下，人云亦云。好多人自己理解错了而不自知，实在是误人误己。

我也不敢说理解得有多深，下面的内容甚至可能有自相矛盾的地方，所以阅读本文时请一定擦亮眼睛，认真思考。

源码才是根本，作者那两篇论文感觉参考价值也不高。说到底，Machine Learning/Deep Learning 的价值在于实践，而实际开发的应用中经过大量的 tricks 之后，代码跟论文推导、实验可能相去甚远。

Data Mi

目录

1. 随机梯度下降法有什么问题？
2. 负采样
3. 计算梯度

1. 随机梯度下降法有什么问题？

通过对代价函数求权重的梯度，我们可以一次性对所有的参数 进行优化，但是如果每次等全部计算完成再优化升级，我们将等待很长时间（对于很大的语料库来说）。

所以我们采用随机梯度下降（ Stochastic Gradient Descent），也就是说每次完成一次计算就进行升级。

但是，还有两个问题导致目前的模型效率低下！

第一个问题，我们每次只对窗口

导语

通过文章《什么是机器学习》我们大概知晓了机器学习，那么机器学习里面究竟有多少经典的算法呢？本文简要介绍一下机器学习中的常用算法。这部分介绍的重点是这些方法内涵的思想，数学与实践细节不会在这讨论。

回归算法

在大部分机器学习课程中，回归算法都是介绍的第一个算法。原因有两个：一.回归算法比较简单，介绍它可以让人平滑地从统计学迁移到机器学习中。二.回归算法是后面若干强大算法的基石，如果不理解回归算法，无法学习那些强大的算法。回归算法有两个重要的子类：即 线性回归 和 逻辑回归 。

线性回归就是我们前面说过的房价求解问题

AIStudio 使用常见问题

由于深度学习中牵扯到Dropout和随机种子等多处随机项，因此如果无法固化模型，当缓存丢失后会模拟交易/回测会触发重新训练，导致模型变化，本帖介绍固化已有的模型的步骤。

第一步，调试策略

好的策略应该经过多次训练查看模型的回测效果稳定性，如果发现同样参数下多次训练模型得到的回测结果变动范围较大，多半是模型不稳定。模型稳定后可以考虑固化模型并开启模拟交易。

第二步，记录模型文件到userlib文件夹

以上图DNN模型为例，

https://bigquant.com/experimentshare/b6bb3c84df0c4da5bb0b495bc52feb06

\

导语

由于深度学习中牵扯到Dropout和随机种子等多处随机项，因此如果无法固化模型，当缓存丢失后会模拟交易/回测会触发重新训练，导致模型变化，本帖介绍固化已有的模型的步骤。

如何固化模型

调试策略

第一步，调试策略

好的策略应该经过多次训练查看模型的回测效果稳定性，如果发现同样参数下多次训练模型得到的回测结果变动范围较大，多半是模型不稳定。模型稳定后可以考虑固化模型并开启模拟交易。

记录模型文件

第二步，记录模型文件到userlib文件夹

![](/wiki/api/attachments.redirect?id=43e5c6bc-0a87-48

\

• %%BigQuant_ChatGPT 你好

\

\

更新

本文内容对应旧版平台与旧版资源，其内容不再适合最新版平台，请查看新版平台的使用说明

新版量化开发IDE（AIStudio）：

https://bigquant.com/wiki/doc/aistudio-aiide-NzAjgKapzW

新版模版策略：

https://bigquant.com/wiki/doc/demos-ecdRvuM1TU

新版数据平

新版本暂无深度学习可视化模块

导语

在阅读了 深度学习的简要介绍后，本文将介绍深度学习DNN模型及其在量化投资领域中的应用。

深度学习在量化领域的应用

机器学习作为人工智能的核心，其传统算法在解决很多问题上都表现出了高效性。随着近些年数据处理技术上的进步和计算能力的提升，深度学习得以在很多问题上也大放光彩，成为近一段时间互联网、金融等领域的大热门。

在量化投资领域，机器学习尤其是由统计学延伸的各种算法一直以来都被尝试应用在选股、择时等策略的开发上，随着深度学习在其他领域上的突破，其在自动化交易甚至投资策略的自开发自

更新

本文内容已经过期，不再适合平台最新版本，请查看如下最新内容：

https://bigquant.com/wiki/doc/5z65lqo5y2356ev56we57up572r57uc55qe5asa5zug5a2q6ycj6ikh-3hXXZIwYtI

策略案例

[https://bigquant.com/experimentshare/86296263b27

更新

本文内容对应旧版平台与旧版资源，其内容不再适合最新版平台，请查看新版平台的使用说明

新版量化开发IDE（AIStudio）：

https://bigquant.com/wiki/doc/aistudio-aiide-NzAjgKapzW

新版模版策略：

https://bigquant.com/wiki/doc/demos-ecdRvuM1TU

新版数据平

更新

本文内容对应旧版平台与旧版资源，其内容不再适合最新版平台，请查看新版平台的使用说明

新版量化开发IDE（AIStudio）：

https://bigquant.com/wiki/doc/aistudio-aiide-NzAjgKapzW

新版模版策略：

https://bigquant.com/wiki/doc/demos-ecdRvuM1TU

新版数据平

更新

本文内容对应旧版平台与旧版资源，其内容不再适合最新版平台，请查看新版平台的使用说明

新版量化开发IDE（AIStudio）：

https://bigquant.com/wiki/doc/aistudio-aiide-NzAjgKapzW

新版模版策略：

https://bigquant.com/wiki/doc/demos-ecdRvuM1TU

新版数据平

BigStudio 简介

新功能的认识是循序渐进的，该部分简单介绍BigStudio，让大家对其有初步印象。

BigQuant新上线的 BigStudio 可视化策略开发功能，能够帮助大家更快速更简单地开发机器学习、深度学习试验，快速实现试验迭代。

BigStudio 提供了所见即所得的策略开发环境，集合了众多模块，包括数据输入、输出、数据变换、模型训练、预测和量化交易等。你只需要拖动数据和模块，连连线，配置参数，就可以开发AI策略，从而将更多的创造力放在自己擅长的地方。因为提供的是可视化研究界面，因此通过BigStudio开发的AI策略被称为可视化AI策略。

![{w:1

更新

本文内容对应旧版平台与旧版资源，其内容不再适合最新版平台，请查看新版平台的使用说明

新版量化开发IDE（AIStudio）：

https://bigquant.com/wiki/doc/aistudio-aiide-NzAjgKapzW

新版模版策略：

https://bigquant.com/wiki/doc/demos-ecdRvuM1TU

新版数据平