数据预处理

预处理数据

数据预处理在众多深度学习算法中都起着重要作用，实际上，对数据进行适当处理后，很多算法能够发挥最佳效果。然而面对各种各样的数据，很多时候我们不知道怎么样才能针对性进行处理。本文介绍了Python下的机器学习工具scikit-learn。其中，“sklearn.preprocessing”模块提供了几种常见的函数和转换类，把原始的特征向量变得更适合估计器使用。

[https://bigquant.com/experimentshare/45cc0fe6c95b43848f64032bbef0a440](https://bigquant.com/experimentshare/

https://bigquant.com/experimentshare/900f6943cf024d2d90f10135afcad089

值调整

8月19日Meetup问题模板：

https://bigquant.com/experimentshare/f58dbfb388454407b8a2b99eb14cf1ea

\

问题

在机器学习中策略中，数据正态分布或方形分布对训练的准确性产生重要影响吗？如果有，有什么方法处理呢？

视频

https://www.bilibili.com/video/BV1jT4y1R7wc?share_source=copy_web

\

请参考新版的大盘择时

机器学习+择时+跟踪止损+技术分析

策略案例

https://bigquant.com/experimentshare/a5ed3eddf32f4e4dad4811a1acc257f0

\

本文内容已经过期，不再适合平台最新版本，请查看以下最新内容，作为参考资料学习。

旧版声明

本文为旧版实现，仅供学习参考。

https://bigquant.com/wiki/doc/demos-ecdRvuM1TU

\

策略案例

[https://bigquant.com/experimentshare/42bf93884b1246ad83c2874f06765732](https://bigquant.com/experimentshare/42bf93884b12

起源于 1901 年 Pearson 的主成分分析（PCA），通过对协方差矩阵的特征值分解或 SVD 分解，通过对特征值排序选取相应的特征向量，将高维特征映射到低维上，达到降维的目的。用于数据预处理。

1998 年，降维算法PCA首次与核方法结合，先将数据集通过核函数（Kernel Function）映射到高维空间，然后在高维特征空间中做 PCA。核 PCA 有更好的降维效果。

2000 年，始于局部线性嵌入（Locally Linear Embedding）的流形学习（Manifold Learning）引领了降维算法的新浪潮。

2008 年 ，t-SNE 作为非线性降维方法，可更好地

https://bigquant.com/experimentshare/fa4b0df66251484196ca7588a9505f75

\

更新

本文内容对应旧版平台与旧版资源，其内容不再适合最新版平台，请查看新版平台的使用说明

新版量化开发IDE（AIStudio）：

https://bigquant.com/wiki/doc/aistudio-aiide-NzAjgKapzW

新版模版策略：

https://bigquant.com/wiki/doc/demos-ecdRvuM1TU

新版数据平

更新

本文内容对应旧版平台与旧版资源，其内容不再适合最新版平台，请查看新版平台的使用说明

新版量化开发IDE（AIStudio）：

https://bigquant.com/wiki/doc/aistudio-aiide-NzAjgKapzW

新版模版策略：

https://bigquant.com/wiki/doc/demos-ecdRvuM1TU

新版数据平

更新

本文内容对应旧版平台与旧版资源，其内容不再适合最新版平台，请查看新版平台的使用说明

新版量化开发IDE（AIStudio）：

https://bigquant.com/wiki/doc/aistudio-aiide-NzAjgKapzW

新版模版策略：

https://bigquant.com/wiki/doc/demos-ecdRvuM1TU

新版数据平

/* 使用DAI SQL为量化模型预测生成标签数据。标签反映了未来5日的收益率，并且被离散化为20个桶，每个桶代表一个收益率范围。这样，我们就可以训练模型来预测未来的收益率范围，而不仅仅是具体的收益率值。

1. 首先定义了一个名为label_data的临时表，用于计算和存储未来5日收益率，其1%和99%分位数，以及离散化后的收益率（被分为20个桶，每个桶代表一个收益率范围）。
2. 对未来5日收益率进行了截断处理，只保留在1%和99%分位数之间的值。
3. 选择了标签值不为空，并且非涨跌停（未来一天的最高价不等于最低价）的数据
4. 从这个临时表中选择了日期、股票代码和标签字段，以供进模

https://bigquant.com/codeshare/e91330dd-e6b5-40ca-ba6a-b76050db6c40

\

问题

https://bigquant.com/experimentshare/3aff241f03194816912c850f1f118ab6

\

\

https://bigquant.com/experimentshare/75aff243f241447da1d1994ed9d29c44

如何实现分类任务啊，怎么在原有策略上修改

见 链接：

https://bigquant.com/experimentshare/e939e9c9a1ef43ec8f267205b530219b

\

策略案例

https://bigquant.com/experimentshare/44cc116a1dad4c37983b9be35da208ee

\

摘要

特征选择是人工智能选股策略的重要步骤，能够提升基学习器的预测效果特征选择是机器学习数据预处理环节的重要步骤，核心思想是从全体特征中选择一组优质的子集作为输入训练集，从而提升模型的学习和预测效果。 我们将特征选择方法应用于多因子选股，发现特征选择对逻辑回归_6m、基学习器的预测效果有一定提升。我们以全A股为股票池，以沪深300和中证500为基准，构建行业中性和市值中性的选股策略。基于F值和互信息的方法对于逻辑回归_6m、XGBoost_6m、基学习器的回测表现具有明显的提升效果。 随着入选特征数的增加，模型预测效果先上升后下降特征个数并非越多越好。以逻辑回归_6m和XGBoost_

https://bigquant.com/experimentshare/28a454b6532144eb819a78efae160768

\

摘要

特征选择是人工智能选股策略的重要步骤，能够提升基学习器的预测效果

特征选择是机器学习数据预处理环节的重要步骤，核心思想是从全体特征中选择一组优质的子集作为输入训练集，从而提升模型的学习和预测效果。我们将特征选择方法应用于多因子选股，发现特征选择对逻辑回归_6m、XGBoost_6m基学习器的预测效果有一定提升。我们以全A股为股票池，以沪深300和中证500为基准，构建行业中性和市值中性的选股策略。基于F值和互信息的方法对于逻辑回归_6m、XGBoost_6m、XGBoost_72m基学习器的回测表现具有明显的提升效果。

**随着入选特征数的增加，模型预测效果先上升后下

/wiki/static/upload/7e/7e6629bc-ac8d-42ad-85a0-c74ecff7229b.pdf

\

作者：James Le 编译：caoxiyang

在机器学习中，有一个叫做“世上没有免费午餐”的定理(NFL)。简而言之，我们无法找到一个放之四海而皆准的最优方案，这一点对于监督学习(即预测建模)尤为重要。例如，你不能说神经网络总是比决策树好，反之亦然。因为其中有很多因素在起作用，比如数据集的大小和结构。

因此，您应该针对您的问题尝试多种不同的算法，同时，保留一组数据，即“测试集”来评估性能并选

https://bigquant.com/experimentshare/2fbb2629dcb0450bbf72e224835b4957

\

导语

回归、分类和排序是我们经常遇到的问题场景。本文主要介绍如何实现回归和分类两类问题的模型构建。

首先我们明确一下算法在机器学习中的地位。一般来说，机器学习有三个要素： 数据、算法和模型 。

• 数据 是场景的描述，包括输入和输出。
• 算法 是得到模型的过程，狭义上说，特指机器学习算法，如传统线性回归、树和支持向量机以及深度学习； 广义上说，从输入数据到最终确定模型输出的所有过程，即建模流程都可以看作算法，如分类、回归模型，搜索最优参数算法。

下面我们来举两个例子，看看回归和分类问题的应用场景有什么不同。

回归模型

![](/wik