《Attention Is All You Need》是一篇Google提出的将Attention思想发挥到极致的论文。这篇论文中提出一个全新的模型,叫 Transformer,抛弃了以往深度学习任务里面使用到的 CNN 和 RNN ,来做机器翻译的任务。Bert就是基于Transformer构建的,这个模型广泛应用于NLP领域,例如机器翻译,问答系统,文本摘要和语音识别等等方向。本文根据论文[《Attention Is All You Need》](https://arxiv.org/abs/1
更新时间:2021-04-23 08:06
当前应用于NLP领域的Transformer,结构过于庞大,并不适用于股票数据(开盘价,收盘价,最高价,最低价,等)这样的时序数据,因此,本文提出一种简化的适用于股票数据的Transformer结构,其根据时间嵌入的思想构建,能很好的应用于量化选股中。下面以一个例子来介绍用于股票数据的Transformer体系结构,以及
更新时间:2021-02-03 07:05