深度学习、TensorFlow 在 FinTech 领域的应用

深度学习中卷积神经网络和循环神经网络对于时间序列的数据有很好的学习能力，而金融数据中大量的数据都是时间序列的格式，包括银行流水、股票日线、交易日志，乃至金融分析报告中的文本信息等。因此应用深度学习到金融数据挖掘中，会有先天的优势，而 TensorFlow 是目前深度学习中最成熟最主流的框架，它有 Google 提供强大的研发能力作保障，对各种最新的深度神经网络结构都有非常好的支持。在 FinTech 中，应用深度学习我们可以用来作很多方面的工作：

1. 自动报告生成，使用 NLP 和 LSTM 可以对大量非结构化数据进行分析和处理，并整合成详尽的报告；
2. 舆情分析、知识图谱，通过对大量金融新闻的分析和舆情判别、知识关系梳理，整合出某行业或企业的舆论导向、市场观点；
3. 量化交易，使用 CNN、RNN、强化学习等对股票、期货、外汇等交易市场数据进行学习，获取可对冲的稳定收益；
4. 金融风控，通过对用户全方面数据的分析、挖掘，预测客户贷款诈骗的风险、逾期的概率等。

听众受益

1. 加深对基于大数据的深度学习技术的理解；
2. 获得对 Google 的分布式机器学习框架 TensorFlow 的全面理解；
3. 了解深度学习、TensorFlow 在 FinTech 金融科技中的各种应用。

TensorFlow on Yarn：深度学习遇上大数据

TensorFlow 的开源大幅降低了深度学习的门槛并极大推动了深度学习在众多公司的落地。但是，建设深度学习平台更多还需要关注多租户管理、资源隔离、作业管理等。除此之外，在大数据时代训练数据大多存储在以 HDFS 为代表的分布式储存系统中。所以，直接存取 HDFS 也是必不可少的功能。基于以上考虑，我们设计了 TensorFlow on Yarn，实现了深度学习与大数据平台的整合。归纳而言，TensorFlow on Yarn 主要有以下功能和特点：

1. 作为一种新定义的计算类型，借助 Yarn 实现资源隔离和作业的管理；
2. 增强了 Yarn 对 GPU 资源的管理和调度，能做到以 GPU 卡作为资源申请单元；
3. 支持训练数据直接从 HDFS 读取，训练模型保存到 HDFS；
4. 兼容原生 TensorFlow 的代码，已有的代码稍作修改即可迁移到 Yarn；
5. 性能和训练效果跟原生 TensorFlow 保持一致。

除了 TensorFlow on Yarn 外，会向大家一并介绍下我们更早设计的 SparkFlow（TenrsorFlow 与 Spark 的结合），以及整合更多计算框架到 Yarn 的思考。

听众受益

1. 如何建设完善深度学习平台；
2. 当深度学习遇到大数据会给我们带来哪些挑战和机遇；
3. 深度学习跟大数据整合的思路。