英特尔开源分布式深度学习库BigDL:支持高性能大数据分析betway必威官网

By admin in 技术中心 on 2019年4月22日

原标题:想体验无人商店?去京东他们家直接刷脸!

2018年1月,亚马逊在西雅图的无人超市对外营业,吸引北美媒体和市民众多眼球。不过他们不知道,2017年10月,中国的在线零售巨头京东的无人商店和无人超市已经对外开放了。更有趣的是,在京东的无人商店和无人超市里,当你选好自己要买的东西之后,只需“刷脸”就能完成支付过程,钱包什么的,完全不用拿出来啦。

近日,英特尔开源了一个运行在 Apache Spark 上的分布式深度学习库
BigDL,其可以利用已有的 Spark 集群来运行深度学习计算,并且还能简化从
Hadoop 的大数据集的数据加载。

在购物的整个过程中,结算环节是重点,更是难点。顾客选择的商品,品类多种多样,包装彼此不同,如何保证在尽量短的时间之内确定商品的具体品类和价格?除了扫描条码之外,还有其他方法吗?

开源地址>>>

当然有,京东选择了更神奇的方法:选好商品后,你可以把它们挨个放在智能结算台上,其中有集成摄像头,借助京东这些年积累的实拍数据,利用图像识别技术完成结算,当你走出结算通道后,人脸识别、智能摄像头等技术就会自动完成付款啦。

据介绍,在 Xeon 服务器上的测试表明,BigDL 相比于 Caffe、Torch 或
TensorFlow 等开源框架实现了显著的速度提升。其速度可与主流的 GPU
相媲美,而且 BigDL 也能扩展到多达数十个 Xeon 服务器。

betway必威官网 1

betway必威官网 2

京东大数据平台部负责人,京东副总裁翁志介绍,“顾客的方便,来自于京东长期以来在AI和大数据方向的技术积累,集成各种传感器的智能货架、智能结算台、智能价签、智能摄像头等多种智能技术,贡献良多。”

BigDL 库支持 Spark 1.5、1.6 和 2.0,并且允许将深度学习嵌入到已有的基于
Spark 的程序中。其中包含了将 Spark RDD(Resilient Distributed
Datasets,弹性分布式数据集)转换成 BigDL 定义的 Dataset
的方法,并且也可以直接运用到 Spark ML Pipelines 上。

分析图像,提取特征,还得靠通用架构

为了进行模型训练,BigDL 应用了一个同步小批量随机梯度下降(synchronous
mini-batch SGD),该过程在跨多个执行器(executor)的单个 Spark
任务中执行。每一个执行器都执行一个多线程引擎并处理一部分微批量数据(micro-batch
data)。在当前的版本中,所有的训练和验证数据都会加载到内存(memory)中。

京东公司成立二十年,在线商城已经运行了十四年。这么多年下来,京东积累了一个庞大的在售产品目录,产品图像多达数亿张。它们都保存在分布式大数据存储库
Apache
HBase中,用Hadoop框架加以处理。为了满足客户在各种场景下的不同需求,京东希望可以匹配、提取不同产品图像中的特征。比如,客户逛街时发现一款自己喜欢的咖啡杯,只要拍下来,京东就可以根据照片为客户找到满足他要求的咖啡杯。对于京东自己来说,还可以利用图像识别和匹配功能,与其他网站上的产品进行匹配,京东就可以调整自己的定价策略,强化自己的竞争力。此外,京东还对外提供公共云服务,类似功能还可以提供给公共云的客户,帮助他们开发符合自己需求的全新图像分析应用云平台。现在,在京东对外开放的技术能力中,“图片质量检测”和“以图搜图”功能已经可以对外提供给其他开发团队使用了。

betway必威官网,BigDL 是用 Scala 实现的,并且模仿了 Torch。类似于 Torch,它也提供了一个
Tensor 类,其使用了 Intel MKL 库进行计算。Intel MKL
是英特尔的数学核心函数库(Math Kernel
Library)的缩写,其中包含了一系列为计算优化过的历程,其中包括
FFT(快速傅立叶变换)和矩阵乘法等等,这些计算在深度学习模型训练中有广泛的应用。另外受到
Torch 的 nn 包(https://github.com/torch/nn)的启发,BigDL 借鉴了
Torch,提出了 Module 的概念,用于表示单个神经网络层、Table 和
Criterion。

京东的技术团队接下图像分析这个任务后,一开始,他们曾尝试使用图形处理单元(GPU)创建特征匹配应用,然而并不顺利,因为在扩展性上遇到很多问题,必须手工管理众多设备和系统,手工处理负载均衡和容错;而且在数据处理过程中还出现很多延迟,不足以支持生产环境需求。

BigDL 还提供了一个 AWS EC2
镜像和一些案例,其中包括:文本分类(使用卷积神经网络)、图像分类、以及将
Torch 或 Caffe 中预训练的模型加载到 Spark
中用于预测计算的方法。目前社区讨论区上大多数用户请求 BigDL 支持
Python,以及开发 MKL-DNN(MKL 的深度学习扩展)。

betway必威官网 3

以下是 BigDL GitHub 项目的 README.md 介绍:

发表评论

电子邮件地址不会被公开。 必填项已用*标注

网站地图xml地图
Copyright @ 2010-2019 betway必威官网 版权所有