从2份专利文件，一窥Amazon Go到底藏了什么黑科技？

　　今天的 Amazon Go 刷爆了国内外的社交媒体。

　　Amazon Go 令人惊艳的地方，就是你可以径直走进超市，选好货品之后立马离开，不用在收银台前排长长的队伍，等待结账。

　　甚至还莫名有一种从商店“抢劫”的快感。

　　我们说，移动支付颠覆了既有商品交易方式，那么这种“抢劫式”的 Amazon Go 甚至连“交易感”都消灭了。

　　总之，人们被这种新奇的似乎隐含了某种黑科技的新型购物方式所吸引。不仅是普通人，就连斯坦福教授李飞飞、著名科技出版公司O'reilly 创始人 Tim O'Reilly 都特地发推点赞。

　　李飞飞：计算机视觉十分显著和绝妙的应用！

　　Tim O'Reilly：零售业的未来，我对此已经期待很多年了。

　　Amazon Go 的亮点

　　用户进入商店，穿过闸机的时候打开手机让其识别，这时手机里的系统启动，并随时准备更新物品清单。令人惊艳的部分就是，在用户拿走或放回物品的一瞬间，手机里的系统会自动更新清单。最后，用户拿着物品满意地离开，手机自动扣款。

　　这里面到底有什么黑科技呢？就官方发布的视频来看，技术亮点有三个：机器视觉、深度学习算法和传感器融合。

　　但仅有这几个关键词还是不够的，雷锋网遂向亚马逊在职员工进行采访，但是对方表示 Amazon Go 还属于保密项目，公司要求不能对外透露任何细节。

　　不过在 Quora 上，有一位名为 Brian Roemmele 的网友挖出了几年前亚马逊提交的两份专利文件，里面描绘的系统跟如今的 Amazon Go 非常相似。这两份文件名称为：“侦测物体互动和移动”（Detecting item interaction and movement）和“物品从置物设备上的转移”（Transitioning items from the materials handling facility），两文件分别于 2013 年和 2014 年申请（感兴趣的朋友可以在公众号回复关键词“专利”，下载 2 份专利文件）。

　　这两份专利文件都描绘了十分庞杂的应用场景，包括：货仓、船运、零售市场等，所以很多人当初在看到这份文件时，都以为这是亚马逊为自己的仓储系统量身定制的，不过今天一切真相大白。

　　这两份专利分别讲了什么？

　　“侦测物体互动和移动”（Detecting item interaction and movement）这份专利的摘要是：

用户从一个货架上拿起或放下一个物品，货物管理系统可以侦测到这个动作，并且更新用户移动设备里的清单。

　　“物品从置物设备上的转移”（Transitioning items from the materials handling facility）这份专利的摘要是：

物品被识别，并且当用户正在拿起物品时，物品自动与用户发生关联。 当用户进入或穿过一个“转移区”（Transition Area），被拿起的物品将自动转移到用户，而不需要用户有任何的输入。

　　总的来说就是，被识别的物体与用户发生关联，能自动更新清单，并在“转移区”进行自动交易（“转移区”在 Amazon Go 里指的就是商店的出口）。

　　我们可以从下面一张图里，一窥 Amazon Go 的基本原型。

　　图中代号为 208 的物体都是摄像头，大约有 10 多个（有一些被人体挡住）。208 摄像头分别置于天花板（如图左右两边各有一个比较大的摄像头）、货架两侧和货架内部。文件里描述到，天花板上的 208 用来采集用户和货品的位置、货架两侧的 208 用来捕捉用户的图像和周围的环境，货架内的 208 用来确定货品的位置或用户手的移动（进入和离开货架）。

　　而从视频里，我们隐约能够看到安置在货架内部的摄像头。

　　另外，专利文件里还补充道：这里的摄像头可以是多种类型的，可以是 RGB 摄像头，或深度感知摄像头。除了摄像头之外，也可以有其他输入设备，比如压力传感器、红外传感器、体积位移传感器、光幕等等。压力传感器可以侦测物品移出和进入的时间，红外传感器可以用来区分用户和的手和物品。

　　我们具体并不清楚 Amazon Go 到底在多大程度上使用了计算机视觉技术。比如说，当用户进出商店时，都需要对用户进行识别，文件里反复提到可以用人脸识别技术实现，但是又会继续补充说明可以通过手机等移动设备来侦测。

　　Quora 网友 Anurag Ranjan 是一位机器视觉和深度学习领域的准 PhD，他分析称：

Amazon Go 使用商店里的摄像头识别出了用户，可能针对用户拍了几张照片，依靠一些标准的深度学习网络形成了一幅特征图，比如 Resnet,、GoogLeNet 或者 VGG 这样的。总之，当用户踏进店里的那一刻起，Amazon Go 就知道用户长什么样了。

　　但是根据专利和既有经验来看，在整个过程中用计算机视觉来追踪用户，代价太高了。我们大致可以确定的是，货架上的一排排摄像头应该就是对用户进行“动作识别”，并且识别出物体是否被拿走（这里也或许是传感器实现的）。

　　不过整个过程中的难点是，如何将物品与用户进行唯一绑定？

　　云从科技高级算法工程师周翔告诉雷锋网，Amazon Go 具体用到哪些技术，目前我们只能够猜测，他提到可能的实现机制是：

通过手机做到了精准定位人，然后物体的具体位置可以大概确定，一旦人附近的物品离开，同时最近的人的 ID 就会关联这个物品 ID。

置物架肯定用到了压力传感器，一旦物品离开，就会明确知道什么物品在什么地点离开，一旦物品回来，压力传感器同样会感应到。

深度学习可能是学习了人的购物习惯，可能用到计算机视觉做了人的动作识别，然后根据物品与人的 ID 进行关联，也就是二次确认。同时分析一个人的购物喜好，推测他会买的东西，提前做一些预判。

　　周翔提出，可能 Amazon Go 根本没有用到人脸识别的技术，“国外对人脸的隐私权是比较高的，未经允许采集他人的人脸会被起诉的”。雷锋网(公众号：雷锋网)也关注到，在李飞飞的那篇推文下，有网友对此持抵触态度，认为如果是人脸采集，侵犯了自己的隐私。

　　Amazon Go 的出现惊艳了很多人，不过并不是所有人对此表示欢迎，除了上文提到的隐私问题外，有不少人担忧，如果这种技术大范围普及（我们知道亚马逊是多喜欢 2B 业务），大量超市收银员将会失去工作，毕竟亚马逊在视频里承诺要在 2017 年初，于西雅图上线第一家 Amazon Go。

　　不过这种技术究竟有多少“实操性”，还是存在很多的疑惑的，例如：

1. 如果好几个人挤到一起买同一类东西（比如商场打折抢货，这是经常发生的），那么物品与人的 ID 关联还能保持精准吗？

2. 如果用户把商品放回的位置是错的呢，这样也会被收费吗？

3. 如果有人搞怪，将自己家空果汁瓶取代商店里的新鲜果汁，那么 Amazon Go 识别的出来吗？

　　“所以，这里要求购物的人得非常有素质才行”，周翔对雷锋网说道。我们对 Amazon Go 的诸多疑惑，或许过几个月就能在西雅图见分晓。