https://www.inside.com.tw/2018/04/18/deep-learning-and-ar-microscope
用 AR 显微镜“圈出”肿瘤！Google 发表 AI 深度学习新平台
2018/4/18 【合作媒体】雷锋网
本文由 雷锋网 译自 Google Blog，作者为 Google 大脑团队产品经理 Craig Mermel
和技术主管 Martin Stumpe，INSIDE 获授权转载。
深度学习技术近来在眼科、皮肤科、放射科和病理科等医学学科领域展现出了极大的应用
前景，它可以帮助为世界各地的患者提供更加精准、可用的高品质医疗服务。Google 近
期也发布了一项研究成果，该成果显示，卷积神经网络检测淋巴结中的乳腺癌转移的准确
率，可以媲美一名训练有素的病理学家。然而，目前为止，用复合光学显微镜直接观察组
织仍然是病理学家诊断疾病的主要手段，如何将微观组织进行数位化展示成了深度学习技
术在病理学科大规模应用的关键挑战。
今天，在美国癌症研究协会年会（AACR）的一个演讲中，团队透过一篇题为《扩增实境（
AR）显微镜即时自动检测癌症（正在审查）》的论文，介绍了一款扩增实境显微镜
(ARM) 的平台原型，团队相信这款产品可以帮助加速深度学习技术在全球病理学领域的
推广应用。
该平台由一个经过改良的光学显微镜组成，能够对图像进行即时分析并直接在用户的视野
中显示机器学习算法的分析结果。
值得一提的是，只需使用低成本的、现成的元件，就可以将这款扩增实境显微镜改造成世
界各地医院和诊所中常见的普通光学显微镜，而且无需对数位系统进行全面升级就能进行
组织分析。
现代计算组件和深度学习模型——比如在 TensorFlow 平台上构建的模型，使得这个扩增
实境显微镜平台能够执行大量的预训练模型。和使用传统显微镜的方法一样，用户透过目
镜观察样品，机器学习算法输出的结果将即时投射到光路中，叠加在样本的原始图像之
上，帮助观察者快速定位和量化感兴趣的特征。而且，平台的计算和视觉回馈非常迅速—
—目前速度已经达到了 10 帧/秒，这意味着当用户移动组织或放大倍数做进一步观察时
，可以获得流畅、无缝的视觉体验。
理论上，扩增实境显微镜可以提供各式各样的视觉回馈，包括文本、箭头、轮廓、热图和
动画，而且可以运行多种类型的机器学习算法以应对不同的任务，比如目标检测、量化
和分类等。
为了示范扩增实境显微镜的功能，团队让其运行两种不同的癌症检测算法：一种用于检
测淋巴结标本中的乳腺癌转移，另一种用于检测前列腺切除术标本中的前列腺癌。这些演
算法可以在 4-40x 的放大倍数下运行，并用绿色轮廓勾画出检测到
▲左图：扩增实境显微镜的原理概述。一台数位相机捕捉到与用户相同的视场 (FoV)，然
后将图像传送给一个附加的计算单元，该单元能够运行即时推理的机器学习模型。随后推
理结果被回馈到一个特制的 AR 萤幕，该显示萤幕与目镜内联，并将模型输出的结果与标
本显示在同一平面上。右图：该图展示了平台原型被改造成典型临床级光学显微镜后的样
子。Photo credit: Google Brain
肿瘤的区域。这些轮廓可以帮助病理学家注意到感兴趣的区域，而不至于遗漏外观模糊的
肿瘤细胞。
透过扩增实境显微镜观察到的视图。这些图像展示了 4x、10x、20x 和 40x 放大倍数下
的淋巴结标本。Photo credit: Google Brain
虽然这两个癌症检测模型并非用扩增实境显微镜直接捕获的图像进行训练，但它们表现非
常出色，无需额外的训练。团队相信，假如直接用扩增实境显微镜获取的图像做进一步训
练，这些算法的表现还将继续提升。
他们最初都是用来自一种光学结构完全不同的完整标本扫描仪的图像训练，但在扩增实境
显微镜平台上的表现一样非常出色，无需额外的再训练。例如，淋巴结转移检测模型在扩
增实境显微镜上运行时曲线面积达到了 0.98，前列腺癌检测模型的曲线面积达到了 0.96
，仅略低于 WSI 上得到的结果。
团队相信，这款扩增实境显微镜将为全球卫生事业产生重大影响，尤其是在发展中国家的
传染病诊断方面——包括结核病和疟疾等。此外，在即将采用数位病理工作流程的医院，
扩增实境显微镜也可以与数位工作流程结合使用。光学显微镜已经在很多产业已经证明其
价值，但在病理学领域作用有限。团队相信扩增实境显微镜可以应用于医疗、生命科学研
究和材料科学等众多领域。他们很高兴能继续探索这款扩增实境显微镜，帮助加速机器学
习技术在世界各地产生积极影响。