借题发挥一下XD 也顺便简介一下AI在医疗临床可以的应用(纯个人经验)
也希望卧虎藏龙的板上可以提供建议或是讨论(OwO)
小弟废废病理科R1 手上跟AI有关的主题有3-4个
也参与系统开发和优化 在边做边学中
使用语言主要是R 因为R的作图和视觉化功能强大
再加上向量分析运算的效率可以跟C媲美 也是我最熟悉的语言XD
但是因为某些AI model建立或是为了底层运算提速
在某些地方程式码会改成python或C
使用的backend是tensorflow 或是直接用keras完成 端看model需要
自己的参考书目如下：
http://imgur.com/a/69zaalu
==================================================================
目前处理过的资料大至可以分成两类 图像和文字
1.图像分析
在图像分析中可以再细分成两个领域 图像处理和AI模型
a.图像处理指单纯透过色块的filter 透明度调整 对比调整
颜色深浅调整等等像是photoshop图片处理的功能
将图片有意义的部分萃取出 甚至是分类
b.AI模型大部份指的是CNN的模型 有training和validation
当然还包括其他像是SVM, K-means clustering等等的分析或分类
毕竟machine learining不是只有deep learning的神经网络而已
小弟目前做过或是正在做的主题有的主题有
a.acid fast stain找出TB的位置
(single object detection)
此主题已接近完成 剩下只是模组持续的优化和好的接口系统而已
利用初步影像处理把红色物体挑出
再利用自己设计的CNN model 把是TB的部分identify出来
b.H&E染色中 辨认出tumor的位置 并且计算mitosis在tumor中的比例
(combine U-net and single object detection)
此部分目前以GIST还有其他soft tissue tumor为处理大宗
正在case蒐集还有自己胸口碎大石一个一个标记肿瘤位置
细胞核位置 还有mitosis的地方 XDD
因为特征相对明显 所以可以在初步标完一部分之后
就可以先train一个比较废的model 让他做screen和pre-label
我再去调整结果 再丢回去train 效率会快很多 XDD
c.Synaptophycin-Ki67 double stain分析出tumor cell实际染上ki的比例
(pure image processing)
此主题也接近完成 以NET或NEC的处理为大宗
利用单纯的图像处理
用红色filter把double stain中tumor的位置标出
再透过蓝色和褐色的filter把细胞核的位置标出 (配合大小来筛选出真正的细胞核)
最后计算tumor中实际有染上Ki67的比例
此部分之后有会朝向AI分析方式转变
因为有些细胞核或是Ki67染色在pure image processing会出现问题
AI model是可以随着资料量增加而慢慢进步的
所以会开始像b.一样慢慢自己annotation再丢进去training
d.肾脏biopsy中 辨认出丝球和动脉的位置以及之后的分析
(combine U-net and multiclass classification)
目前在设计annotation system
让我或是其他使用者可以在玻片viewer中标记出丝球和动脉
之后训练方式类似b. 只不过分类上改成multiclass classification的输出
2.文字分析
小弟文字分析参予的不多 目前只有两个小专题在自己玩而已XD
a.cytology报告和surgical报告的匹配程度
(text classification, word embeded-LSTM-1DCNN model)
病人来医院健检有许多项目是cytology的
如果有问题之后可能会再开刀 所以会有另一个surgical的报告
此处主要是蒐集病人的cytology报告和surgical最终结果
判断cytology当下是unrelated, under diagnosis, overdiagnosis 或是 match
例如cytology HSIL而surgical下来是LSIL 就是overdiagnosis
或是cytology carcinoma而surgical开下来是adenocarcinoma就是 match
如果cytology cervix HSIL而surgical是口腔 severe displasia 就是 unrelated
采用bidirectional LSTM和 1DCNN 嵌合的自设model完成
目前accuracy大概在95% 还在调整model看会不会有更好的performace中
b.乳癌文字报告转变成格式化的form
(named entity recognition, word embeded-LSTM-(1DCNN)-CRS model)
乳癌文字报告中 透过NLP方式 把有临床意义的内容结取出来
例如:ER,PR,Her2强弱 百分比; cancer histology type; size;
margin condition; leagth near margin;
tumor-infiltrating lymphocytes (TIL) 比例等等
把各种文字报告经过NLP处理之后 一个一个标注其位置.... <