[问题] 如何在jupyter中跑大型专案?

楼主: wallrose (墙玫瑰)   2018-02-20 03:59:44
想请问
我有很多个dataset
每一个dataset要建一个模型(tensorflow)
于是 每一个dataset 写一个ipynb档
这样能够看清楚 每一个dataset的建模情况
然后一个个手动启动 => 执行完再关掉 => 再开下一个档
因为之前只是demo 所以量不大 这样做没问题
现在要跑正式的实验 资料量非常大
我希望能够一次设计好流程 让电脑自己慢慢跑
并且 每个档案跑完之后 打开档案时能留下结果
(ipynb 或 html皆可, 但html佳)
有办法写个main档 就依序执行完所有档案吗?
平常我会用 %run 指令执行一些ipynb
但这样似乎 没办法在个别档案中留下结果
补充:
由于gpu内存只有6g
一定要依序执行,并且执行完要shutdown释放内存
才有办法跑下一个档案
以上基于jupyter notebook发问
如果真的不行.....也欢迎推荐其他IDE
谢谢
作者: WunoW (WunoW)   2018-02-20 10:31:00
帮推一下,正好也在想类似问题
作者: groovy2016   2018-02-20 11:50:00
可以写class包成module ?
作者: vi000246 (Vi)   2018-02-20 13:17:00
写支程式去跑呢?https://goo.gl/Akspgv我有google到这指令 --stdout 你研究看看能不能输出结果
作者: leoloveivy (cried)   2018-02-21 20:54:00
如果你只是觉得程式码很长你用滚很久import进来啊
作者: kimutaka (保持对生命的热情)   2018-02-22 04:51:00
推一个, 也想知道有没有好方法
作者: sma1033 (死马)   2018-02-22 15:38:00
我觉得Jupyter其实本身设计就不是很方便做大型系统的开发他的价值应赅是让使用者可以方便的测试、除错与教学
作者: goldflower (金色小黄花)   2018-02-22 22:51:00
https://github.com/tritemio/nbrun看起来是你要的? 不过我没跑过
作者: a830307119 (天生我材必有用)   2018-03-03 06:16:00
作者: galeondx   2018-03-06 04:42:00

Links booklink

Contact Us: admin [ a t ] ucptt.com