[问题] python有内存限制吗

楼主: lericee (艾瑞克)   2018-08-15 14:49:08
大家好
网络上查没查到相关的问题..
不知道是不是该在这里发问
我是用anaconda的jupyter notebook
去跑sklearn 的svm
我用的数据约两万多笔 字段有17个
在training的时候用循环让他一次是用不同的数目去train
(100 200 500 1000)
train的时候已也几个字段而已 并不是全部17个
但就会卡住 跑很久 四个模型跑了一个多小时还没好
但我个别跑1000的也只要10秒而已
想说会不会是内存的关系吗?
但看工作管理员内存也没跑满
后来用IDLE去做一样的事
也是一样
而且分给python的内存差不多就100MB
然后我个别跑的时候 train data超过4000的时候也是会跑不出来
想请问这样是哪里有问题吗?
ps. 程式方面应该是没有错 因为是跟着网络上的教学做的 几乎一模一样
且单一跑跑得出来
新手发问 请多包涵 谢谢<(_ _)>
作者: djshen (djshen)   2018-08-15 15:00:00
看复杂度
作者: f496328mm (为什么会流泪)   2018-08-15 17:54:00
SVM 很慢主要是 SVM 背后的算法相对复杂,tree 简单多了
楼主: lericee (艾瑞克)   2018-08-15 18:45:00
另外想问一下anaconda的运作是怎么运作呢? 因为我有时候同样的code 在anaconda跑几十分钟出不来 用本机IDLE 一分钟就好了 anaconda是在服务器运作吗 还是也用本机处理呢?
作者: goldflower (金色小黄花)   2018-08-15 19:31:00
复杂度应该是2-3之间 但是循环跑不出来没啥道理你有把verbose打开看看有没有东西吗你说anaconda跑不出来是指jupyter/ipython吗?
作者: handsomeLin (DoGLin)   2018-08-15 20:13:00
一看就知道你的循环没写好啊
作者: goldflower (金色小黄花)   2018-08-15 21:56:00
verbose就是print训练过程而已我刚查sklearn下面的svm都有verbose才对@@阿 你会不会没做normalize你可以设定max_iter确认问题是不是在收敛条件上
作者: Falldog (Yo)   2018-08-16 00:09:00
先看看你的python是不是跑64bit的版本吧
作者: goldflower (金色小黄花)   2018-08-16 02:13:00
normalize后还是跑不出大笔的结果吗?
楼主: lericee (艾瑞克)   2018-08-16 12:08:00
也谢谢其他人的帮忙~~
作者: goldflower (金色小黄花)   2018-08-16 18:00:00
赞赞赞 恭喜成功
楼主: lericee (艾瑞克)   2018-08-16 22:28:00
真的感谢G大的热心帮忙 Q_Q
作者: ggirls (哥)   2018-08-21 17:27:00
什么是normalize?什么是normalize?
作者: s860134 (s860134)   2018-08-23 20:26:00
中文贴切一点叫归一化

Links booklink

Contact Us: admin [ a t ] ucptt.com