楼主:
scalawax (aliang)
2021-06-22 16:27:52各位大大您们好，
我正在做实价登录的分析，因为实价登录的资料有点乱，所以我写了一堆算式去算，但是
一个档案都太大（至少150-180MB），所以每次更新都要跑一整个晚上，重点是还不知道
是否有跑完（三不五时会发现计算错误）。。。。
想改到数据库或其他的架构，是不是真的会比较快？但是重点是有办法处理大量的计算。
。。。
真的不知道该用什么。。。
我不是唸相关科系的，实在不知道该从哪里下手。。。。
想听听大家专业意见，不管是ACCESS或是python或是有其他大家觉得更好的方式 ，有一
个方向我再去好好钻研。。。
麻烦大家帮我指点明灯～～～ 跪恩！
作者: gnseed (YA小猜) 2021-06-22 16:34:00
算法写得不好吧...连G都没出现的资料不能称为大
作者:
final01 (牛顿运动定律)
2021-06-22 16:37:00excel?? 那个不是很慢
作者:
kokolotl (nooooooooooo)
2021-06-22 16:51:00excel函数一大就算到死了 改用R或python都舒服很多
mysql mongo都可以我之前也是excel超痛苦
看你的档案类型啊 是一天一个档案还是一个档案会慢慢变大 后者的话直接建议塞进db 前者大概就是换语言读写
作者:
enthos (影斯作业系统)
2021-06-22 17:16:00作者:
azzc1031 (azzc1031)
2021-06-22 19:43:00python去读 再去下你要看的函数
把function换成vba来跑会快不少之前资料量大用excel都尽量不写函数，不然下拉时容量跟耗的效能都会等比成长
作者:
tedmax100 (Nathan-Lu)
2021-06-22 21:04:00不动产业的RD??
作者:
DrTech (竹科管理处网军研发人员)
2021-06-22 21:57:00才不到200M,用程式读到内存算，就解决了。根本不用数据库。
作者:
yyc1217 (somo)
2021-06-22 23:24:00要不要试试看Google colab
作者:
qazxws (QAZ)
2021-06-23 00:13:00Apache Spark
作者:
marc47 (思乐冰)
2021-06-23 01:41:00作者:
KeyFSN ( ～☼☽✩☁～ )
2021-06-23 12:42:00才 180 MB 根本不用什么 spark 啦 XD直接 python 全读到 memory 然后算一算就结了
作者:
enthos (影斯作业系统)
2021-06-23 19:22:00作者: adsl12367 (adsl12367) 2021-06-24 15:50:00
DB用哪一个？
楼主:
scalawax (aliang)
2021-06-24 18:30:00哈哈哈哈，谢谢大家的帮忙，但大家的回复我真的看不懂，大家实在是太专业了。。。。我是在一家建商，老板常叫我做市调，所以自己弄了套excel+power BI，看来得来自学python了。。。。
作者:
alivetaxi (阿什麼)
2021-06-24 20:28:00试试access 应该够用了
excel和power bi有没有装64位元的，内存有没有加到32G？32位元的软件跑不动很正常。
c#的话我记得有excel lib支援yield return
作者:
acgotaku (otaku)
2021-07-02 18:24:00Amazon Athena申请一个,资料丢进去 你会发现魔法