[问题] 输入资料笔数限制

楼主: toptaster (icewine)   2015-03-18 23:10:31
不知道R有没有输入资料大小的限制?
我把一个存有约20万笔的.csv档用read.table汇入R后,
R内的资料笔数只有8万多笔,整个汇入过程没有出现错误讯息,
不知道是read.table的限制还是R本身限制?
有没有办法解决?
先谢谢各位解答。
作者: Wush978 (拒看低质媒体)   2015-03-19 00:19:00
你先检查看看汇入的Table最后一列有没有什么问题看看20万这个数字本身不会挑战到R的极限,问题应该在别处
作者: celestialgod (天)   2015-03-19 00:23:00
如果是正规的csv,可以试试data.table的fread看看,比较能够给一些错误讯息。
楼主: toptaster (icewine)   2015-03-19 01:15:00
@Wush978 原资料Table跟汇入后的TABLE除了资料笔数不同外,一切正常。@celestialgod 用fread汇入资料笔数只多了约五千笔,离20万还有一段距离。
作者: celestialgod (天)   2015-03-19 01:17:00
所以还是没有错误讯息?有确定memory没被用尽吗??
楼主: toptaster (icewine)   2015-03-19 02:42:00
只有对资料型态的警告讯息另fread好像不能用dec=","?没有显示内存方面问题。
作者: celestialgod (天)   2015-03-19 08:40:00
dec? fread通常是用sep2,详细可以读manual资料型态的错误是什么错误? 有时候可能是关键。
作者: psinqoo (零度空間)   2015-03-19 08:57:00
先看资料型态是什么? 我之前有遇到资料被塞入怪怪的东西我十万笔资料一样吃入 而且是windows~不过之前 也发生类似像原PO的事件 主要是被塞入特殊符号因为是网络抓的 所以每次读到一半就中断 或读很久
作者: Edster (Edster)   2015-03-19 14:03:00
你有读进来后, 再写出来吗?说不定是分隔符号的问题
楼主: toptaster (icewine)   2015-03-19 17:54:00
还是找不出原因,后来只好改用readLines解决。

Links booklink

Contact Us: admin [ a t ] ucptt.com