请教大家一下,我有一个large size的hdf5档案.
档案里面存放一个large matrix, shape是(15579,81173)
我需要从这个matrix的15579个row里面, 随机取出128个row出来给AI model使用.
现在遇到的问题是读取速度很慢, 取出128个row大概要花10秒以上的时间.
想请问大家有更快读取的作法吗?
感谢.
以下附上程式码.
import h5py
import numpy as np
h5 = h5py.File('file.h5', 'r')
matrix = h5['matrix/data']
random_list = np.random.randint(matrix.shape[0], size=128)
rows = matrix[random_list,:]
感谢大家回答.

资料太大会慢正常

摊平塞lmdb呢

flatten完应该会快一点

是否有办法知道matrix在file的offset?我可以用c code去读出这个matrix, 可能会比较快用c的fread与fseek去读我想要的row

以前有用过hdf5 chunk_shape这个参数会影响读取速度在存hdf5时试试用(1,81173)去切

储存成15579 * (1,81173)的hdf5

有查到一个方法还不错 跟大家分享一下https://gist.github.com/maartenbreddels/09e1da79577151e5f7fec660c209f06e他是先把matrix储存成dataset, dataset可以知道file的offset, 再透过mmap mapping整个file到内存.再来就可以直接存取matrix了, 速度相当快.另外其实有offset之后, 也可以透过c语言的fseek,fread同样也可以快速存取matrix

喔哦，感谢分享！