[问题] Colab import错误问题

楼主: teddy (这是个好问题)   2024-02-03 22:41:32
这只程式在client执行过没问题
由于内存不足,搬到Colab上做测试就发现跑不了
程式里面有许多module串接
都是使用相对位置,路径都是从专案资料夹最外面开始
专案结构大致上长这样:
https://i.imgur.com/cz33O5I.jpeg
我在本地端电脑执行会先设定PYTHONPATH到专案资料夹,然后执行
python3 seq2seq/run_seq2seq.py configs/T5-3B_Lora.json
这样就能避免相对位置找不到module的问题
在Colab设定PYTHONPATH一直没有用
在stackoverflow上看到有人建议把语法改成
%run seq2seq/run_seq2seq.py configs/T5-3B_Lora.json
在执行起始py档的
from seq2seq.utils.args import ModelArguments
就有成功抓到,没有报错
但继续往下执行到其他.py时又会出现找不到module的错误
https://i.imgur.com/XoBq8FJ.jpeg
这个third_party就是在专案资料夹下的module,不知道为什么就是抓不到
有看到说module资料夹下要有__init__.py这个档案
但我本机电脑没有特别写也能执行
Colab上面加了没用
感觉还是PYTHONPATH的问题,但前面seq2seq下的都能抓到
目前完全没有头绪
说明的可能不是很好
但这个问题已经困扰我好几天了QQ
楼主: teddy (这是个好问题)   2024-02-06 21:14:00
最后发现是third_party这个名称和colab预测的Lib冲突 改名就能动了 留下文章给大家参考
作者: avonasac0800 (Adolph)   2024-02-12 17:21:00
推推

Links booklink

Contact Us: admin [ a t ] ucptt.com