[问题] 处理同资料夹下不同编码的档案

楼主: james732 (好人超)   2019-02-13 00:12:31
我的资料夹下有一堆纯文字档案
但是它们有些是big5,有些是UTF-8
我想用os.walk去逐一读取它们,类似这样
判断每一行里是不是包含我指定的keyword:
def search(directory, keyword):
for (a, _, filenames) in walk(directory):
for f in filenames:
file = open(a + "\\" + f, "r", encoding='UTF-8')
lines = file.readlines()
for l in lines:
if keyword in l:
# do something
问题是以上程式码对于UTF-8编码的档案都没问题
但如果是遇到混杂的BIG5就会错误
我想请问,这种混杂编码的情况,要怎么处理会比较好呢?
作者: djshen (djshen)   2019-02-13 01:16:00
用rb开, decode utf8, 有error就decode big5?
作者: lajji (喇机)   2019-02-13 11:21:00
Try except
作者: cspy (Perfect Stranger)   2019-02-18 01:43:00
error='replace'

Links booklink

Contact Us: admin [ a t ] ucptt.com