[问题] Unicode Decode Error suhang PTT批踢踢实业坊

[问题] Unicode Decode Error

楼主: suhang (suhang) 2014-10-29 13:28:18

我写了一个crawler爬网页
按照view page source <meta content="text/html; charset=Big5">
我用Big5 解码回传的 byte string
Python却回应某些byte无法解码
UnicodeDecodeError: illegal multibyte sequence
1
浏览器也是设定Big5解码
那为什么浏览器可以正确的显现所有内容?
2
我试着用utf8瞎猜去解码，一样有error
请问我该如何处理这个错误而能显示我所抓下来的网页?

作者: LPH66 (-6.2598534e+18f) 2014-10-29 22:10:00

什么网页?

作者: mmis1000 (秋月恋枫) 2014-10-30 02:05:00

python内建的decoder很suck，不会略过错误的字符几乎无法使用，去找替代的lib如何？好吧，其实有忽视错误的参数http://goo.gl/DQnZw7

继续阅读

[问题] html内嵌svg的控制inbox [请益] 能否自动缩放网页，符合手机尺寸?banana1975 [问题] asp.net itemtemplate中dropdownlist取值moon128 [问题] 下拉式选单卷轴yoshjibo [问题] Google Web Analytics付费搜寻backfish [问题] 市占率高的CMS？tingmeow [问题] CSS下落式阶层选单h7568413 [问题] client side如何呈现数据库的资料!?spiderman007 [问题] 两栏式div自适高度chiawu [问题] 关于css子选单继承母选单写法ntu203