[问题] UTF-8 Read / Write

楼主: EdisonX (卡卡兽)   2018-03-17 02:51:27
开发平台(Platform): (Ex: Win10, Linux, ...)
Visual Studio 2017 , Console C/C++
额外使用到的函数库(Library Used): (Ex: OpenGL, ...)
问题(Question):
[Q1]
目前我收到的档案,用记事本开、notepad++开,
一般 asci 是用 1 byte , 繁中、简中(非常少数)是用 2 byte 存,
再用记事本去开,默认是用 utf-8 存 (非 asci),且无 bom 档头 ,
所以我是否可以假设这份档案是以 utf-8 方式存盘?
[Q2]
目前我尝试过用 fopen / _wfopen 方式去开、读档 ,
也试过指定 ccs=UTF-8 方式去开 ,
再做简单的 printf / wprintf , 不论怎么改跑出来的一直都是乱码 ,
最后尝试用 char , 直接输出到档案去 , 神奇的事发生了
console 输出是乱码 , 档案全都解得出来
去细节后 code 摘要如下
FILE * fin = fopen(sfilename.c_str(), "rb,ccs=UTF-8");
char * pBuf = (char *)malloc(filesize + 32);
fread((void*)pBuf, 1, filesize, fin);
pBuf[filesize] = 0;
FILE * fout = fopen("output.txt", "w");
pFind = pBuf;
while (pFind = strstr(pFind, pszDesc)) {
pFindNext = strstr(pFind + iDescLen, pszScore);
if (pFindNext == NULL) break;
*(pFindNext - 1) = 0;
fprintf(stdout, "%s\n", pFind); \\ 乱码
fprintf(fout, "%s\n", pFind); \\ 正常
pFind = pFindNext + 1;
}
fclose(fout);
free(pBuf);
请问是不是我误会了什么东西?
若要解析这种档案, 请问我的方法正确吗?
另若有版友建议直接加入 ATL CString 处理编码的话也请告知
(乍看只换 CString 问题应该不会改善)
[Q3]
最后的问题是 , 这些截出来的字串会丢到简易型 db,
之前碰过 sqlite , 但只用过 asci 编码 , 查了下官网 ,
sqlite 应是支援 utf-8 , 请问这方面是否有人有过经验能给些意见?
或是直接丢掉 sqlite , 有其他较简易但字符编码较佳的 sql lib ?
最后谢谢各位细心回复,感激不尽。
楼主: EdisonX (卡卡兽)   2018-03-17 02:53:00
补注一下,我疑惑的其中一个点在于 , 之前用 char * 去接中文字, 在当时 (Win7/WinXp) 的 console 输出是正常的(VS2010),也不知道是不是和 VS2017 + Win10 环境相依 ?
作者: Sanvean   2018-03-17 08:10:00
Windows 的 console 使用 cp950(big5 like) 编码如果你的 windows 是台湾版的话如果在 cmd 里使用 type 指令印出 utf8 的内容,也是乱码
楼主: EdisonX (卡卡兽)   2018-03-17 12:37:00
谢谢 Sanvean.
作者: stucode   2018-03-17 14:10:00
sqlite3 有支援 UTF-8 喔。也有提供 UTF-16 的 API。如果尝试把 UTF-16 字串存进 UTF-8 数据库的话,sqlite3会自动帮你做转换。(如果使用 UTF-16 的 API 的话)
楼主: EdisonX (卡卡兽)   2018-03-17 15:15:00
太棒了 , 谢谢 stucode
作者: eye5002003 (下一夜)   2018-03-17 15:22:00
_wfopen只是可以读windows下的非ansi档名而已_wfopen不关心档案内的文字,想在windows的console正常输出utf的话要使用WriteConsoleW这个windows API我的习惯是绝大部分情况下使用utf-8格式,有必要才去转换成其他的万国码格式,自己转换就不再需要去烦恼这些跟编码有关的问题了

Links booklink

Contact Us: admin [ a t ] ucptt.com