楼主:
EdisonX (卡卡兽)
2018-03-17 02:51:27开发平台(Platform): (Ex: Win10, Linux, ...)
Visual Studio 2017 , Console C/C++
额外使用到的函数库(Library Used): (Ex: OpenGL, ...)
问题(Question):
[Q1]
目前我收到的档案,用记事本开、notepad++开,
一般 asci 是用 1 byte , 繁中、简中(非常少数)是用 2 byte 存,
再用记事本去开,默认是用 utf-8 存 (非 asci),且无 bom 档头 ,
所以我是否可以假设这份档案是以 utf-8 方式存盘?
[Q2]
目前我尝试过用 fopen / _wfopen 方式去开、读档 ,
也试过指定 ccs=UTF-8 方式去开 ,
再做简单的 printf / wprintf , 不论怎么改跑出来的一直都是乱码 ,
最后尝试用 char , 直接输出到档案去 , 神奇的事发生了
console 输出是乱码 , 档案全都解得出来
去细节后 code 摘要如下
FILE * fin = fopen(sfilename.c_str(), "rb,ccs=UTF-8");
char * pBuf = (char *)malloc(filesize + 32);
fread((void*)pBuf, 1, filesize, fin);
pBuf[filesize] = 0;
FILE * fout = fopen("output.txt", "w");
pFind = pBuf;
while (pFind = strstr(pFind, pszDesc)) {
pFindNext = strstr(pFind + iDescLen, pszScore);
if (pFindNext == NULL) break;
*(pFindNext - 1) = 0;
fprintf(stdout, "%s\n", pFind); \\ 乱码
fprintf(fout, "%s\n", pFind); \\ 正常
pFind = pFindNext + 1;
}
fclose(fout);
free(pBuf);
请问是不是我误会了什么东西?
若要解析这种档案, 请问我的方法正确吗?
另若有版友建议直接加入 ATL CString 处理编码的话也请告知
(乍看只换 CString 问题应该不会改善)
[Q3]
最后的问题是 , 这些截出来的字串会丢到简易型 db,
之前碰过 sqlite , 但只用过 asci 编码 , 查了下官网 ,
sqlite 应是支援 utf-8 , 请问这方面是否有人有过经验能给些意见?
或是直接丢掉 sqlite , 有其他较简易但字符编码较佳的 sql lib ?
最后谢谢各位细心回复,感激不尽。
楼主:
EdisonX (卡卡兽)
2018-03-17 02:53:00补注一下,我疑惑的其中一个点在于 , 之前用 char * 去接中文字, 在当时 (Win7/WinXp) 的 console 输出是正常的(VS2010),也不知道是不是和 VS2017 + Win10 环境相依 ?
作者: Sanvean 2018-03-17 08:10:00
Windows 的 console 使用 cp950(big5 like) 编码如果你的 windows 是台湾版的话如果在 cmd 里使用 type 指令印出 utf8 的内容,也是乱码
作者: stucode 2018-03-17 14:10:00
sqlite3 有支援 UTF-8 喔。也有提供 UTF-16 的 API。如果尝试把 UTF-16 字串存进 UTF-8 数据库的话,sqlite3会自动帮你做转换。(如果使用 UTF-16 的 API 的话)