golang 分享一个将 windows 记事本各种编码文字转成 utf8
freehere freehere107 2017-06-27 14:21:20 +08:00 1747 次点击这是一个创建于 3035 天前的主题，其中的信息可能已经有所发展或是发生改变。
起初想用 unoconv 将各类文档转成 pdf,txt 确实是一头包。这个方法基本可以将 txt 4 种格式都统一起来。 注意 linux 下需设置
LANG C.UTF-8
package until import ( "unicode/utf16" "bytes" "golang.org/x/text/encoding/simplifiedchinese" "golang.org/x/text/transform" "io/ioutil" ) func Utf16toString(b []uint8) (string) { if len(b)&1 != 0 { return string(b) } var bom int if len(b) >= 2 { switch n := int(b[0])<<8 | int(b[1]); n { case 0xfffe: bom = 1 fallthrough case 0xfeff: b = b[2:] w := make([]uint16, len(b)/2) for i := range w { w[i] = uint16(b[2*i+bom&1])<<8 | uint16(b[2*i+(bom+1)&1]) } return string(utf16.Decode(w)) default: gbk, _ := GbkToUtf8(b) return string(gbk) } } else { return string(b) } } func GbkToUtf8(s []byte) ([]byte, error) { reader := transform.NewReader(bytes.NewReader(s), simplifiedchinese.GBK.NewDecoder()) d, e := ioutil.ReadAll(reader) if e != nil { return nil, e } return d, nil } 第 1 条附言 2017-06-29 18:29:26 +08:00
utf8识别不是很好，今天做了一些修改
func Utf16toString(b []uint8) (string) { var bom int if len(b) >= 2 { switch n := int(b[0])<<8 | int(b[1]); n { case 0xfffe: bom = 1 fallthrough case 0xfeff: b = b[2:] w := make([]uint16, len(b)/2) for i := range w { w[i] = uint16(b[2*i+bom&1])<<8 | uint16(b[2*i+(bom+1)&1]) } return string(utf16.Decode(w)) case 0x564d: gbk, _ := GbkToUtf8(b) return string(gbk) default: return string(b) } } else { return string(b) } } 目前尚无回复
Select Language