当前位置：首页 > news >正文

Linux环境下shell和vim中乱码原因及消除办法

news 来源：原创 2024/5/2 21:37:20

shell和vim中乱码原因及消除办法

作者:Jack47

在Linux下开发，经常遇到乱码问题：shell或者vim中显示不了中文，或者能够显示，但不能输入中文。每次都是上网去搜，或者同事告诉我一些命令来解决的。一直没有理解为什么会出乱码，本文就是想认真分析乱码问题的原因并找到解决之道。希望本文能够解决像我这样的菜鸟在Linux下shell和vim中遇到的乱码问题。读者们如果读完这篇文章后还是一头雾水，也不要着急[文章角度不同，不同的人的理解程度也不同]，可以多看看类似的文章[文末的参考资料]，等多遇到几次编码的问题，回头再看看这些文章，基本就明白了。可以结合这篇文章一起看关于Unicode，字符集，字符编码，每个程序员都应该知道的事

基本概念

首先得有一些背景概念需要理解一下：

字符[character]

字符代表了字母表中的字符，标点符号和其他的一些符号。在计算机中，文本是由字符组成的。

字符集合[character set]

由一套用于特定用途的字符组成，例如支持西欧语言的字符集合，支持中文的字符集合。字符集合只定义了符号和他们的语意，其实跟计算机没有直接关系。

现实生活中，不同的语系有自己的字符集合，例如藏文有自己的字符集合，汉文有自己的字符集合。到计算机的世界中，也有各种字符集合，例如ASCII字符集合，GB2312字符集合，GBK字符集合。还有一个其他字符集合的超集--Unicode字符集定义了几乎绝大部分现存语言需要的字符，是一种通用的字符集，来支持多语言环境(可以同时处理多种语言混合的情况）。各个国家和地区在制定编码标准的时候，“字符集合”和“字符编码”一般都是同时制定的。所以像ASCII字符集合一样，它也同时代表了一种字符的编码。

字符编码[character encoding]

是一套规则，定义了在计算机内存中如何表示字符，是字符集中的每个字符与计算机内存中字节之间的转换关系，也可以认为是把字符数字化，规定每个“字符”分别用一个字节还是多个字节存储，用哪些字节来存储。例如ASCII编码[你没看错，它既是一种字符集合，也是一种字符编码]，定义了英文字母和符号在计算机中的表示方式，是用一个字节来表示。Unicode字符集合，有好几种字符编码方式，例如变长度编码的UTF8，UTF16等。中文字符集也有很多字符编码，例如上文提到的GB2312编码，GBK编码等。

知乎上的这篇介绍字符编码，字体，iconv的文章很赞，内容浅显易懂。还有一篇很有名的有关Unicode和字符集的文章可以看看：The Absolute Minimum Every Software Developer Absolutely, Positively Must Know About Unicode and Character Sets (No Excuses!),网上有中文版。

之所以产生乱码，是因为显示的时候使用的字符编码方式和实际内容的字符编码不一致。就跟上文知乎上那个帖子里的小姑娘和小男孩的例子一样，显示所用的字符编码和实际内容的字符编码方式不一致，自然就看不懂对方写的是啥。所以想正确显示内容，有两个方法：

1. 统一一下，双方都使用同一种编码方式。
2. 把对方的内容转换成跟自己的编码方式一致的内容。可以用类似 iconv 这样的工具来完成

其次，还需要了解Linux系统中的这个东东：

语系locale

可以通过命令： locale -a 来显示当前Linux系统支持的所有的语言环境。关于locale，强烈推荐看看Locale 详解，然后搞明白以下三个环境变量的优先级：LC_ALL>LC_*>LANG。locale相关的各个环境变量的作用参见这里。

乱码实战

有了以上的知识储备，就可以解决以下问题了：

登录终端中显示的乱码问题

用ssh客户端putty／securecrt 登录远程Linux服务器举例子：

要显示中文，首先确保bash中设置的语系是支持中文的，例如采用zh_CN.UTF8编码。可以简单的使用命令：export LANG=zh_CN.UTF8 来设置。如果此时putty中中文仍然是乱码，说明putty自身设置的编码跟刚才设置LANG的编码方式不一样，把putty中的编码方式改成UTF8。之后就可以显示并输入中文了。如果你用的是bash，可以在~/.bashrc 配置文件中加入上述的命令。这样就不用每次登录后手动设置系统编码了。

vim中显示的乱码问题

在vim中，有以下几个环境变量要理解［可以在vim中使用 :help 关键词来查看文档］：

1. termencoding

Encoding used for the terminal. This specifies what character encoding the keyboard produces and the display will understand. For the GUI it only applies to the keyboard. 

终端使用的编码方式，指定了键盘输出的编码格式和屏幕能够正常显示的编码方式

2. encoding

Sets the character encoding used inside Vim. It applies to text in the buffers, registers, Strings in expressions, text stored in the vim info file, etc. Changing this option will not change the encoding of the existing text in vim. The character encoding of files can be different from 'encoding'. This is specified with 'file encoding'. The conversion is done with icon() or as specified with ‘charconvert'

设置了vim内部缓冲区、寄存器、表达式等中存储的文本的编码方式。它与文件的编码 [ fileencoding ] 可以是不一样的。如果不一样，中间会经过iconv 转换

如果工作用的编码中含有无法转换为内部编码的字符，在这些字符就会丢失。因此，在选择 Vim 的内部编码的时候，一定要使用一种表现能力足够强的编码，例如UTF8，以免影响正常工作。

3. fileencoding

Sets the character encoding for the file of this buffer. When 'file encoding' is different from 'encoding', conversion will be done when reading and writing the file.文件自身的编码方式。如果fileencoding和encoding不一致，那么在读取和写入文件时，会对编码方式进行转换。

通过打开文件后设置 fileencoding，我们可以将文件由一种编码转换为另一种编码

4. fileencodings

This is a list of character encodings considered when starting to edit an existing file. When a file is read, Vim tries to use the first mentioned character encoding. If an error is detected, the next one in the list is tried. When an encoding is found that works, 'file encoding' is set to it. If all fail, 'file encoding' is set to an empty string, which means the value of 'encoding' is used.
Note that 'fileencodings' is not used for a new file, the global value of 'file encoding' is used instead.

是一个字符编码的列表。当vim打开一个文件时，会尝试使用列表中的第一个字符编码方式。如果检测到错误，就用列表中的下一个。当找到一个可以正常工作的字符编码方式后，file encoding就被设置成找到的字符编码方式。如果最后都失败了，fileencoding就被设置成空的，这意味者字符的编码方式就跟 encoding变量的值一样了。

这样通过这个列表，Vim可以自动判断文件的编码，自动判断失败时还可手动设定 fileencoding 来指定编码。因此，设置 fileencodings 的时候，一定要把要求严格的、当文件不是这个编码的时候更容易出现解码失败的编码方式放在前面，把宽松的编码方式放在后面。

当vim中遇到乱码时，基本都是由于vim没有能够正确地识别出文件的编码导致的。

首先保证终端里可以正常显示中文，然后使用命令 :set fileencoding＝GBK 来设置vim中此文件的正确编码。可以使用命令 :set fileencoding?查看vim识别出的文件编码。