数学之美 系列八-- 贾里尼克的故事和现代语言处理
数学之美系列八--贾里尼克的故事和现代语言处理
2006年6月8日上午09:15:00
发表者：Google研究员，吴军
from: http://www.googlechinablog.com/
读者也许注意到了，我们在前面的系列中多次提到了贾里尼克这个名字。事实上，现代语
音识别和自然语言处理确实是和它的名字是紧密联系在一起的。我想在这回的系列里，介
绍贾里尼克本人。在这里我不想列举他的贡献，而想讲一讲他作为一个普普通通的人的故
事。这些事要么是我亲身经历的，要么是他亲口对我讲的。
弗莱德里克.贾里尼克(FredJelinek)出生于捷克一个富有的犹太家庭。他的父母原本打算
送他去英国的公学（私立学校）读书。为了教他德语，还专门请的一位德国的家庭女教师
，但是第二次世界大战完全打碎了他们的梦想。他们先是被从家中赶了出去，流浪到布拉
格。他的父亲死在了集中营，弗莱德自己成天在街上玩耍，完全荒废了学业。二战后，当
他再度回到学校时，他的成绩一塌糊涂，全部是D，但是很快他就赶上了班上的同学。不
过，他在小学时从来没有得过A。1949年，他的母亲带领全家移民美国。在美国，贾里尼
克一家生活非常贫困，全家基本是靠母亲做点心卖钱为生，弗莱德自己十四五岁就进工厂
打工补助全家。
贾里尼克最初想成为一个律师，为他父亲那样的冤屈者辩护，但他很快意识到他那浓厚的
外国口音将使他在法庭上的辩护很吃力。贾里尼克的第二个理想是成为医生，他想进哈佛
大学医学院，但经济上他无法承担医学院8年高昂的学费。与此同时麻省理工学院给于了
他一份（为东欧移民设的）全额奖学金。贾里尼克决定到麻省理工学电机工程。在那里，
他遇到了信息论的鼻祖香农博士，和语言学大师贾格布森RomanJakobson(他提出了著名
的通信六功能）[注释一]，后来贾里尼克又陪着太太听最伟大的语言学家乔姆斯基(Noam
Chomsky)的课。这三位大师对贾里尼克今后的研究方向--利用信息论解决语言问题产生的
重要影响。
贾里尼克从麻省理工获得博士学位后，在哈佛大学教了一年书，然后到康乃尔大学任教。
他之所以选择康乃尔大学，是因为找工作时和那里的一位语言学家谈得颇为投机。当时那
位教授表示愿意和贾里尼克在利用信息论解决语言问题上合作。但是，等贾里尼克到康乃
尔以后，那位教授表示对语言学在没有兴趣而转向写歌剧了。贾里尼克对语言学家的坏印
象从此开始。加上后来他在IBM时发现语言学家们嘴上头头是道，干起活来高不成低不就
，对语言学家从此深恶痛绝。他甚至说："我每开除一名语言学家，我的语音识别系统错误
率就降低一个百分点。"这句话后来在业界广为流传，为每一个搞语音识别和语言处理的
人所熟知。
贾里尼克在康乃尔十年磨一剑，潜心研究信息论，终于悟出了自然语言处理的真谛。１９
７２年，贾里尼克到ＩＢＭ华生实验室（ＩＢＭ Ｔ．Ｇ．Ｗａｔｓｏｎ Ｌａｂｓ）做
学术休假，无意中领导了语音识别实验室，两年后他在康乃尔和ＩＢＭ之间选择了留在Ｉ
ＢＭ。在那里，贾里尼克组建了阵容空前绝后强大的研究队伍，其中包括他的著名搭档波
尔（Bahl），著名的语音识别Dragon公司的创始人贝克夫妇，解决最大熵迭代算法的达
拉皮垂(DellaPietra)孪生兄弟，BCJR算法的另外两个共同提出者库克(Cocke)和拉维夫
(Raviv)，以及第一个提出机器翻译统计模型的布朗。
七十年代的IBM有点像九十年代的微软和今天的Google,给于杰出科学家作任何有兴趣
研究的自由。在那种宽松的环境里，贾里尼克等人提出了统计语音识别的框架结构。在贾
里尼克以前，科学家们把语音识别问题当作人工智能问题和模式匹配问题。而贾里尼克把
它当成通信问题，并用两个隐含马尔可夫模型（声学模型和语言模型）把语音识别概括得
清清楚楚。这个框架结构对至今的语音和语言处理有着深远的影响，它从根本上使得语音
识别有实用的可能。贾里尼克本人后来也因此当选美国工程院院士。
贾里尼克和波尔，库克以及拉维夫对人类的另一大贡献是BCJR算法，这是今天数字通信
中应用的最广的两个算法之一（另一个是维特比算法）。有趣的是，这个算法发明了二十
年后，才得以广泛应用。IBM于是把它列为了IBM有史以来对人类最大贡献之一，并贴在
加州Amaden实现室墙上。遗憾的是BCJR四个人已经全部离开IBM，有一次IBM的通信
部门需要用这个算法，还得从斯坦福大学请一位专家去讲解，这位专家看到IBM橱窗里的
成就榜，感慨万分。
贾里尼克和IBM一批最杰出的科学家在九十年代初离开了IBM，他们大多数在华尔街取得
了巨大的成功。贾里尼克的书生气很浓，于是去约翰霍普金斯大学建立了世界著名的CLS
P实验室。每年夏天，贾里尼克邀请世界上20-30名顶级的科学家和学生到CLSP一起工
作，使得CLSP成为世界上语音和语言处理的中心之一。
贾里尼克治学极为严谨，对学生要求也极严。他淘汰学生的比例极高，即使留下来的，毕
业时间也极长。但是，另一方面，贾里尼克也千方百计利用自己的影响力为学生的学习和
事业创造方便。贾里尼克为组里的每一位学生提供从进组第一天到离开组最后一天全部的
学费和生活费。他还为每一位学生联系实习机会，并保证每位学生在博士生阶段至少在大
公司实习一次。从他那里拿到博士学位的学生，全部任职于著名实验室，比如IBM,微软，
AT&T和Google的实验室。为了提高外国人的英语水平，贾里尼克用自己的经费为他们请
私人英语教师。
贾里尼克生活俭朴，一辆老式丰田车开了二十多年，比组里学生的车都破。他每年都邀请
组里的学生和教授到家里做客，很多毕业了的学生也专程赶来聚会。在那里，他不再谈论
学术问题，而会谈些巩俐的电影（他太太是哥伦比亚大学电影专业的教授），或是某著名
教授被拉斯韦加斯的赌馆定为不受欢迎的人等等。但是他聚会的食物实在难吃，无非是些
生胡萝卜和芹菜。后来贾里尼克掏钱让系里另一个教授承办聚会，那个教授每次请专业大
厨在家作出极丰盛的晚宴，并准备许多美酒，从此这种聚会就转移到那个教授家了。
除了巩俐的电影，贾里尼克对中国的了解就是清华大学和青岛啤酒了。他有时会把两个名
字搞混，有两次被香港科技大学的Pascale冯教授抓住。
贾里尼克说话心直口快，不留余地。在他面前谈论学术一定要十分严谨，否则很容易被他
抓住辫子。除了刚才提到的对语言学家略有偏见的评论，他对许多世界级的大师都有过很
多“刻薄”但又实事求是的评论，这些评论在业界广为流传。贾里尼克在四十多年的学术
生涯中居然没有得罪太多的人，可以说是一个奇迹。
注释一：
贾格布森的通信模型
1上下文
2
信息
3
发送着---------------4接收者
5
信道
6编码
2006年6月8日上午09:15:00
发表者：Google研究员，吴军
from: http://www.googlechinablog.com/
读者也许注意到了，我们在前面的系列中多次提到了贾里尼克这个名字。事实上，现代语
音识别和自然语言处理确实是和它的名字是紧密联系在一起的。我想在这回的系列里，介
绍贾里尼克本人。在这里我不想列举他的贡献，而想讲一讲他作为一个普普通通的人的故
事。这些事要么是我亲身经历的，要么是他亲口对我讲的。
弗莱德里克.贾里尼克(FredJelinek)出生于捷克一个富有的犹太家庭。他的父母原本打算
送他去英国的公学（私立学校）读书。为了教他德语，还专门请的一位德国的家庭女教师
，但是第二次世界大战完全打碎了他们的梦想。他们先是被从家中赶了出去，流浪到布拉
格。他的父亲死在了集中营，弗莱德自己成天在街上玩耍，完全荒废了学业。二战后，当
他再度回到学校时，他的成绩一塌糊涂，全部是D，但是很快他就赶上了班上的同学。不
过，他在小学时从来没有得过A。1949年，他的母亲带领全家移民美国。在美国，贾里尼
克一家生活非常贫困，全家基本是靠母亲做点心卖钱为生，弗莱德自己十四五岁就进工厂
打工补助全家。
贾里尼克最初想成为一个律师，为他父亲那样的冤屈者辩护，但他很快意识到他那浓厚的
外国口音将使他在法庭上的辩护很吃力。贾里尼克的第二个理想是成为医生，他想进哈佛
大学医学院，但经济上他无法承担医学院8年高昂的学费。与此同时麻省理工学院给于了
他一份（为东欧移民设的）全额奖学金。贾里尼克决定到麻省理工学电机工程。在那里，
他遇到了信息论的鼻祖香农博士，和语言学大师贾格布森RomanJakobson(他提出了著名
的通信六功能）[注释一]，后来贾里尼克又陪着太太听最伟大的语言学家乔姆斯基(Noam
Chomsky)的课。这三位大师对贾里尼克今后的研究方向--利用信息论解决语言问题产生的
重要影响。
贾里尼克从麻省理工获得博士学位后，在哈佛大学教了一年书，然后到康乃尔大学任教。
他之所以选择康乃尔大学，是因为找工作时和那里的一位语言学家谈得颇为投机。当时那
位教授表示愿意和贾里尼克在利用信息论解决语言问题上合作。但是，等贾里尼克到康乃
尔以后，那位教授表示对语言学在没有兴趣而转向写歌剧了。贾里尼克对语言学家的坏印
象从此开始。加上后来他在IBM时发现语言学家们嘴上头头是道，干起活来高不成低不就
，对语言学家从此深恶痛绝。他甚至说："我每开除一名语言学家，我的语音识别系统错误
率就降低一个百分点。"这句话后来在业界广为流传，为每一个搞语音识别和语言处理的
人所熟知。
贾里尼克在康乃尔十年磨一剑，潜心研究信息论，终于悟出了自然语言处理的真谛。１９
７２年，贾里尼克到ＩＢＭ华生实验室（ＩＢＭ Ｔ．Ｇ．Ｗａｔｓｏｎ Ｌａｂｓ）做
学术休假，无意中领导了语音识别实验室，两年后他在康乃尔和ＩＢＭ之间选择了留在Ｉ
ＢＭ。在那里，贾里尼克组建了阵容空前绝后强大的研究队伍，其中包括他的著名搭档波
尔（Bahl），著名的语音识别Dragon公司的创始人贝克夫妇，解决最大熵迭代算法的达
拉皮垂(DellaPietra)孪生兄弟，BCJR算法的另外两个共同提出者库克(Cocke)和拉维夫
(Raviv)，以及第一个提出机器翻译统计模型的布朗。
七十年代的IBM有点像九十年代的微软和今天的Google,给于杰出科学家作任何有兴趣
研究的自由。在那种宽松的环境里，贾里尼克等人提出了统计语音识别的框架结构。在贾
里尼克以前，科学家们把语音识别问题当作人工智能问题和模式匹配问题。而贾里尼克把
它当成通信问题，并用两个隐含马尔可夫模型（声学模型和语言模型）把语音识别概括得
清清楚楚。这个框架结构对至今的语音和语言处理有着深远的影响，它从根本上使得语音
识别有实用的可能。贾里尼克本人后来也因此当选美国工程院院士。
贾里尼克和波尔，库克以及拉维夫对人类的另一大贡献是BCJR算法，这是今天数字通信
中应用的最广的两个算法之一（另一个是维特比算法）。有趣的是，这个算法发明了二十
年后，才得以广泛应用。IBM于是把它列为了IBM有史以来对人类最大贡献之一，并贴在
加州Amaden实现室墙上。遗憾的是BCJR四个人已经全部离开IBM，有一次IBM的通信
部门需要用这个算法，还得从斯坦福大学请一位专家去讲解，这位专家看到IBM橱窗里的
成就榜，感慨万分。
贾里尼克和IBM一批最杰出的科学家在九十年代初离开了IBM，他们大多数在华尔街取得
了巨大的成功。贾里尼克的书生气很浓，于是去约翰霍普金斯大学建立了世界著名的CLS
P实验室。每年夏天，贾里尼克邀请世界上20-30名顶级的科学家和学生到CLSP一起工
作，使得CLSP成为世界上语音和语言处理的中心之一。
贾里尼克治学极为严谨，对学生要求也极严。他淘汰学生的比例极高，即使留下来的，毕
业时间也极长。但是，另一方面，贾里尼克也千方百计利用自己的影响力为学生的学习和
事业创造方便。贾里尼克为组里的每一位学生提供从进组第一天到离开组最后一天全部的
学费和生活费。他还为每一位学生联系实习机会，并保证每位学生在博士生阶段至少在大
公司实习一次。从他那里拿到博士学位的学生，全部任职于著名实验室，比如IBM,微软，
AT&T和Google的实验室。为了提高外国人的英语水平，贾里尼克用自己的经费为他们请
私人英语教师。
贾里尼克生活俭朴，一辆老式丰田车开了二十多年，比组里学生的车都破。他每年都邀请
组里的学生和教授到家里做客，很多毕业了的学生也专程赶来聚会。在那里，他不再谈论
学术问题，而会谈些巩俐的电影（他太太是哥伦比亚大学电影专业的教授），或是某著名
教授被拉斯韦加斯的赌馆定为不受欢迎的人等等。但是他聚会的食物实在难吃，无非是些
生胡萝卜和芹菜。后来贾里尼克掏钱让系里另一个教授承办聚会，那个教授每次请专业大
厨在家作出极丰盛的晚宴，并准备许多美酒，从此这种聚会就转移到那个教授家了。
除了巩俐的电影，贾里尼克对中国的了解就是清华大学和青岛啤酒了。他有时会把两个名
字搞混，有两次被香港科技大学的Pascale冯教授抓住。
贾里尼克说话心直口快，不留余地。在他面前谈论学术一定要十分严谨，否则很容易被他
抓住辫子。除了刚才提到的对语言学家略有偏见的评论，他对许多世界级的大师都有过很
多“刻薄”但又实事求是的评论，这些评论在业界广为流传。贾里尼克在四十多年的学术
生涯中居然没有得罪太多的人，可以说是一个奇迹。
注释一：
贾格布森的通信模型
1上下文
2
信息
3
发送着---------------4接收者
5
信道
6编码