号称打败谷歌翻译的 DeepL 究竟靠不靠谱？

　　鉴于数据、计算力、算法等诸多门槛，自神经机器翻译（NMT）产品化以来，在很大程度上便是互联网巨头们的竞技场。

　　如今，又一个新的挑战者高调加入进来，直接把矛头指向堪称行业技术标杆的谷歌、微软以及 Facebook。

　　上周，来自德国的DeepL 翻译上线，号称实现了 NMT 技术的新突破，打造出了“世界上最精确、语言组织最自然的机器翻译系统”；并宣布在自家组织的盲测中，打败了谷歌翻译以及微软与 Facebook 的 NMT 系统，衅意十足。

　　目前，DeepL 翻译已支持英德法西等 42 门欧洲语言，正在对汉、日、俄等语言进行训练，并计划在将来发布一款 API，让开发者能够将 DeepL 翻译整合入其应用中。

　　公司的前身是运营已近十年的在线外语词典 Linguee，DeepL 翻译也完全由Linguee 团队打造。Linguee 在国内没什么存在感，至于在海外……有谷歌翻译专美于前，存在感也不是很高，但还是有一批认可它的用户。

　　不过，Linguee 的成败现在已经不重要，毕竟都换马甲了——Linguee 在今年正式更名 DeepL，以“Deep”提醒 VC 自己是一家正儿八经的深度学习公司。

　　真正重要的是 Linguee 的技术积累。Linguee 由前谷歌翻译研究员 Gereon Frahling 在 2007 年离职开发，2009 年正式上线。就雷锋网所知，Linguee 的核心优势是它的爬虫和机器学习系统，前者抓取互联网上的双语对照翻译，后者对这些翻译的质量进行评估。两者结合，使 Linguee 成为了当时“世界上首个翻译搜索引擎”。十年积累，Linguee 无论在数据和对算法的研究上都不可小觑。

　　一年前，其研究团队着手欲实现一个新目标：利用在机器翻译领域的多年专业积累，打造一套业内最先进的 NMT 系统。这便是 8 月 29 日上线的DeepL 翻译。

　　雷锋网要提醒，以下信息均是 DeepL 一家之言，尚无第三方背书，大家需自行判断其含金量。

　　Linguee 的数据集有逾十亿组对照翻译语句，号称是世界上最大的人工翻译数据集。Linguee 能随时搜索近似翻译结果。

　　DeepL 在冰岛搭建了一台超算，号称在全球 HPC 中性能排名第 23 位，浮点运算能力达到 5.1 petaFLOPS。因而能实现令 DeepL 十分自豪的计算速度：每秒处理百万量级的词语翻译。

　　采用 CNN 而不是 NMT 产品通用的 RNN。DeepL 宣称其技术积累使得它能够克服 CNN 的主要短板，因而能实现比基于 RNN 的竞品算法更精确、自然的翻译结果。

　　DeepL 宣称其翻译系统的表现打败了谷歌翻译以及微软、Facebook 的 NMT 系统， 是基于两个指标：盲测反馈和 BLEU 分数。

　　DeepL 邀请了职业翻译者，对DeepL 翻译、谷歌翻译、微软翻译以及 Facebook 的 NMT 系统进行了盲测，要求测试者选出所认为的最好的翻译结果。测试语言为三组，分别是英德、英法、英西互译，样本为 100 个句子。DeepL 并未公布每组参与测试的职业译者数量。测试结果如下：

　　如图所示，在每一门测试中，选择 DeepL 的测试者都最多。DeepL 在英译德、英译法、英译西的优势尤其明显。其官方统计是：选择DeepL 为最佳翻译结果的次数，与选择另外三家 NMT 服务的平均比例为 3：1 。

　　BLEU 是业内评估机器翻译质量最常用的打分算法，其得分被认为与人类的评判结果具有较大相关性。

　　DeepL 宣布，其英译德、英译法的 BLEU 得分超过了所有已发表的 NMT 研究，包括谷歌 Transformer。结果如下：

　　如图，在英译法项目上，DeepL 的 BLEU 分数超过次优方案约 3.5%。

　　对此，雷锋网咨询了搜狗语音交互中心总监陈伟、商鹊网 CEO 邹剑宇，以及 Facebook 机器学习工程师王杨。需要说明的是，三位老师均表示：由于缺乏关于 DeepL 算法、数据库的第一手资料，也没有来自第三方的信息，无法对其翻译水平做出客观判断。商鹊网的 CEO 邹剑宇评论道：“从相关报道中，对算法的描述并不详细，没有论文披露细节，所以并不好理解。“

　　在 Facebook从事应用机器学习的工程师王杨，听到这件事的第一反应是怀疑——单是同时胜过谷歌翻译和Facebook NMT这一点，不拿出有足够说服力的证据就难以取信于人。谷歌的NMT 积累深厚，Facebook的NMT也在快速发展。一个新的产品想要如其所宣传的那样实现大幅超越，很难。

　　若 DeepL 确实在技术上实现了突破，那么不排除他们有全新的多语种（multilingual）模型。

　　搜狗语音交互中心总监陈伟，他们机器翻译团队刚刚在 WMT 2017评测中获得中英、英中两个翻译方向的第一名，他认为数据对 DeepL 的贡献可能远大过其它因素。而 Linguee 的数据爬取和积累，是一项不小的优势。

　　“从 BLEU 对比看，提升的比较明显，感觉他们十亿量级的高质量数据对效果帮助比较大。实测大家都觉得好，这至少说明它数据的全面性还是够的。”

　　据一位德语专业的译员说，DeepL 德英互译的体验确实不错，这丝毫不意外——作为一家德国公司，顺理成章的，DeepL 重点关注的是德英、法英这些语种的翻译。这为 DeepL 在这几门语种的数据积累也提供了一定的聚焦和便利。

　　DeepL 公布的盲测、BLEU 评分，衡量的均是德、法、西这三门欧洲语言与英语之间的互译。

　　“没看到他们技术的详细介绍，只了解到使用了 CNN 而没有使用 RNN，但是我感觉架构变动不会太大，应该类似于 Facebook 的 convs2s。

　　在搜狗的实验对比中，“RNN-NMT、CNN-NMT 和谷歌的 Transformer 框架。三个技术我们都认真研究和优化过，目前 Transformer 框架已经在搜狗翻译系统上线，从机器评分和人工评测来看，都领先主要竞品，较RNN-NMT、CNN-NMT提升也比较明显。

　　业内也没有一致观点认为 CNN 是 NMT 的未来。我觉得技术方案无论是 CNN、RNN、Transformer 都没做到极致，目前主流技术框架到底是什么没有定论，算法细节的打磨和多种技术的融合会是未来发展趋势，另外数据量会是各家公司的技术壁垒。”

　　最后，陈伟总结，根据 DeepL 公布的报告，目前的评测存在三个地方导致难以评估其技术：

　　人工评测的测试数据量仅有 100 句，而一般人工评测或者 BLEU 评测会采用几千句的数量。

　　“报道说其训练引擎是基于一台冰岛超级计算机，可以说深度学习真的很需要计算力。Linguee 本身是一个不错的语料库公司，数据积累有自己的特点，这应该是其引擎优秀表现的一个基础。

　　对于引擎的评测，Linguee引擎的盲测很好，BLEU 值超过其他引擎最优质 3 个百分点（行业通识是，2 个 BLEU 值的提高就可以称作‘显著’）。”

　　对于 BLEU 值究竟能在多大程度上客观反映翻译质量，邹剑宇强调，需要合理看待其参考价值，不可把它等同于普通人面对翻译结果的直观体验：

　　“翻译评测有三类对象：科研人员，译员和普通阅读用户，三者评测的目标和方法不一致。BLEU 是一个科研环境的评测参数，和人的阅读体验感受有很大的不同，不可以同类而论。”

　　他最后忍不住拿自家产品做对比，表示商鹊网的新引擎甚至达到了比谷歌翻译高出 6 个百分点的BLEU 值。NG体育