百科问答小站 logo
百科问答小站 font logo



god bless us 为什么百度翻译是辛巴? 第1页

  

user avatar   SeptEnds 网友的相关建议: 
      

先吐个槽,回答里没一个懂机器翻译的,更没一个有相关工业界经验的。无非是 diss 百度辣鸡嘛,有什么意思呢?然后开始正文,讲讲为什么会出现这种现象。


从算法上讲,@颜如玉 的答案没什么问题。现在还在商用的机器翻译系统基本上就两种:

  • 统计机器翻译。主要应用在小语种上,针对平行语料数据量较少的情形。特点是翻译结果忠实度更高,流畅性不足。
  • 神经网络机器翻译。随着平行语料数据量的增加,翻译质量会不断提高,因此主要用在各大主流语言上,特点是翻译结果流畅性很好,但忠实度不足,不耐噪音,例如输入的原文有一点小错误(引号不成对、有一个错别字等等)就可能会导致半句话从翻译结果里消失。

中英文都是大语种,再加上百度翻译的新闻稿,基本可以确定百度中英翻译使用的是神经网络机器翻译。除非你运气不太好,被百度 A/B 测试分到统计机器翻译的桶里去了;或者是神经网络机器翻译由于某种巧合出错了,系统返回了统计机器翻译的结果作为兜底。


但这个问题显然不是算法问题,而是工程问题。算法是需要平行语料训练的,数据从哪儿来?主要来源有:

       1、花钱买 2、自己标 3、公开数据集 4、爬虫爬     

1 要花钱,2 费时费力,3 各大厂商都可以用做不出来花,还剩啥?4。

爬虫怎么爬?一是直接找双语平行语料,例如有些机构的文章会用中英文双语写成(大多是篇章级别对齐的),爬下来以后再进行分段、分句、对齐,就得到了句级别的平行语料。二是找可比语料,例如我知道某个术语的中英文分别是什么,就去找它们的维基百科页面。虽然两个页面不一定互为翻译(往往英文页面的内容比中文页面丰富得多),但是常常能找到有一些句子是互为翻译的。把两个页面爬下来以后,再用现有的机器翻译系统或其他方法进行打分,置信度高的句对就认为是平行句对,可以加到训练语料中。

搜索“辛巴 god bless us”,可以找到一个豆瓣页面,里面有一行内容:

2011-08-05 10:10:19 辛巴 (god bless us)

所以……大概率是百度的爬虫把这位用户的用户名“辛巴”和个性签名"god bless us"当成平行句对加到自家的翻译系统里了。

同时,由于 God bless us 的翻译结果是正常的,我们还可以确定百度翻译的分词器是大小写敏感的(case-sensitive),而非先 lower case 再 recase。




  

相关话题

  如何用简单易懂的例子解释条件随机场(CRF)模型?它和HMM有什么区别? 
  ”1/4中俄混血“用英文怎么说? 
  如何评价MXNet发布的1.0版本? 
  在县比市大的美国,为什么在中文里不直接把 county 翻译成更容易理解的「市」? 
  四六级考试有哪些神翻译? 
  如何评价深度学习之父Hinton发布的Capsule论文? 
  机器学习中的优化理论,需要学习哪些资料才能看懂? 
  最近在知乎投广告的 Rokid 是什么来头?号称国产 AI 智能产品,技术上有这么厉害? 
  如何用中国特有的语言风格翻译《冰与火之歌》? 
  如何翻译“调性”? 

前一个讨论
日本的县领导为什么不叫县长而叫知事?
下一个讨论
如何看待开源中国Gitee在不通知用户的情况下突然禁止图床外链访问,导致用户权益受损的行为?





© 2024-12-22 - tinynew.org. All Rights Reserved.
© 2024-12-22 - tinynew.org. 保留所有权利