近期,网易有道在翻译技术领域取得了重大突破,成功研发出基于自研“有道翻译大模型2.0”的140亿参数小模型专用版,这一消息由AsianFin获悉。
这款新型翻译模型不仅保持了高水平的翻译质量,更在降低计算资源消耗、减少部署成本以及提升与现有系统和设备的兼容性方面表现出色。此次升级使得该技术得以更广泛地应用于实际场景中。
网易有道已将这一大型模型驱动的翻译技术融入其有道词典、有道翻译及有道翻译官等产品中。用户现在可以在标准模型与高级模型之间进行无缝切换,享受更加灵活高效的翻译服务。
网易有道还将其大型模型集成至智能硬件产品中。其中,有道词典笔X7系列已率先升级至最新版本,其他设备也将陆续跟进。
大型语言模型的性能并非单纯由参数数量决定,数据质量、领域适应性以及算法优化同样至关重要。网易有道的140亿参数小模型专用版在数据处理方面取得了显著进展,利用由资深英语专家和专业翻译人员精心标注的高质量翻译语料库,极大地提升了模型在多种翻译场景下的应对能力。
在算法层面,有道在“有道翻译大模型”的基础上进行了二次预训练,打造出兼顾专业准确性和领域特异性的翻译基础模型。通过采用大型模型蒸馏、模型融合及在线直接偏好优化(Online DPO)等技术,有效避免了灾难性遗忘问题,同时在操作效率、准确性和流畅性方面显著提升了翻译性能。
为了评估模型性能,有道开发了一款名为“Reward Model”的翻译评估工具,该工具利用积累的翻译数据为评估提供可靠的量化基础。同时,结合全面的手工评估框架,实现了对模型翻译结果的多维度分析。
“有道翻译大模型2.0”在中文到英文的翻译方面,尤其是在垂直领域场景中,表现出色。有道内部评估显示,新模型在人文、商务、生活服务、医疗健康及科学等19个垂直领域均展现出更高的准确性和流畅性。在专业性、准确性、语言规范及风格方面均优于前代版本。
网易有道相关负责人强调了垂直模型的重要性:“通用大模型在参数和计算能力上竞争激烈,但翻译的专业性不能仅凭参数堆叠实现。在通用大模型竞相扩大规模的同时,我们坚信垂直模型的未来价值。我们致力于通过专用应用解决专业场景中的痛点。”
在大模型技术兴起之前,有道的翻译解决方案主要基于统计机器翻译和神经机器翻译(NMT)。如今,有道的翻译产品已拥有超过10亿用户。据Quest Mobile数据显示,网易有道词典月活跃用户已突破1亿,自2019年以来连续六年蝉联教育工具类榜首。