腾讯云知文：AutoNLP探索之路

自然语言处理

2019-05-19 13:30--14:30

背景介绍：
在腾讯云AI语义的诸多产品线中，例如BotService、基础NLP、知识图谱等，普遍遇到客户标注数据较少、数据更新频繁的场景，因而常常模型的更新是滞后的。另一方面，复杂深度学习模型的训练、调试有较高的门槛，对资源、人员都有要求，增加了客户使用与维护的成本。

解决思路/成功要点：
大规模预训练语言模型（如BERT、GPT）是18年NLP领域最值得关注的技术成果之一，刷新了数十项NLP任务的表现，在未来几年中一定还有会广泛的进展和应用。腾讯云AI语义团队基于多年NLP与深度学习经验，打造了业内首款中文领域的AutoNLP平台，一方面基于腾讯自有的海量语料（社交、新闻、娱乐）以及腾讯云大规模GPU集群弹性调度能力，AutoNLP内置的预训练模型能力更为强大；另一方面结合腾讯云AI语义的自有模型资源，AutoNLP实现了免代码的多任务自动配置，一键实现loss函数、数据schema自动生成、打通模型自动化训练、测试、灰度部署、正式环境上线全流程。

成果：
AutoNLP作为业内首款专为NLP多任务设计的大规模预训练模型Fine-tune平台，在多个NLP任务上比传统分布式机器学习模型训练框架表现更优。同时，AutoNLP更进一步降低了客户解决实际NLP任务的门槛，真正实现了免代码保持模型的不断迭代、更新。