一知算法顶层算法全面升级,核心技术革新迭代

时间:2021-11-24       来源: 网络整理

纵观人工智能腾飞的这十年,从最初的计算智能,逐渐发展成为以计算机视觉、智能语音为代表的感知智能阶段,随着科技不断地在产业场景中应用落地,不断有人叩问:新一代AI技术是否能通过“图灵测试”,达到“能理解、会思考、有感情”的认知智能阶段?

人机交互作为人工智能的重要研究领域,自然语言处理、意图理解、情绪识别、对话交互和知识推理等一直是其技术迭代升级的主要组成部分。而其中基于基于深度学习的自然语言处理(NLP)研究,在2020年迎来了最繁忙的年份,OpenAI的GPT-3(175B参数)的参数量比Microsoft Research的Turing-NLG(17B参数)高出约10倍。

得益于计算能力的提升、算法框架的优化和大数据的升级等,NLP研究实现了广泛商业化。而一知智能作为一家专注于人机交互领域的杭州市领军型人工智能公司,在首席科学家赵洲的科研成果支持下,以数字化谋效率,向数字化要生产力,致力于为全社会提供高效率的数字员工,在2021年,也迎来了NLP研究全速发力的一年。

大型领域预训练模型

从底层数据来看,提升NLP产品及服务的使用体验,需要贴近真实使用场景的语料库作为更加有效的训练素材。

今年,以首席科学家赵洲老师为核心、算法总监姜兴华为主导的一知智能算法团队训练了消费对话领域十亿级参数的预训练语言模型Yiwise-DNLP。基于Yiwise-DNLP模型,全面升级了意图识别算法、实体抽取算法、对话生成算法。

Yiwise-DNLP采用transformer的模型结构,同时对对话理解和对话生成进行联合建模。使用双向注意力机制,模型对上下文充分理解,并采用解码器使用单向注意力机制,帮助生成对话内容。

Yiwise-DNLP在千亿级token语料上训练,模型参数量高达十亿。模型训练过程使用了多种模型优化算法,包括 shareded data paralleli**、activation checkpointing、model parallel、pipeline parallel等多种策略。

自学习的对话管理系统

对话管理模块控制着人机对话的整个流程,对话管理根据对话历史信息,决定此刻对用户的反应。

在首席科学家赵洲老师的指导下,一知智能算法团队开发了基于强化学习的自学习对话管理系统,能够对系统理解用户输入的不确定性进行建模,让算法来自己学习最好的行为序列。

一知智能构建了用户模拟器,让用户模拟器和对话管理模型进行交互,通过目标评估模型获得Action的Reward,从而获得大量对话管理交互数据。利用强化学习不断优化。该系统支持自学习、可交互学习、在线学习,从而使得对话管理能够快速更新,越来越智能。

多模态情绪识别模型

一知智能使用语音和文本的多模态神经网络模型,进行对话情绪识别。利用海量数据的聊天语料进行模型的预训练。抽取语音特征、文本特征、语音和文本混合特征等多种不同模态的特征,在海量对话语料上训练情绪识别模型,大幅提高了情绪识别准确率。不同模态信息相互补充,可以帮助机器更好地理解情感。

首席科学家赵洲认为,从人机交互角度出发,多模态情感分析可以使得机器在更加自然的情况下与人进行交互。机器可以基于图像中人的表情和手势,声音中的音调,和识别出的自然语言来理解用户情感,进而进行反馈。

算法总监姜兴华说道,AI探索的征程是星辰大海,一知智能作为孜孜不倦的摘星人,致力于在数据底层技术升级的影响下,提升语音识别技术准确率,为Al语音识别的商用渗透提供强大的市场驱动力,让科技的成果在更多应用场景落地,让企业与员工真正感知数字员工的价值。

热门推荐
  1. NO.1 Chrome版本号升至三位有啥影响?Chrome 96-99

    当 Google Chrome 版本号达到 100 切换到三位数之后,网站会如预期那样正常工作还是会出现故障?在 Chrome 96-99 版本中,Google 通过将 User-Agent 字符串中

  2. NO.2 日经:台积电70亿美元熊本厂将制造20nm范围的芯片

    台积电赴日设厂再传出新进展,有消息称台积电计划在熊本县投资70亿美元的工厂将制造20nm范围的芯片,以满足汽车行业和工业应用对芯片日益增长的需求。图源:日经亚洲评论 据《日经亚洲评论》报道,日本之所以

  3. NO.3 特斯拉推送最新版本软件,Model Y加入自动泊车功能

    日前,特斯拉推送了最新软件版本2021.36。根据官方介绍,本次OTA升级主要包含5个方面。 1、改进了全系车型在寒冷天气下的性能表现 冬天即将到来,特斯拉随之提升了车辆在寒冷天气下的整体性能。在全新

  4. NO.4 齐心集团五年战略:企业服务为核,新文具、云视频构建品牌护城河

    11月3日,齐心集团战略发布会暨30周年庆典于深圳圆满落幕。本次发布会以“数智化,共生长”为主题,齐心集团与行业嘉宾、产业互联网专家、合作伙伴、海内外员工等齐聚一堂,围绕产业发

  5. NO.5 乐博乐博机器人教育:聚焦实际应用,助力未来时代

    在7月24日,武汉东湖学院体育馆举行的第20届乐博杯机器人展评活动上,参赛的乐博乐博小队员们目光如炬,沉稳从容,在紧张的角逐中尽显冷静与专注,此时的他们,已经把胜负暂抛脑后,如同一名名真正的抗疫小勇士

  6. NO.6 MapGIS CIM平台 构筑数字孪生城市时空底座

     一、概述  MapGIS城市信息模型(CIM)基础平台(以下简称“MapGIS CIM平台”),突破“BIM+GIS+IOT&rdq

  7. NO.7 网易云音乐PLAY视频计划新举措 “黑胶故事”助力原创音乐人重塑音乐传播路径

    9月10日,网易云音乐推出全新产品功能“黑胶故事”,在黑胶播放页面通过视频的形式呈现歌曲背后的故事,赋予音乐更多的视觉体验。即日起,音乐人均可通过在网易云音乐上传并发布音乐视频

  8. NO.8 中国信通院致信UCloud优刻得:感谢在“通信大数据行程卡”防疫中做出贡献

    近日,中国信通院致信UCloud优刻得,高度肯定了UCloud优刻得在疫情高发期间,发扬政治责任感、使命感,以优良工作作风,与信通院通力配合,保障“通信大数据行程卡”平稳运行。