网易+虚拟人? | 蓝衫科技对话网易伏羲AI团队

本文来自蓝衫科技与网易伏羲的对话:

1网易伏羲大模型有哪些应用情境?

“一块是平面设计,然后是3D角色建模,3D角色动画,还有配音。”

  • 基于网易文本生成预训练模型“玉言”,针对剧本、文章等文本输入形式,进行辅助创作型产品构建,支持内容和格式多维度控制的歌词生成
  • 网易伏羲自研的AI绘画模型“丹青约”,在语义、审美、人文等方面针对中国用户进行了全方位的优化和升级,支持文生图、图生图
  • AIGC智能捏脸,输入照片,自动完成捏脸,与游戏机制深度融入结合,首创文字捏脸玩法,用AI技术为游戏玩家创造良好体验
  • 真人影像合成虚拟人,多种可选形象,不受限制,支持多种情感&方言&场景的语音合成能力,可用于客服、主播、讲解员等多种场景

2网易伏羲AI绘画模型丹青约有哪些独特之处?

“目前我们没有对外正式使用,现在是大规模使用在我们自己内部的游戏美术,包括Logo、CV图、人物角色、模型等等。”

  • 背靠网易生态和自主知识版权,从0到1构建全中文生态的图文生成能力
  • 自研模型,依托大规模向量引擎和自研中文图文理解技术
  • 模型拥有较强的中文理解能力,作品能更好满足中式审美
  • 支持风格定制生成,如二次元、国画等场景,自主微调
  • 高质量训练语料图片,使用网易内部游戏美术的高质量图片,保障生成图片的精美度

3网易伏羲丹青约在数据层面有哪些优势?

“一方面是我们这个模型的训练数据, 另一方面是算法安全,或者说生成图片的安全上,其实也做了很多工作,我们自己内部的话会过三道审核。”

  • 网易自研游戏大部分偏国风,在国风、武侠风类占优势
  • 联合网易多个部门,提供对数据的理解和需求,完成对于优质数据的定义
  • 内部沉淀构建训练数据,算法备案,确保数据合规,以及生成内容合规
  • 在prompt方面,自建中文数据训练,语义理解不需要输入过多的一些修饰词

4网易伏羲虚拟人有哪些优势和应用场景?

只需输入文本或语音,即可驱动真人影像,合成连贯自然的播报表情、唇动、动作,并以实时音视频流进行传输。

  • 上传文本、语音、视频,自动生成目标人物说话视频
  • 支持流式合成,不受文本长度限制,显著降低生成响应时间
  • 基于少量视频数据即可快速合成真人风格虚拟形象,采集训练数据量少,定制成本低
  • 适用于金融、政务客服,电商主播,传媒、教育讲解员等多种场景

5网易伏羲众包平台服务的优势有哪些?

“有些B端用户,也可以在这个平台上,调用平台上API的能力,以及专门做UI的能力,把这些能力整合起来。”

  • 基于平台,可搭建RLHF(Reinforcement Learning from Human Feedback)训练策略,让人工标注员实时参与模型训练调优过程
  • 拥有完善的数据标注工具,以及全面的技术支持,可以有效地完成各种类型的标注任务
  • 筛选典型特征数据人工优先标注,形成数据闭环,提升模型效果,实现自动标注
  • 拥有合理的价格体系,可以满足不同客户的需求

6网易伏羲与蓝衫科技等科创型企业合作的点有哪些?

“借助我们这个模型来当做一个工具,用AIGC帮助企业降本增效。”

  • 直播虚拟人形象定制,加上声音定制,嵌入到直播间视频号、抖音,提高带货效率
  • 网易提供了丰富的API接口,可以方便地接入直播软件和其他应用程序
  • 调用网易API,蓝衫提供企业定制化服务,采用Bottom up模式,提供企业小范围试错机会

订阅
通知
0 评论
得票最多
最新 古老
内联反馈
查看所有评论
Scroll to Top