网易+虚拟人? | 蓝衫科技对话网易伏羲ai团队

本文来自蓝衫科技与网易伏羲的对话:

1网易伏羲大模型有哪些应用情境?

"一块是平面设计,然后是3d角色建模,3d角色动画,还有配音。"

  • 基于网易文本生成预训练模型 "玉言",针对剧本、文章等文本输入形式,进行辅助创作型产品构建支持内容和格式多维度控制的歌词生成
  • 网易伏羲自研的AI 绘画模型 "丹青约"在语义、审美、人文等方面针对中国用户进行了全方位的优化和升级,支持文生图、图生图
  • AIGC 智能捏脸输入照片,自动完成捏脸,与游戏机制深度融合结合,首创文字捏脸玩法用ai技术为游戏玩家创造良好体验
  • 真人影像合成虚拟人多种可选形象,不受限制,支持多种情感&方言&场景的语音合成能力,可用于客服、主播、讲解员等多种场景

2网易伏羲ai绘画模型丹青约有哪些独特之处?

"目前我们没有对外正式使用,现在是大规模使用在我们自己内部的游戏美术,包括Logo、CV图、人物角色、模型等等。"

  • 背靠网易生态和自主知识版权,从 0 到 1 构建全中文生态的图文生成能力
  • 自研模型依托大规模向量引擎和自研中文图文理解技术
  • 模型拥有较强的中文理解能力作品能更好满足中式审美
  • 支持风格定制生成,如二次元、国画等场景,自主微调
  • 高质量训练语料图片使用网易内部游戏美术的高质量图片,保障生成图片的精美度

3网易伏羲丹青约在数据层面有哪些优势?

"一方面是我们这个模型的训练数据, 另一方面是算法安全,或者说生成图片的安全上,其实也做了很多工作,我们自己内部的话会过三道审核。"

  • 网易自研游戏大部分偏国风,在国风、武侠风类占优势
  • 联合网易多个部门,提供对数据的理解和需求,完成对于优质数据的定义
  • 内部沉淀构建训练数据,算法备案,确保数据合规以及生成内容合规
  • 在 prompt 方面,自建中文数据训练,语义理解不需要输入过多的一些修饰词

4网易伏羲虚拟人有哪些优势和应用场景?

只需输入文本或语音,即可驱动真人影像,合成连贯自然的播报表情、唇动、动作,并以实时音视频流进行传输。

  • 上传文本、语音、视频,自动生成目标人物说话视频
  • 支持流式合成,不受文本长度限制显著,降低生成响应时间
  • 基于少量视频数据即可快速合成真人风格虚拟形象采集,训练数据量少,定制成本低
  • 适用于金融、政务客服,电商主播,传媒、教育讲解员等多种场景

5网易伏羲众包平台服务的优势有哪些?

"有些b端用户,也可以在这个平台上,调用平台上api的能力,以及专门做ui的能力,把这些能力整合起来。"

  • 基于平台,可搭建RLHF(Reinforcement Learning from Human Feedback)训练策略,让人工标注员学习实时参与模型训练调优过程
  • 拥有完善的数据标注工具以及全面的技术支持可以有效地完成各种类型的标注任务
  • 筛选典型特征数据人工优先标注,形成数据闭环提升模型效果,实现自动标注
  • 拥有合理的价格体系可以满足不同客户的需求

6网易伏羲与蓝衫科技等科创型企业合作的点有哪些?

"借助我们这个模型来当做一个工具,用 aigc 帮助企业降本增效。"

  • 虚拟直播人形象定制,加上声音定制,嵌入到直播间视频号、抖音,提高带货效率
  • 网易提供了丰富的 API 接口可以方便地接入直播软件和其他应用程序
  • 调用网易API,蓝衫提供企业定制化服务,采用Bottom up模式,提供企业小范围试错机会

订阅
通知
0 评论
内联反馈
查看所有评论
zh_CN
滚动到顶部