核心技术

基于15位博士近20年的人工智能技术研究积累,魔珐科技在虚拟数字人相关的各项技术上都取得了重大突破

魔珐科技拥有全栈式端到端虚拟内容制作、虚拟人打造和运营的技术

解决虚拟数字人“有形象”的技术–智能扫描/智能建模/智能绑定
魔珐科技能够实现超写实数字人的智能扫描、建模和绑定,全流程智能化完成面部及身体扫描、建模、绑定、动画、解算和渲染等
解决虚拟数字人“会表演”的技术 – 实时动画生成/实时解算/实时AI变声/实时特效
基于魔珐科技原创的AI技术,能够实现多种智能化动画生成方式    
   全栈式端到端AI表演动画技术:通过演员表演实时捕捉演员的面部表情、眼神、身体动作、手指动作等,并实时驱动到3D虚拟角色上来,生成高质量的表演动画效果。    
   基于语音生成高质量的动画技术:后台无需真人演员驱动,通过语音对话即可快速生成高质量的虚拟数字人动画数据,表演自然流畅。    
   基于指令高效生成动画技术:动画师可通过固定指令智能化、高效地生成动画,例如输入一段音乐虚拟人就会跳舞、输入路线指令虚拟人即可自然行走等
解决虚拟数字人“能说会道”的技术 – 语音合成
实时TTSA(Text to Speech and Animation)技术,使用业界先进的深度学习技术,基于文本实时自动生成高质量的虚拟数字人的语音和动画数据,实现了从简单的语音助手到有形象可交互的虚拟数字助手的转变,可以让客户用最自然的方式和虚拟客服进行对话
解决虚拟数字人“能听懂”的技术 – 语音识别和语义理解
能够更好地理解客户的对话内容,并用丰富、灵活、适应能力强的语义表达出来,让虚拟数字人拥有智能化的大脑
解决虚拟数字人“能看到”的技术 – 视觉感知/情绪识别
打造了人工智能平台:open.xmov.ai    
自主研发了人脸/人体检测、人脸表情/人体动作识别、手势识别、人脸/人体属性识别等能力。同事,突破性地研发除了单相机实时三维人体重建与三维姿态估算技术,是迄今能够通过单个普通彩色相机准确地实时重建人体的三维模型并实时地捕捉人体的三维运动姿态的技术,在线下互动、客厅娱乐、家庭健身、家庭AI助手等领域有着丰富的应用前景
解决虚拟数字人“可被看到”的技术 – 渲染
离线渲染:可实现高质量的离线渲染效果    
实时渲染:采用云端集成渲染技术,能够实现虚拟数字人高质量的实时渲染效果