勾引 户外 国产文生视频大模子“筑梦”亮相 助央视制作AI动画片《千秋诗颂》
记者 俞怡然勾引 户外
在日前举行的中国首部AI动画片《千秋诗颂》启播暨中央播送电视总台东说念主工智能职责室揭牌典礼上,上海东说念主工智能施行室研发的文生视频大模子“书生·筑梦”亮相。这个AI模子仍是开源,授权用户单元免费商用。它的参数目超越30亿,可把柄输入的辅导词生成有故事性、含多镜头的分钟级视频,具有转场融会、故事连贯、画质高清等特色。
“由于数据、算力等资源放胆,‘筑梦’在视频生成智商、时长、质地上与Sora还存在差距。”上海东说念主工智能施行室领军科学家林达华说,“跟着同总台的深度配合,施行室研发的模子在对中中文化的领悟线路,以及与媒体编创本色坐蓐经过的交融上,慢慢显表露特色上风。这类产研勾通的新手艺发展形状,将使我国AI手艺发展走出互异化说念路,并造成咱们的文化特色。”
国内首部文生视频动画问世
上海东说念主工智能施行室是我国东说念主工智能规模的新式科研机构,开展计策性、原创性、前瞻性的科研和手艺攻关,旨在冲破东说念主工智能的进犯基础表面和环节中枢手艺,支握我国东说念主工智能产业已矣超越式发展。现时,施行室已集合高校和企业,确立出“书生·浦语”“书生·浦语灵笔”“书生·浦语数学”等一系列大模子,并通过GitHub等平台已矣开源,并赐与企业和确立者免费商用授权,打造大模子开源改换生态。
“书生·筑梦”是“书生”系列大模子之一,可赋能视频创作。它与文生视频框架AnimateDiff以及可控图像生成、图像驱动等手艺勾通勾引 户外,在动画片等视频规模有雄壮的应用远景。其中,文生视频框架AnimateDiff无需罕见的数据网罗和定制化磨练,就能一次性、快速地为大多数个性化文本转图像模子提供动画恶果。用这个框架制作的AI视频已亮相本年央视春晚,成为歌曲《枕着光的她》中温馨的动画布景。
旧年,上海东说念主工智能施行室与中央播送电视总台初始配合。旧年7月,两边聚拢髻布“央视听媒体大模子”。这是国内首个专注于视听媒体内容坐蓐的大模子,汇注了总台的海量视听数据和施行室的原创先进算法、大模子磨练基础次第上风。
林达华先容,“央视听媒体大模子”包含新闻助手、数字东说念主、文生视频、动画制作、场景渲染等功能板块,交融了“书生·浦语”大谈话模子、“书生·筑梦”文生视频大模子等AI多模态产物。
如今,运用“书生·筑梦”等AI用具制作的系列动画片《千秋诗颂》已完成,将从2月26日起在总台玄虚频说念(CCTV-1)播出。这一国内首部AIGC(东说念主工智能生成内容)系列动画片共26集,每集约7分钟,其好意思术谋划、动效生成和后期成片均由东说念主工智能提拔制作,具有里程碑真理。
有望造成互异化外洋竞争力
《千秋诗颂》聚焦国度统编语文课本里的200多首诗词,依托“央视听媒体大模子”,将这些诗词转变制行为国风动画。节目首批推出《咏鹅》等6集诗词动画,再现古典诗词中凝华的家国心扉和东说念主间真情,让不雅众格外是青少年感受到中中文化的遥远魔力,在内心厚植文化自信。
大模子是如何生成这部动画片的?林达华展示了一些制作法子:在“央视听媒体大模子·AIGC动画制作”界面上,上传一张唐朝后生男人的“参考立场图片”,随后在“观点佛营描摹”文本框里输入“中国风,唐朝,中年,秀美,男性,淡绿色穿戴”,几秒钟后,一个适应这些辅导词的动画东说念主物形象就出当今屏幕上。
按照这个经过,动画片里的多样唐朝东说念主物很快出身,检朴了动画东说念主物好意思术谋划的精深东说念主力和时候资本。“中国风,唐朝,女孩,清翠,粉白色裙子”“中国风,唐朝,军官,年事较大,男性,严肃”“中国风,唐朝,丁壮,男性,灰色帽子和灰色服装”……记者看到,大模子生成的东说念主物形象皆与辅导词相符,画风也颇为良好。
据先容,这些动画东说念主物的衣饰皆适应唐代衣饰特色。不仅如斯,动画片里的建筑、器皿、摆件等说念具也皆有历史依据,参考了博物馆文物和相干图片。如片中的熏香炉源自陕西历史博物馆的“透雕忍冬纹五足银熏炉”;孟浩然桌上的茶具是由AI手艺回话的唐代“七星盘”;城门则是在参考唐代丹凤门的基础上,用AI手艺立场化惩办后创作而成。
在磨练“书生·筑梦”时,科研团队和节目导演给它输入了精深包含中国传统文化的精确数据,让它能生成有历史依据的东说念主物、场景等图片,其好意思术立场具有中国水墨画和工笔画的特质。
在场景和建筑好意思术谋划法子,输入“中国风,唐朝,官员请客厅”等辅导词后,“书生·筑梦”即可再现大唐场景。在提拔动效生成法子,中式一张官员图片,再输入“唐朝,一个官员,捧腹大笑”,就生成了官员端起羽觞大笑的短视频。
AIGC手艺制作的动画片质地到底如何?近日播出后,将由不雅众评判。在林达华看来勾引 户外,这种科研机构与传媒机构配合的手艺发展形状,有望造成互异化的外洋竞争力,已矣科技和文化的协同改换。