3D图像视觉与图形学未来发展有着重大意义
署名2021-01-08

3D-FRONT是由阿里巴巴淘系技术部(赵斌强、付欢、贾荣飞、蔡博文等),西蒙弗雷泽大学(张皓教授),中科院计算所(高林、张凌霄)合作开源的大型3D图像场景数据集,其填补了学界3D图像场景布局数据的空白。这对于推进学术研究与工业落地紧密结合,以及3D图像视觉与图形学未来发展有着重大意义。  

Chinagraph(中国计算机图形学大会)是由中国计算机学会、中国自动化学会、中国图学学会、中国图象图形学会、中国系统仿真学会、香港多媒体及图像计算学会于1996年发起主办,迄今已举办12届,是中国计算机图形学界最高级别的学术会议。  

大会今年首次设立图形开源数据集奖。奖项的目的是为了表彰向公众提供计算机图形学相关的开源数据集的华人学者、企业及学生。“图形开源数据集奖”颁发给阿里淘系技术,表彰了3D-FRONT帮助他人能够快速验证已有方法,推动领域内新技术的发展,并为提升计算机图形学领域的影响力做出重要贡献。  

3D图像场景理解是打造数字化世界的基础核心研究课题,且依赖与大量数据进行相关模型训练。然而,学界开源场景数据严重缺乏,特别是具有高质量布局与室内设计的数据集。导致3D图像场景的研究与远无法满足现实工业落地需求。这是当下学界与业界亟须解决的问题。  

阿里巴巴作为世界级电商巨头,其官方家装家居设计平台---“躺平设计家”积累了海量高质量家居设计方案。以这些真实专业场景设计为基础,阿里巴巴淘系技术部结合3D人工智能技术,打造了场景数字化营销,推出了智能设计搭配服务,创造了大量精美场景布局与设计数据,并基于此组织了3D-FRONT开源项目。  

3D-FRONT(3D-FRONT:3DFurnishedRoomswithlayOutsandsemaNTics)包含6,813不同的真实户型,户型由51,708房间组成。这些房间可以被细分成28种类型,其中19,775房间含有人工验证过的精美室内设计信息。房间内的高质量模型来自于阿里巴巴大型家具模型开源项目3D-FUTURE(3DFUrnitureshapeswithTextURE)。  

阿里巴巴智能设计在多个家居业务发挥着核心的作用,包括躺平轻应用智能创作,淘宝购后猜你喜欢,智能客服推荐,ICBU3DVirtualHome等。在3DVirtualHome会场业务中,阿里巴巴淘系技术部利用智能室内设计技术生成了近8000套精美户型设计,在导购会场浏览时长提升了3倍,带动大家装行业的实收交易额同比增长130%。  

基于场景数据集的AI智能设计产品——3D鲁班,依托躺平设计家超百万的真实尖货商品模型库,平台能快速组合商家的真实商品模型并根据客户行为洞察呈现出“千人千面”AI智能设计样板间。未来,将有越来越多的家居品牌商家会因此受益。  

3D-FRONT自开源以来,受到学界广泛关注,并持续吸引者国内外顶尖机构与企业,例如斯坦福,清华,谷歌,Facebook等,在该数据集上开展学术研究。阿里巴巴将持续维护并提升3D-FRONT场景开源项目,以推动3D图像视觉与几何领域内新技术的发展与革新。