日期::2024-09-12作者:网友整理人气:
当会员在 Netflix 上看到一个标题时,显示的艺术作品、预报片和简介都是个性化的。这意味着成员会看到最有可能帮助他们做出明智选择的资产。这些资产是会员决定观看或不观看节目的重要信息来源。Netflix 上的故事是多维的,单个故事可以通过多种方式吸引不同的成员。我们希望向会员展示对他们做出观看决定最有帮助的图片、预报片和简介。
在之前的博客文章中,我们解释了我们的艺术作品个性化算法如何为每个成员挑选最佳图像,但我们如何创建一组好的图像以供选择?假如您正在设计资产套件,您希望拥有哪些数据?
在这篇博文中,我们讨论了两种创建有效艺术品的方法。大体上,它们是:
自上而下的方法,我们先发制人地确定要调查的图像属性,这是我们最初的信念。
自下而上的方法,我们让数据自然地呈现重要趋势。
宣传画的作用精彩的宣传媒体可帮助观众发现他们会喜欢的影片。除了帮助会员快速找到符合他们口味的标题外,他们还帮助会员发现新内容。我们想要制作引人注目且与个人相关的艺术品,但我们也想真实地代表标题。我们不想制作点击诱饵。
举个例子:《紫心》是一部关于一位有抱负的歌手兼词曲作者的电影,他承诺为了权宜之计与一名即将部署的海军陆战队员联姻。 这个标题的故事情节可能会吸引浪漫以及军事和战役主题的粉丝。这反映在我们的这个标题的艺术套件中。
标题为紫心的图片
创意见解为了创建相关、有吸引力和真实的套件,我们依赖对标题非常了解的创意策略师和设计师来为即将推出的标题推荐和创建准确的艺术。为了补充他们的领域专业知识,我们构建了一套工具来帮助他们寻找趋势。通过检查 Netflix 上已经发布的数千部影片过去的资产表现,我们实现了艺术与科学的完美交集。然而,这种方法也有一些缺点:手动清理大量数据非常乏味,而且以这种方式寻找趋势可能是主观的,并且轻易受到确认偏差的影响。
创作者通常拥有多年的经验和专业知识,知道什么是一件好艺术品。然而,测试我们的假设仍旧很有用,尤其是在我们在 Netflix 产品上使用的特定画布的背景下。例如,在电影海报等传统媒体中有效的某些传统艺术风格可能无法很好地转化为您客厅中的 Netflix 用户界面。与电影海报或实体广告牌相比,电视屏幕和手机上的 Netflix 图稿具有非常不同的尺寸、宽高比和关注度。因此,我们需要研究艺术品在我们独特的用户界面上的有效性,而不是从既定的设计原则中进行推断。
鉴于这些挑战,我们开发了数据驱动的建议,并以可操作、用户友好的方式将其呈现给创作者。这些见解补充了他们广泛的领域专业知识,以帮助他们创建更有效的资产套件。我们以两种方式做到这一点,一种是自上而下的方法,可以找到过去运作良好的已知特征,另一种是自下而上的方法,在没有先验知识或假设的情况下呈现图像组。
自上而下的方法在我们自上而下的方法中,我们使用属性描述图像并找到使图像成功的特征。我们与专家合作,根据他们先前的知识和经验来识别大量特征,并使用计算机视觉和机器学习技术对其进行建模。这些特征的范围从低级特征(如颜色和纹理)到高级特征(如面孔数量、构图和面部表情)。
我们可能为此图像捕捉的特征示例包括:人数(两个)、他们面对的位置(彼此面对)、情绪(中性到积极)、饱和度(低)、存在的物体(军装)
我们可以使用预先练习的模型/API 来创建其中的一些功能,例如人脸检测和对象标记。我们还为预练习模型不足的功能构建内部数据集和模型。例如,常见的计算机视觉模型可以告诉我们,一幅图像包含两个面带快乐面部表情的人他们是朋友还是恋爱关系?我们构建了人在回路中的工具来帮助专家快速高效地练习 ML 模型,使他们能够为主观和复杂的属性构建自定义模型。
一旦我们描述了具有特征的图像,我们就会采用各种猜测和因果方法来提取关于哪些特征对于有效艺术作品最重要的洞察力,这些特征被用来为即将推出的作品创作艺术作品。一个例子是,当我们查看目录时,我们发现单人肖像往往比多人肖像表现更好。
单人人物肖像
自下而上的方法
自上而下的方法可以提供由数据支持的清楚的可操作见解,但这些见解仅限于我们能够预先识别并通过计算建模的功能。我们使用自下而上的方法来平衡这一点,在这种方法中我们不做任何事先的预测,并让数据浮出水面的模式和特征。在实践中,我们展示相似图像的集群,并让我们的创意专家从这些组中获得见解、模式和灵感。
我们用于图像聚类的一种方法是利用大型预练习卷积神经网络来模仿图像相似性。来自早期层的特征通常对颜色、边缘、纹理和外形等低级相似性建模,而来自最终层的特征根据任务对图像进行分组(例如,假如模型被练习用于对象检测,则相似对象)。然后我们可以使用无监督聚类算法(如 k-means)在这些图像中找到聚类。
使用上面的示例标题, 《紫心》中的角色之一是海军陆战队。查看来自相似标题的图像集群,我们看到一个集群包含通常与军事和战役图像相关的图像,以穿着军装的角色为特色。
与军事和战役相关的图像示例集群。
从上面的集群中抽取一些图像,我们看到许多穿着制服的士兵或军官的例子,有些拿着武器,面部表情严厉,看着镜头。创作者可以在下面的集群中找到这种图像模式,使用性能数据确认该模式在过去运作良好,并以此为灵感来创作最终的艺术作品。
创作者可以从左侧群集中的图像中汲取灵感,并使用它为新标题创建有效的艺术作品,例如右侧的紫心图像。
同样,标题有一个浪漫的故事情节,所以我们找到了一组表现浪漫的图像。从这样的集群中,创作者可以推断出身体上的亲密接触和肢体语言传达了浪漫,并以此为灵感来创作下面的艺术作品。
另一方面,创意人员也可以使用这些集群来了解不该做什么。例如,下面是同一个集群中的图像,上面有军事和战役图像。假如,假设地说,他们得到了历史证据表明这些类型的图像在给定的画布上表现不佳,创意策略师可以推断出高度饱和的轮廓在这种情况下效果不佳,通过测试确认建立因果关系,并决定不将其用作他们的头衔。
创作者还可以发现过去不起作用的模式,并避免将其用于未来的作品。
成员聚类
另一个补充技术是成员聚类,我们根据成员的偏好对成员进行分组。我们可以通过查看行为对他们进行分组,或者还可以利用我们的图像个性化算法来找到对同一图像资产做出积极响应的成员组。当我们在许多标题中观察这些模式时,我们可以学习猜测哪些用户群可能对标题感爱好,我们还可以了解哪些资产可能与这些用户群产生共鸣。
例如,假设我们能够将 Netflix 会员分为两大类一个喜欢浪漫,另一个喜欢动作。我们可以看看这两组成员在发布后对标题的反应。我们可能会发现 80% 的Purple Hearts观众属于浪漫类,而 20% 属于动作类。此外,我们可能会发现有代表性的浪漫粉丝(例如,聚类质心)对明星情侣拥抱的图像反应最积极。同时,动作组中的观众对战场上士兵的图像反应最强烈。当我们在许多游戏中观察这些模式时,我们可以学习猜测哪些用户集群可能对即将推出的类似游戏感爱好,我们还可以了解哪些主题可能会与这些用户集群产生共鸣。这些见解可以指导未来作品的艺术创作策略。
结论
我们的目标是赋予创意人员以数据驱动的洞察力,从而创作出更好的艺术品。自上而下和自下而上的方法从不同角度接近这个目标,并提供具有不同权衡的见解。
自上而下的特性具有易于解释和测试的长处。另一方面,对相互作用和特征组合的影响进行建模相对困难。捕捉复杂的图像特征也具有挑战性,需要自定义模型。例如,有许多视觉上不同的方式来传达爱的主题:心形表情符号、两个人牵手,或者人们注视对方的眼睛等等,这些在视觉上都是非常不同的。自上而下方法的另一个挑战是我们的较低级别的功能可能会错过真正的潜在趋势。例如,我们可能会检测到绿色和蓝色是自然纪录片的有效特征,但真正推动有效性的可能是对森林或海洋等自然环境的描绘。
相比之下,自下而上的方法对复杂的高级特征及其组合进行建模,但它们的见解较难解释和主观。两个用户可能会查看同一组图像并提取不同的见解。然而,自下而上的方法是有价值的,因为它们可以呈现意想不到的模式,提供灵感并为创造性探索和解释留出空间,而不是规定性的。
这两种方法是互补的。无监督集群可以产生可观察的趋势,然后我们可以使用这些趋势来创建新的可测试的自上而下的假设。相反,自上而下的标签可用于描述无监督集群,以揭示我们乍一看可能没有发现的集群内的共同主题。我们的用户综合来自两个来源的信息来设计更好的艺术品。
我们当前的模型没有考虑到许多其他重要的考虑因素。例如,图像本身以外的因素可能会影响其效果,例如名人在当地的受欢迎程度、审美偏好的文化差异或某些主题的描绘方式、会员当时使用的设备等等。随着我们的会员基础变得越来越全球化和多样化,这些都是我们需要考虑的因素,以创造包容和个性化的体验。
致谢
假如没有我们在创意创新领域的跨职能合作伙伴,这项工作是不可能完成的。我们要特殊感谢 Ben Klein 和 Amir Ziai 帮助构建我们在此描述的技术。
作者:Grace Tang、Aneesh Vartakavi、Julija Bagdonaite、Cristina Segalin和Vi Iyengar
出处:https://netflixtechblog.com/discovering-creative-insights-in-promotional-artwork-295e4d788db5