Derivative TouchDesigner Pro是一款专业级实时视觉开发工具,它为艺术家和设计师提供了创造互动式媒体表演、装置和数字艺术的平台。TouchDesigner的界面基于节点系统,每个节点代表一个功能,比如音频处理、数据编辑或3D几何体操作。用户可以通过连接这些节点,形成复杂的数据处理链路,创造出视觉震撼且动态的视觉效果。

naivelaser_1200_03_0

该软件支持多种输入和输出设备,包括摄像头、音频接口、传感器和MIDI设备,使得TouchDesigner在现场表演艺术中得到了广泛应用。项目可以实时反馈用户和环境的互动,从而带来独特的观众体验。TouchDesigner的高级特性,如GPU加速渲染和Python脚本集成,更是为专业用户带来了高度的灵活性和控制能力。

对于寻求创新的视觉装置或表演艺术的开发者来说,TouchDesigner Pro提供了丰富的资源和社区支持,包括详细的教程、举办的研讨会和实例项目,帮助用户快速掌握其中的技术和艺术。不断更新的功能和改进的用户体验,保持TouchDesigner Pro在视觉设计和交互媒体领域的领先地位。

投影映射
TouchDesigner 结合内置 3D 模拟真实世界对象、多投影仪输出和超分辨率视频引擎,可用于任何投影映射项目。

互操作性
对输入设备、网络连接、视频和音频设备以及基于网络的通信的本机支持。TouchDesigner 是将所有这些整合在一起的中心。

性能媒体系统
超分辨率视频播放可最大限度地提高您的硬件性能,让您事半功倍。完全可定制性,可根据任何独特要求打造媒体服务器。

应用程序构建
TouchDesigner 允许在一个集成环境中构建应用程序引擎和用户界面。创建从简单的功能原型到完整的精美应用程序的任何内容。

大多数应用程序都需要一个技术或面向用户的界面来控制系统。广泛的控制面板功能集允许自定义界面和逻辑。设计一个前端 UI,使其具有您想要的任何外观或功能。支持全方位的交互,例如基于鼠标或触摸屏的控制面板、3D 虚拟环境的控制、手势输入和多人交互。

实验和迭代是 TouchDesigner 设计理念的核心,使其成为最快、最灵活的快速原型设计工具之一。安装和现场表演通常直到演出开始前不久才进行物理构建,但在 TouchDesigner 中,您还可以构建项目的预可视化,以进行创造性实验并测试技术解决方案。确认一切正常,并在前往现场之前做好尽可能的准备。

Derivative TouchDesigner Pro特征

  • 使用您选择的自定义参数来设计模块化和可重复使用的组件。使封装工作变得容易。 
  • 使用滑块、按钮、文本字段、容器、3D 对象,并完全自定义外观和逻辑。 
  • 新的面板锚点可以轻松创建成比例、可拉伸的控制面板。 
  • 现在可以使用自定义参数来自定义任何组件。 
  • 通过新的参数 COMP,在您自己的界面中使用 TouchDesigner 内置参数。 
  • 面板中包含的即用型 UI 小工具让您可以通过简单的拖放操作来构建控制面板。 
  • 在一个沉浸式环境中设计与任意数量的输入和输出设备的全方位交互。
  • 文件和组件的隐私控制使您可以控制谁可以查看和访问您的工作。

1.OAK-D支持

在 Derivative,我们一直在寻找新设备来帮助创作者感知周围的环境。我们注意到Luxonis 几年前推出的 新型OAK-D相机,并于 2023 年为 TouchDesigner 提供了全面支持。三个操作员共同努力实现 OAK 功能, OAK Device CHOP 是相机的主界面设备, OAK Select CHOP从 OAK Device CHOP 的结果中提取通道和数据 ,OAK Select TOP从相机中提取处理后的图像。  

除了颜色、深度、红外夜视和主动立体等各种传感器选项外,这些摄像头还包括设备上的神经网络和计算机视觉功能。通过在设备上运行 AI 模型,可以减少系统上的 CPU 和 GPU 使用率,从而为 TouchDesigner 和其他应用程序留下更多开销。人工智能模型可以定制并上传到设备,深度人工智能包括一个模型库,包括姿势估计、手部跟踪、属性识别、文本检测和 OCR、图像分割等等。我们有很多 TouchDesigner 示例,可帮助您在“帮助”>“浏览示例”>“OAK”下进行操作。

有多种相机可供选择,起价合理为 149 美元,有 USB 和 POE 选项,我们的支持涵盖 Windows 和 macOS。这些相机将为任何人的互动项目带来巨大的补充。

2.追踪

随着最近宣布的 Microsoft Kinect 和英特尔实感设备开发即将结束,我们希望为 TouchDesigner 带来一些用于人体跟踪和深度捕获的新技术。除了 OAK-D 提供的跟踪选项(见上文)外,我们还添加了四个由机器学习支持的额外跟踪数据源。

作为 Kinect Azure 的几乎直接替代品,Kinect Azure CHOP现在还支持Orbbec Femto Mega和Bolt相机,它们都使用相同的 Kinect 身体跟踪模型执行骨骼跟踪。此外,我们用于深度和点云数据的新Orbbec TOP将支持 Orbbec 更广泛的相机,因此创作者将有多种选择。

我们多年来一直支持Stereolabs ZED相机,但 2023 年将为ZED CHOP带来完整的骨骼追踪功能,并为ZED TOP 带来神经质量深度相机输出。

Ultraleap 的Leap Motion传感器已更新至最新的 Gemini v5 跟踪,现在全面支持 macOS 上的 Apple Silicon 和 Intel Mac。

最后,如果您没有任何这些摄像头,但您的系统具有支持 RTX 的 Nvidia GPU,您现在可以使用新的Body Track CHOP从任何 TOP 图像中跟踪最多 34 个 2D 和 3D 关键点,即它来自视频或实时摄像头。

3.时间码工具

很多人都依赖时间码进行现场表演、现场制作、同步内容等。为此,我们在整个 TouchDesigner 中彻底集成了Timecode。

这从新的时间码 CHOP开始,它生成时间码并提供播放控制。可以创建时间码以遵循 SMPTE 标准,或者遵循更通用的格式,包括负时间码和超过 24 小时的值。

此外,几乎所有在 TouchDesigner 中处理时间的运算符都已更新为包含时间码成员,并且在某些情况下也可以由时间码驱动。例如,可将诸如 Movie File In TOP、Timer CHOP 和 LTC CHOP 等收藏夹中的播放模式参数设置为使用时间码 CHOP、DAT 或对象。还有一个新的时间码类可以通过 python 管理这一切。这些工具将协同工作,帮助同步 TouchDesigner 项目的各种输入和输出。

4.新的编解码器

TouchDesigner 现已获得Apple ProRes编解码器认证,可在 Windows 和 macOS 上对 Movie File In TOP 进行 ProRes 播放,并对 Movie File Out TOP 进行 ProRes 编码。Apple ProRes 以其高图像质量而闻名,并且还提供出色的实时擦洗性能。在 macOS 上,ProRes 是硬件加速的,充分利用 Apple Silicon 的媒体引擎进行编码和解码。

5.设备运营商

Mo-Sys Startracker是广播和电影制作阶段流行的专业虚拟制作摄像机跟踪解决方案。该系统是一种基于标记的光学跟踪器,可通过镜头变焦和聚焦提供 6 轴跟踪。我们的新型MoSys CHOP从摄像机跟踪系统接收数据,然后其通道可用于控制虚拟摄像机,而MoSys TOP可用于应用正确的镜头畸变。

新的激光设备 CHOP现在可以处理 TouchDesigner 支持的所有激光设备,用一个激光设备 CHOP 取代 EtherDream CHOP 和 Helios DAC CHOP。我们更新了 EtherDream 支持以包括 EtherDream 3 和 4,并修复了其中的一些错误。此外,TouchDesigner 首次支持 ShowNET,为 Laserworld 的激光设备提供支持。使用 激光 CHOP 生成要发送到激光设备 CHOP 的点,请务必查看操作员片段以获取示例以帮助您入门。

SICK制造 LiDAR 设备来检测、定位和跟踪 2D 或 3D 物体。新的SICK TOP将连接到 SICK 传感器并提供从周围环境实时捕获的 3D 数据点云。

我们还推出了新的音频设备 DAT和视频设备 DAT,用于监视系统上的音频和视频设备。这些 DAT 提供的信息包括驱动程序版本、输入或输出方向、标签、名称,并且它们都包含回调脚本,用于在设备连接到计算机或从计算机断开连接时采取操作。

6.新干员

从新的Bloom TOP开始 ,为任何 TOP 网络添加绽放效果。Bloom 将 在图像较亮部分周围产生强度增益和发光效果。 

GLSL COMP是一种新的面板组件,可直接绘制到屏幕,这对于渲染像素精确的 UI 非常有用,因为分辨率将自动适应其显示的屏幕的 DPI 缩放。可以在着色器中访问面板变量以响应用户事件。

新的Nvidia Upscaler TOP 使用 Nvidia Maxine Video Effects SDK 来提升输入视频的分辨率。它有两种模式,高档模式速度更快,并提供“强度”参数,而超分辨率 模式质量更高,并具有可选的“伪影减少”切换。

最后,我们想花点时间重点介绍一下Engine COMP。虽然不是新运营商,但它已经进行了深度检修,并且从所有意图和目的来看都是新的!参数现在可以更好地控制加载 .tox 文件和控制引擎的进程。添加了如何在加载的 .tox 中处理资源相对路径的选项,并且可以使用新的 InitStart 参数页面进行播放控制。最后,您还将找到一个停靠的 Info DAT 和 Info CHOP,其中包含 TouchEngine 状态和性能指标的调试信息。

7.调色板工具和插件

该调色板增加了一些我们希望强调的新的实质性工具。

首先我们引入一个新的Logger组件。这可用于记录信息、调试消息、警告和错误。该组件包含在Python 日志库周围,用户可以使用该库进一步扩展 Logger COMP 的功能。我们还包括一个可通过 op.TDResources.TDAppLogger 访问的内置记录器,可在项目中的任何位置使用。我们希望标准化这种在 TouchDesigner 中记录事件的方法,并期待您提供任何反馈。

接下来的两个工具已于今年早些时候推出,但它们是 2023 年的主要版本,值得在此提及。

TDBitwig是一组允许 Bitwig Studio 和 TouchDesigner 之间进行通信的组件。Bitwig Studio 是一款数字音频工作站 (DAW) 和音乐制作软件。

借助 TDBitwig,TouchDesigner 可以控制 Bitwig Studio 参数,例如速度、轨道属性、剪辑启动和设备参数。相反,Bitwig Studio 还可以控制 TouchDesigner 参数,以创建紧密集成的音频和视觉效果。

我们一直在 利用TouchEngine构建一个虚幻插件 , 今年的最新版本是一个重要的里程碑。Unreal 创作者可以使用此插件将 TouchDesigner 组件直接加载到 Unreal 中,并直接从 Unreal 蓝图中的 TOP、CHOP 和 DAT 访问数据。最新版本增加了对 Unreal 5.3.1 的支持、进程之间同步的新控件、UX 检修以及展示 TOP 馈送 Niagara 粒子和渲染目标的新示例,其中 TouchEngine 可以在 Unreal 帧上处理 postfx。如果您同时使用 TouchDesigner 和 Unreal,请查看此处。

8.PYTHON与系统开发

TouchDesigner中的Python版本已升级至3.11。这可以使运行速度提高 10-60%,并且还提供更好的错误报告。

自定义参数现在支持用户定义的 顺序参数。这些可以直接使用 python 或通过组件编辑器对话框定义 。这允许您在自己的系统中创建参数序列块,就像您在 TouchDesigner 的内置参数中看到的那样。

此外,您还可以通过 python 进行更多参数控制,能够通过参数、pargroup、页面或操作符重置参数或设置默认值。

OP 类和td 模块中添加了一个新的 opex() 方法,其工作方式与 op() 相同,但如果找不到节点,它将引发异常,而不是像 op() 那样返回 None 。现在这是在参数表达式中获取运算符的推荐方法,因为该错误比旧 op() 方法生成的“NoneType has no attribute par”消息更有用。

9.生活质量

在过去的几年中,随着我们添加了许多新的机器学习功能,这些模型的大尺寸导致 Windows 上的 TouchDesigner 安装程序大小显着增大。2023 年的新安装程序选项是更小的 Web 安装程序。

此安装程序在首次下载时仅包含 TouchDesigner 的核心要素 (<600MB),并为您提供安装所需功能的选项。没有 Kinect 吗?不必担心额外的身体跟踪模型。没有 Nvidia GPU 或者你不需要 openCV?跳过它们以节省时间和带宽。我们建议尽可能使用此网络安装程序,但对于您要去没有互联网的地方的情况,我们仍然提供完整的安装程序,其中包含一个大型下载中的所有内容。

使用外部 .tox 文件是许多流程的核心,尤其是在项目中与多人合作时。为了使外部文件更易于管理,您现在可以选择设置外部 .tox 组件内的相对文件路径,以相对于项目(.toe 文件)相对于外部 COMP(.tox 文件)。这意味着将“相对文件路径行为”设置为“相对于外部”后,您现在可以压缩带有 .tox 的文件夹以及与该 .tox 相关的所有文件,无论它们是脚本、图像、3D 模型、字体等等,并确保所有路径在加载到另一台计算机上的项目中时都能正常工作。

对于跨远程桌面应用程序(例如 Anydesk/VNC/Synergy/Parsec)使用 TouchDesigner 的用户来说,您会很高兴听到我们改进了价值阶梯的行为,而这长期以来一直是一个烦恼。

这可能会被忽视,因为它不是一个可见的功能,但 TouchDesigner 2023 已经进行了控制面板检修,以提高面板组件的性能。如果您曾经构建过一些复杂的 UI,或者过去因控制面板而遭受过速度减慢的困扰,请尝试 2​​023 版本中的这些项目,看看速度快了多少。如果您的情况没有得到显着改善,请联系我们,以便我们尝试进一步优化。

声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。