了解 Apple Projected Media Profile

深入了解 apple projected media profile (apmp)，并探索 apmp 如何通过视频扩展使用信号技术在 quicktime 和 mp4 文件中实现 180º/360º 和宽视角投影。我们将针对如何使用 os 提供的框架和工具对包含 apmp 的媒体进行转换、读/写、编辑和编码提供相关指导。我们还将介绍 apple positional 音频编解码器 (apac) 的功能，这些功能可用于创建和交付空间音频内容，从而打造出极具沉浸感的体验。

视频封面
视频地址

此文章由AI生成，可能存在错误，如有问题，请联系djs66256@163.com

深入解析 Apple Projected Media Profile (APMP) 及 Apple Positional Audio Codec (APAC)

随着沉浸式媒体技术的快速发展，Apple在WWDC上正式发布了Apple Projected Media Profile (APMP)和Apple Positional Audio Codec (APAC)两项重要技术标准。本文将详细介绍这两项技术的核心概念、技术实现和应用场景。

APMP概述

Apple Projected Media Profile (APMP)是一套用于在QuickTime和MP4文件中存储180度、360度及宽视角视频内容的技术规范。该标准通过视频扩展使用信号技术，为沉浸式视频体验提供了标准化解决方案。

非线性视频投影类型

APMP支持四种主要投影类型：

  1. 2D/3D/空间视频：采用线性投影方式
  2. 180度视频：使用半等距柱状投影
  3. 360度视频：采用等距柱状投影
  4. 宽视角视频：使用参数化投影（ParametricImmersive）

等距柱状投影（Equirectangular Projection）是目前编辑软件中广泛支持的格式，它将球体像素坐标表示为纬度和经度角度，并等比例映射到矩形视频帧中。其中水平轴代表经度（-180°至+180°），垂直轴代表纬度（-90°至+90°）。

技术实现细节

文件格式与信号传递

APMP内容通过QuickTime和MP4文件格式存储，利用ISO基本媒体文件格式(ISOBMFF)中的box结构组织数据。在visionOS 26中，Apple扩展了Video Extended Usage (vexu) box的功能，新增了以下关键box类型：

  • 投影box：标识投影类型（等距柱状、半等距柱状或ParametricImmersive）
  • 镜头集合box：包含ParametricImmersive投影的外部和镜头畸变参数
  • 视图打包box：描述帧打包图像中的眼睛排列方式

参数化投影详解

ParametricImmersive投影专门用于处理广角或鱼眼镜头的视频内容，包含了以下重要参数：

  1. 外部参数：通过3×3相机矩阵’K’表示，包含焦距、光学中心和镜头系统倾斜度等
  2. 镜头畸变参数：
    • 径向畸变：校正桶形畸变现象
    • 切向畸变
    • 投影偏移
    • 径向角度限制
    • 镜头帧调整

工作流程与应用

内容捕获与编辑

目前市场上有多种支持APMP内容的捕获设备：

  • 180度视频：Canon EOS VR系统等
  • 360度视频：GoPro MAX、Insta360 X5等
  • 宽视角视频：GoPro HERO 13、Insta360 Ace Pro 2等

编辑工作流程中，Final Cut Pro已支持360度APMP内容的读写，今年晚些时候Canon EOS VR Utility和GoPro Player等软件也将加入APMP支持。

典型的立体180工作流程包括：

  1. 使用HEVC、RAW或ProRes编解码器捕获内容
  2. 使用ProRes进行编辑
  3. 使用MV-HEVC编解码器编码和发布

开发者API支持

Apple在CoreMedia和AVFoundation框架中新增了以下功能：

  1. 资源转换：识别Spherical Metadata V1/V2信号并转换为APMP格式
  2. 视频读取：通过AVAssetPlaybackAssistant识别APMP内容
  3. 视频编辑：
    • 使用AVVideoComposition处理投影媒体
    • CMTaggedBuffers和CMTaggedDynamicBuffers处理立体内容
  4. 视频编写：通过AVAssetWriter输出APMP内容

发布规范与建议

对于visionOS上的APMP内容发布，Apple推荐以下技术参数：

  • 视频编解码器：HEVC Main或Main 10，4:2:0色度二次采样
  • 色彩空间：Rec 709或P3-D65
  • 分辨率：
    • 单视10-bit：7680×3840
    • 立体4K：每眼4320×4320
  • 帧率：10-bit单视8K或立体4K推荐30fps
  • 比特率：峰值不超过150Mbps

HTTP Live Streaming (HLS)规范也已更新支持APMP流媒体传输，在EXT-X-STREAM-INFORMATION标签中新增了REQ-VIDEO-LAYOUT属性。

Apple Positional Audio Codec (APAC)

为了完善沉浸式体验，Apple推出了空间音频编解码器APAC，其主要特点包括：

  1. 全息音频技术：使用球谐基函数数学编码声场
    • 一阶全息：4个分量（1全向+3方向性）
    • 二阶全息：9个分量
    • 三阶全息：16个分量
  2. 编码支持：
    • 支持平台：iOS、macOS、visionOS（watchOS除外）
    • 比特率范围：一阶384kbps至三阶768kbps
  3. 流媒体传输：支持通过HLS分段传输APAC音频

总结

Apple Projected Media Profile和Apple Positional Audio Codec为沉浸式媒体提供了完整的技术解决方案。APMP标准化了180度、360度和宽视角视频的存储和传输格式，而APAC则实现了高保真空间音频的编码和回放。开发者可以利用Apple提供的丰富API支持，在应用中集成这些先进技术，为用户创造更加真实、沉浸的视听体验。

随着更多硬件厂商和软件开发者采用这些标准，我们期待看到更丰富的沉浸式内容生态系统在Apple平台上蓬勃发展。

相关资源

相关视频

了解 Apple 沉浸视频技术
探索 visionOS 的视频体验
支持 visionOS App 播放沉浸视频
空间网页的新功能
AVQT 的新功能
使用高级视频质量工具评估视频

文档

Apple HEVC Stereo Video Interoperability Profile
AVFoundation
Core Media
HTTP Live Streaming
HTTP Live Streaming (HLS) authoring specification for Apple devices
QuickTime and ISO Base Media File Formats and Spatial and Immersive Media
Using Apple’s HTTP Live Streaming (HLS) Tools

扫一扫，分享到微信

微信分享二维码

tag:

    缺失模块。
    1、在博客根目录（注意不是yilia根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    2、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: true
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true