Swift[第6單元(下)] RealityKit 空間運算

brabus1518 wrote:
把我的asus改成蘋果系統的作業系統...(恕刪)

1. RealityKit 設計之初，就以擴增實境為優先考量，因此與 ARKit 的結合更緊密；SceneKit 設計初衷完全為了3D應用。
   
2. RealityKit 採用ECS (Entity-Component-System)架構，以滿足更多樣的AR、AI、Game等需求。同樣採用 ECS 架構的，還有兩大遊戲引擎 — Unity 與 Unreal Engine (UE)。
   
3. RealityKit 較 SceneKit 晚7年，有後來者優勢 — 也就是會採用更新的技術，例如預設的光照模型是更接近真實的物理材質(PhysicallyBaseMaterial)、預設的3D檔案格式為USD、非同步模式採用 async/await…等等。
   
4. RealityKit 物件的命名規則與 SwiftUI 類似，不加任何縮寫字首。

1. WWDC 2019: “RealityKit is an AR first framework”. (RealityKit 是以AR優先的框架)
   
2. 若想開發「跨平台」的AR應用或3D遊戲，大多會從兩大遊戲引擎中選擇其一，即 Unity 或 Unreal Engine (UE)，兩者對初學者及學生都提供免費版，但若沒有人帶，很難自學。
   
3. Unity 自2005年發表以來，一直與 Apple 有合作關係，其主要程式語言是微軟的C# （唸作C-Sharp），目前支援Mac, Windows 以及20多種遊戲平台。
   
4. Unreal Engine (UE)則主要用C++開發，去(2024)年中國大陸爆紅的3D遊戲《黑神話：悟空》，就採用 Unreal Engine 5 (UE5)，並大量使用動作捕捉(MoCap, Motion Capture)技術，動作非常流暢逼真，但成本相當高（約6年時間、人民幣3億元）。

1. RealityView 的「內容」類似 SceneKit 的場景，但沒有單獨一個根節點，而是以錨點(AnchorEntity)當作個別場景的根節點，「內容」可包含多個錨點，相當於多個場景。
   
2. ECS (Entity-Component-System)是一種程式設計模式(Design Pattern)，就像 MVC (Model-View-Controller)。MVC 是在1970年代為了解決圖形操作介面(GUI)互動問題而提出的解法，至今有50年歷史；ECS 則是針對電腦遊戲軟體所遇到的困難，應運而生，有20多年歷史，採用 ECS 最好例子應該是 Unity 遊戲引擎。
   
3. 參考Unity官方文件，個體(Entity)代表虛擬場景中要處理的對象(identity)，元件(Component)代表要處理的資料(data)，系統(System)則是一個或一群個體的行為(behavior)。

   An Entity Component System (ECS) architecture separates identity (entities), data (components), and behaviour (systems).

4. 若想進一步了解 RealityKit ECS 用法，可參考 “WWDC 2021: Dive into RealityKit 2”。
   
5. Entity 通常翻譯為「實體」，例如 Legal Entity 譯為「法律實體」或「法人」，指在法律上與自然人享同等權利的個體，如一家公司或財團法人。但實際上，Entity 是虛擬、抽象的，在本課程一律譯為「個體」。

// 6-6a RealityView01
// Created by Heman Lu on 2025/01/31.
// Test Environment: iMac 2019 (macOS 15.3) + Swift Playground 4.6
// 
import SwiftUI
import RealityKit

struct 空間運算01 : View {
    var body: some View {
        RealityView { 內容 in
            let 球體 = MeshResource.generateSphere(radius: 0.5)
            let 材質 = SimpleMaterial(color: .yellow, isMetallic: true)
            let 模型 = ModelEntity(mesh: 球體, materials: [材質])
            模型.position.z = -1.0
            內容.add(模型)
        }.realityViewCameraControls(.orbit)
    }
}

import PlaygroundSupport
PlaygroundPage.current.setLiveView(空間運算01())

// 6-6a
let 模型 = ModelEntity(mesh: 球體, materials: [材質])

// 6-1a
let 金字塔節點 = SCNNode(geometry: 金字塔)

模型.position.z = -1.0

1. 在語法上，RealityView 尾隨的匿名函式 { } 裡面用是命令式語法，與 SwiftUI 的 Canvas 視圖類似（參考第4單元第5課 畫布 Canvas）。
   
2. RealityView 「內容」的物件類型，在 visionOS 版本是 RealityViewContent，而在 iOS/iPadOS/macOS 版本則是 RealityViewCameraContent。「內容」除了建構虛擬場景之外，還會將鏡頭實景帶進來，也就是說，RealityView 其實已加入 ARKit 功能，未來在 iPad 上只要加一行「內容.camera = .spatialTracking」就可啟用 AR。
   
3. 上一節提過，AR 無法在 macOS 上執行，因此 RealityView for macOS 只會顯示虛擬場景，不會加入鏡頭實景（即使有鏡頭設備）。
   
4. 材質陣列（materials 參數）可以用空陣列嗎？請動手試試看。
   
5. RealityKit 預設幾何模型比 SceneKit 12種少，為什麼呢？一是因為 RealityKit 提供客製化幾何模型的方法，後面課程會介紹；二是可用3D軟體先製作好，再存成 .usdz 檔案導入到程式中。預設幾何模型只需用來製作原型(Prototype)、測試或教學即可。
   
6. RealityView 匿名函式的參數「內容」，是否類似上半單元 SceneView 的參數「場景」呢？兩者類似，但同中有異，SceneView 只包含一個場景，場景的根節點納入其他所有節點；而 RealityView 會將每個模型個體各自加入一個場景，多個個體就會有多個場景，但「內容」並沒有一個「根節點」可代表所有場景。請參考Apple原廠文件。

// 6-6a 附錄：比較 RealityView, ARView, SceneView
// Created by Heman Lu on 2025/02/04
// Test Environment: Mac mini 2023 (macOS 15.3) + Swift Playground 4.6.1
import SwiftUI
import RealityKit
import SceneKit

// (1) RealityView
struct RealityView01 : View {
    var body: some View {
        RealityView { 內容 in
            let 球體 = MeshResource.generateSphere(radius: 0.5)
            let 材質 = SimpleMaterial(color: .yellow, isMetallic: true)
            let 模型 = ModelEntity(mesh: 球體, materials: [材質])
            模型.position.z = -1.0
            內容.add(模型)
        }.realityViewCameraControls(.orbit)
    }
}

// (2) ARView
struct ARView01: UIViewRepresentable {
    func makeUIView(context: Context) -> ARView {
        // (1) ModelEntity 模型實體
        let 球體 = MeshResource.generateSphere(radius: 0.5)
        let 材質 = SimpleMaterial(color: .yellow, isMetallic: true)
        let 模型 = ModelEntity(mesh: 球體, materials: [材質])
        模型.position.z = -1.0
        
        // (2) AnchorEntity 錨點實體
        let 錨點 = AnchorEntity()
        錨點.children.append(模型)

        // (3) ARView AR視界
        let 視圖 = ARView()
        
        視圖.scene.anchors.append(錨點)
        視圖.environment.background = .color(.white)
        // 視圖.debugOptions = [.showWorldOrigin]

        return 視圖
    }
    
    func updateUIView(_ uiView: ARView, context: Context) {
    }
}

// (3) SceneView
struct SceneView01: View {
    let 幾何場景 = SCNScene()
    
    var body: some View {
        SceneView(scene: 幾何場景, options: [.autoenablesDefaultLighting, .allowsCameraControl])
            .onAppear {
                // 以下長、寬、高單位：公尺
                let 球體 = SCNSphere(radius: 0.5)
                let 球體節點 = SCNNode(geometry: 球體)
                球體節點.position.z = -1.0
                
                let 材質 = SCNMaterial()
                材質.lightingModel = .physicallyBased
                材質.metalness.intensity = 0.9
                材質.roughness.intensity = 0.1
                材質.diffuse.contents = UIColor.yellow
                球體.materials = [材質]

                幾何場景.rootNode.addChildNode(球體節點)
            }
    }
}

// (4) 三個視圖比較
struct 空間運算比較: View {
    var body: some View {
        RealityView01()
            .overlay(alignment: .bottom) {
                Text("RealityView (RealityKit)").padding()
            }
            .border(.red)
        ARView01()
            .overlay(alignment: .bottom) {
                Text("ARView (RealityKit)").padding()
            }
            .border(.red)
        SceneView01()
            .overlay(alignment: .bottom) {
                Text("SceneView (SceneKit)").padding()
            }
            .border(.red)
    }
}

import PlaygroundSupport
PlaygroundPage.current.setLiveView(空間運算比較())

// 6-6b 3D座標系統
// Created by Heman Lu on 2025/02/03
// Test Environment: iMac 2019 (macOS 15.3) + Swift Playground 4.6.1
import RealityKit

public func 座標軸(_ 軸長: Float = 1.0) -> ModelEntity {
    let 原點 = MeshResource.generateSphere(radius: 0.0)
    let 軸線 = MeshResource.generateCylinder(height: 軸長 * 2.0, radius: 軸長 * 0.001)
    let 箭頭 = MeshResource.generateCone(height: 軸長 * 0.07, radius: 軸長 * 0.01)
    
    let 座標原點 = ModelEntity(mesh: 原點)
    
    let y軸 = ModelEntity(mesh: 軸線)
    let 箭頭y = ModelEntity(mesh: 箭頭)
    箭頭y.position.y = 軸長
    y軸.addChild(箭頭y)
    座標原點.addChild(y軸)
        
    let x軸 = ModelEntity(mesh: 軸線)
    let 箭頭x = ModelEntity(mesh: 箭頭)
    箭頭x.position.y = 軸長
    x軸.addChild(箭頭x)
    x軸.orientation = simd_quatf(angle: .pi / 2.0, axis: [0, 0, -1])
    
    let z軸 = ModelEntity(mesh: 軸線)
    let 箭頭z = ModelEntity(mesh: 箭頭)
    箭頭z.position.y = 軸長
    z軸.addChild(箭頭z)
    z軸.orientation = simd_quatf(angle: .pi / 2.0, axis: [1, 0, 0])
    
    let 字體比例 = 軸長 * 0.005
    let y字 = ModelEntity(mesh: .generateText("Y"))
    y字.scale = [字體比例, 字體比例, 字體比例]
    y字.position.y = 軸長
    座標原點.addChild(y字)

    let x字 = ModelEntity(mesh: .generateText("X"))
    x字.scale = [字體比例, 字體比例, 字體比例]
    x字.position.x = 軸長
    座標原點.addChild(x字)
    座標原點.addChild(x軸)

    let z字 = ModelEntity(mesh: .generateText("Z"))
    z字.scale = [字體比例, 字體比例, 字體比例]
    z字.position.z = 軸長
    座標原點.addChild(z字)
    座標原點.addChild(z軸)
    
    return 座標原點
}

內容.add(座標軸())    // 預設XYZ軸長±1.0米
// 或
內容.add(座標軸(2.5)) // XYZ軸長±2.5米

x軸.orientation = simd_quatf(angle: .pi / 2.0, axis: [0, 0, -1])
// 以及
z軸.orientation = simd_quatf(angle: .pi / 2.0, axis: [1, 0, 0])

// 6-6b 3D座標系統
// Created by Heman Lu on 2025/02/03
// Test Environment: iMac 2019 (macOS 15.3) + Swift Playground 4.6
import SwiftUI
import RealityKit

struct 顯示座標軸: View {
    var body: some View {
        RealityView { 內容 in
            內容.add(座標軸())    // 座標軸() 放在共享程式區
        }.realityViewCameraControls(.orbit)
    }
}

import PlaygroundSupport 
PlaygroundPage.current.setLiveView(顯示座標軸())

1. 注意Swift程式裡面，任何命名都不能以半形數字開頭，也就是說，不能取名為「3D座標軸()」，只能叫「座標軸()」或「座標軸3D()」。此外，名稱內（任何位置）也不能包含半形標點符號，唯一例外是底線 “_” (underscore)。
   
2. simd_quatf 是個專業術語縮寫（用 C 語言的命名習慣），對高中生來說可能不容易理解，但又非常重要，下一節會特別介紹。
   
3. simd 代表 “Single Instruction Multiple Data”，是一種CPU硬體指令，可用一個指令並行處理多筆資料（正常一個CPU指令只能處理一筆資料，如整數運算2*3，而 simd 可一次處理多筆資料運算）。
   
4. quat 代表四元數(quaternion)，例如(0.707, 0.0, 0.0, -0.707)。
   
5. f 代表浮點數(floating-point)，通常是32位元的實數，如0.707。
   
6. 所以 simd_quatf 表示「32位元浮點四元數的並行運算指令」，常用於3D空間的旋轉。可參考交大周志成老師「線代啟示錄」或維基百科：四元數與空間旋轉。
   
7. 對Swift Playground 的 App模式來說，程式碼同樣可分散在不同 .swift 檔案（放在左側欄「程式碼」區），但所有 .swift 檔案視為同一個模組，所以並不需要宣告為 public 即可互通。
   
8. 作業：請將「座標軸()」加入上一節範例程式6-6a，執行後轉動畫面檢視圓球位置。
   
9. 作業：請將「座標軸()」參數改為 x/y/z 軸可不同長度，例如「座標軸(x: 1.5)」。

// Tested by Heman, 2025/02/07
import simd

let a = SIMD3(1.2, 0, 0)
let b = SIMD3(x: 0, y: 1.2, z: 0)
let c = SIMD3(repeating: 1.0)    // SIMD3(1.0, 1.0, 1.0)
let d: SIMD3 = [0, 1.2, 0]       // 可用陣列表示向量
let e: SIMD3<double> = .zero     // 類型屬性
let f: simd_double3 = .zero
let g: simd_double3 = .random(in: 0.0..<1.0)  // 類型方法

let 法向量1 = simd_cross(a, b)    // 計算 a x b 法向量
let 法向量2 = simd_cross(b, a)    // 計算 b x a 法向量
print("向量a = \(a)")
print("向量b = \(b)")
print("法向量 a x b = \(法向量1)")
print("法向量 b x a = \(法向量2)")

向量a = SIMD3<double>(1.2, 0.0, 0.0)
向量b = SIMD3<double>(0.0, 1.2, 0.0)
法向量 a x b = SIMD3<double>(0.0, 0.0, 1.44)
法向量 b x a = SIMD3<double>(0.0, 0.0, -1.44)

// Tested by Heman, 2025/02/07
//
import simd 

let x1 = [1.0, 2.0, 3.0]    // 純量陣列
let x2 = [4.0, 5.0, 6.0]
let x3 = x1 + x2 
let y1: SIMD3 = [1.0, 2.0, 3.0]    // 向量
let y2: SIMD3 = [4.0, 5.0, 6.0]
let y3 = y1 + y2
print("x3 = \(x3)")
print("y3 = \(y3)")

1. Swift 多元組(Tuple)可包含不同類型的元素，但用在SIMD向量時，元素類型必須相同；陣列(Array)元素一定是相同類型，用於SIMD向量時，元素個數必須固定（如三維向量一定是三個元素）。
   
2. 每秒26億次純量運算，對CPU來說算多嗎？26億次運算相當於 2.6 GFLOPS，對現在的CPU/GPU 來說，其實並不多。2023年第五代樹莓派(Raspberry Pi 5) CPU效能即可達到25 GFLOPS，而Apple M4 GPU效能更高達4.6 TFLOPS（每秒46,000億次運算）— 可輕鬆運算4K螢幕動畫。