與 YUAN 在智慧城市博覽會上探索生成式人工智慧的未來

在智慧城市展上，影像技術成為智慧城市發展的核心驅動力。影像 AI 識別不僅增強城市安全，也顯著提升營運效率。在本次展會上，YUAN 作為影像技術的領導者，展示了其在影像擷取與 AI 技術融合方面的最新進展，為智慧城市的未來描繪了理想的藍圖。

多元化影像來源的挑戰與突破

智慧城市中的影像應用早已超越了傳統 IP 攝影機和 NVR 錄影的基礎。隨著技術的進步，城市現在需要更加多樣化的即時影像來源。YUAN 指出，儘管下一代網路攝影機已經普及，但 TVI、SDI 和 CVBS 攝影機等經濟高效的選擇仍然是系統整合商的主要選擇。此外，無人機市場中的 MIPI 和 GMSL 相機正逐漸成為新興應用的主流。多樣化的影像來源在豐富城市數據支撐的同時，也增加了影像整合的複雜性，為人工智慧應用的整合帶來了新的挑戰。

硬體創新：Jetson Orin™ 邊緣運算設備的強大功能

YUAN 在展會上展示的 NVIDIA^® Jetson Orin™ 邊緣運算 AI 設備，將智慧城市影像處理提升到了新的高度。 Air 系列將 Jetson Orin™ NX 整合到名片大小的板子上，具有 12 個不同的影像擷取模組，支援 IP、TVI、SDI、GMSL、HDMI 等。客戶可根據現場需求靈活更換影像輸入模組，實現即時、高效的影像處理。這項創新為 Air 系列贏得了 2024 年 Computex 金最佳獎。在本屆智慧城市展上，YUAN 很榮幸分享其一流的設計。

此外，YUAN 的 Near、Edge 和 Air 產品線提供全面的邊緣運算解決方案，範圍從 20 TOPS 到 700 TOPS，涵蓋 Nano、NX、AGX 和 IGX 選項，以滿足跨應用場景的多樣化運算需求。

策略合作：高解析度、低延遲的 Jetson Orin™ 邊緣運算攝影機

為了滿足智慧城市對高效能影像設備的需求，YUAN 與 Sony 合作推出了一款具有 25 倍光學變焦的 4K60 攝影機，並整合了 Jetson Orin™ NX。這款相機配備 4K60 解析度、HDR 和 IP66 防水功能，在戶外環境中耐用可靠。此外，內建 RDMA 技術和 NVIDIA CUDA 影像處理可有效降低延遲。搭載 Jetson Orin™ NX 的攝影機讓軟體開發人員能夠直接在 100 TOPS 攝影機端部署 AI 分析，增強即時處理效率並擴展可能的應用場景。

生成式 AI：改變智慧 NVR 和攝影機應用的新時代

生成式人工智慧正在重新定義智慧 NVR 和攝影機的使用方式。 NVIDIA^® Jetson Orin™ 作為領先的邊緣運算平台，為智慧城市帶來了多模式生成式 AI 功能。該平台在視覺語言模型（VLM）的支援下，整合了語音、文字、影像等多種輸入，為智慧城市提供更準確的場景描述和行為識別。本次展會，YUAN 開發的 SmartVDO NVR 軟體展示了生成式人工智慧在 DVR 和 VMS 系統中的應用，為智慧安防提供了前瞻性的解決方案。

智慧理解：VILA / CLIP 技術與 NVR 的融合

YUAN 的 AI 團隊將 VILA 技術整合到 Jetson AGX Orin™ 的 NVR 軟體中，使 NVR 系統能夠解釋即時影像內容，特別是在危險安全情況下的影像字幕。此外，YUAN 也應用了 CLIP 後端的模型進行影像向量化，將資料儲存在 VectorDB 中。這使得影像管理人員能夠根據特定標準執行即時搜索，徹底改變了對 NVR 功能的傳統看法。

智慧互動：Whisper / Llama的突破性應用

除了影像辨識之外，YUAN 還整合了 Whisper 語音技術，讓 NVR 系統具備語音互動能力，無需鍵盤操作，讓 NVR 系統更人性化。此外，Llama 還增加了智慧語意搜尋功能，取代了傳統的關鍵字搜尋模式，讓影片管理互動更有效率、便利。

結論：開啟智慧城市影像技術新篇章

透過將生成式人工智慧技術與專業影像專業知識和硬體設計相結合，YUAN 為智慧城市影像處理帶來了革命性的模式。這些創新的解決方案不僅解決了多樣化影像來源的挑戰，還提供了即時分析、語音互動、智慧搜尋等方面的高效體驗。在 NVIDIA^® Jetson Orin™ 平台的強大支援下，YUAN 正在重新定義智慧城市的影像應用，為城市發展提供更智慧、更有效率的影像解決方案。