iPhone X 上的 TrueDepth相機除了可以製作有趣的 Animoji 以外,還可以做些什麼呢?台灣視覺效果藝術家,同時也在夢想動畫公司任職的 Elisha Hung(洪健淇)利用 TrueDepth相機 追蹤臉部動作 ,然後透過開發工具 Xcode 與 Apple 的增強實境框架 ARKit 來獲取資料,將其轉為 3D 模型,只要人臉有反應,模型就會呈現相對應的反應:
iPhone X 也能 追蹤臉部動作 ,台灣動畫師藉此建立逼真臉部模型並偵測臉部動作
▲就算擠眉弄眼,模型也能對映出類似的表情。

 

你會在影片跟 GIF 中看到一個沒有眼睛,看起來膚色也很糟糕的模型在擠眉弄眼,這是電影跟遊戲中會見到的 3D 人體捕捉技術,以 TrueDepth相機 掃描能製作出一個略顯粗糙,但是明顯看得出是個人臉的模型,若經過加工之後,有了膚色跟五官,看起來會更逼真。在台灣夢想動畫公司任職的洪健淇本身就是 3D 特效的專家,他在自己的部落格上也張貼了不少關於特效與3D 模型的作品:
iPhone X 也能 追蹤臉部動作 ,台灣動畫師藉此建立逼真臉部模型並偵測臉部動作
▲臉部模型隨著人激烈的表情而扭動,做出極逼真而且幾乎同步的反應。

最近他沒有張貼作品,而是自己的臉被用在建模的參考上,他們使用 Houdini 這套軟體製作更多特效,但基礎的「面具模型」則利用 iPhone X 所拍攝,透過他張貼的影片來看,可以看出效果非常真實,反應也跟真人一致,影片中看不出任何延遲感,所以可以否定這是人刻意模仿機器的行為:

人臉識別技術雖說最近受到了相當大的挑戰,但是動畫師的小作品讓我們看到了 iPhone X TrueDepth相機 的強大之處,除了這邊有精美的人臉掃描外, 其實遊戲公司創始人也透過這個相機的 RAW 資料來印出他的臉,至於看起來如何,筆者認為有些可怕,比起前面的作品看來似乎粗糙不少,但勉強認得出是人的輪廓:
iPhone X 也能 追蹤臉部動作 ,台灣動畫師藉此建立逼真臉部模型並偵測臉部動作
▲加上外觀後,面孔看起來真實度更高了些。

從這點來看,TrueDepth相機有其逆天般的實力,但需要有足夠的創意跟工具去將外觀修飾出來,有趣的是TrueDepth相機對於人臉捕捉的確很有一套,清楚抓住了嘴巴的張合,臉孔的扭曲神態,或許TrueDepth相機未來會有手機以外的用途也不一定。這樣的功能雖然不是人人都有機會用到,但對於擅長動畫特效的專家來說,這點事不算什麼,不過對於預算有限,想用臉部追蹤來製作動畫,卻在器材上受到限制的製作組來說,iPhone X 應該是個不錯的解套方案。

消息來源

閱讀全文