:::

Home > 資料庫 > 跨界創作成果資料庫 facebook分享 plurk分享 twitter分享 sina分享 google分享 rss分享

虛擬神靈、聲光和動態影像 ─〈械動影〉

虛擬神靈、聲光和動態影像 ─〈械動影〉

  • 創作者:

    孵一間工作室(計畫主持人:黃心健)
  • 創用CC:

    姓名標示─非商業性─禁止改作 

創作理念


從「視覺的動態現場」切入,揣想在各藝術領域疆界鬆脫、創新形式的「混種」持續之際,視覺藝術的展演現場能否再次蛻變?
排山倒海的視覺符號與複合式媒材裝置的廣泛運用,帶來感官上的刺激,令人迷幻而目眩,我們試著往本質去探求「形」之上衍生更多「義」的可能。於是,依循跨領域合作夥伴各自耕耘多年的創作脈絡,〈械動影〉企圖打造一場交織聲、光、影的機械偶戲,表現手法也許看似喧囂,實則走向神祕、古老,並含有文化標示意味的視覺構成現場。
在本創作裡層的最核心部分,作品擷取了民間信仰中召喚神靈的儀式,將這樣的儀式透過數位科技與視覺藝術的鋪陳,轉化為另一種新型態、前所未見的祭典。正如博物館是透過別具規範、儀式意涵的方式來展示與保存藝術品,〈械動影〉透過宗教儀式般的暗示,試著觸動觀眾在欣賞視覺演出時,衝擊感官體驗之外的意識面。

 

相關圖片



創作特色


「動態光雕」─ 影像的介面,神靈的載體。
一、召喚神靈:電子音樂、即時影像、燈光與機械的互動演出。
二、神靈現身:自動控制的機械手臂配合電子音樂即時舞動。
三、神靈飛逝:表演結束,機械手臂回到原本設定位置。
四、舞台構成:以高八米、寬四米左右的巨型動態雕塑為舞台的主要構成裝置,建造一個可移動式的視覺祭儀舞台。巨型動態雕塑的材質,採用半透明布,並設置伺服馬達/步進馬達,以機械自動控制雕塑的形變,而雕塑的充氣則配備了鼓風機來進行。
五、聲音、視覺、機械與燈光之互動方式:電子音樂家身著穿戴式感測裝置,除了可控制動態裝置的兩隻手臂外,另動態雕塑的手臂透過自動控制可左右前後傾斜。透過MIDI/OSC訊號、DMX舞台燈光訊號與Unity感測資料,表演者亦可分別控制聲音、燈光與視覺影像,具高度整合的即時互動性。

六、視覺元素:本創作採集與民間信仰、傳統化相關的視覺符號或象徵物件,經過重新勾勒與設計,再透過實物投影的對位、校正,創造出獨特的動態光雕效果。

 

相關圖片

 

 

跨界領域說明


一、動態雕塑─互動式巨型機械裝置(40%)

本作品的核心為可形變的動態雕塑,以半透明的布料塑型,製作可透光、亦可作為投影介面的量體。量體質輕、便於攜帶、只需加裝鼓風機等充氣裝置,便可於表演現場改變造型。動態雕塑可加裝互動燈光裝置,於演出時使用,並結合馬達機械控制以改變其造型,與此雕塑進行互動演出的電子音樂家,身著穿戴式感測裝置,透過肢體的擺動,便能操作動態雕塑的燈光、影像、聲音與造型演出。

二、即時體感偵測技術(20%)

表電子音樂家身著即時體感偵測感測器(motion capture),透過即時的訊號傳輸與資料運算,得以控制全場演出,包括肢體感測即時影像、肢體感測與互動音樂、肢體感測與機械、燈光。

三、數位音樂與傳統聲音(20%)

以預錄與即時合成的電子音樂搭配現場DJ演出,藉此將本土祭儀的聲音元素融合進來。音樂時間即是整場演出時間軸的依據,於創作時即透過音樂來敘事,而演出時,在預製的音樂時間軸線上,層層疊加由電子音樂家產生的即時音效、影像、燈光、機械變化,具高度的互動整合性質。

四、數位影像與實物投影(20%)

影像分為兩部分,第一層次是以預先創作的音樂為軸線,結合預製的數位影像。第二層次則是將製作素材與即時運算軟體,在演出現場以互動方式加入互動影像。無論是預製或即時影像,皆運用實物投影(projection mapping)技術,將畫面投影至至會形變的動態雕塑上。

 

相關圖片

 

使用技術


一、互動式巨型機械裝置
結合體感偵測與環境感測形成變數,呼叫馬達與控制充氣位置,同時影響投影光雕在包覆機械皮層上的視覺效果。
二、即時體感偵測技術
感測演出音樂節點的不同,提供即時之影像變化。
三、數位影像與實物投影(projection mapping)
結合Unity,運算演出之數位影像,由互動感測器偵測得來的資料,即時改變影像內容與mapping位置。
四、數位音樂與傳統音樂
表演者於控台除了重新編譯數位與傳統音樂的結合外,並同時控制音樂、燈光、投影與互動機械裝置四者間的巧妙搭配,並依照觀眾反應強弱,適時給予聲/光/影/機械之反饋。

 

 

相關圖片



 

演出內容


一、數位影像構想
曲目共計五幕,融入廟會視覺元素,將傳統藝術以數位方式變化出不同樣貌,採用的素材包括:
 各類旗幟/選舉旗幟/鯉魚旗/商場旗幟/傘
 噴火/過火/跳火圈/火梯
 彩帶/鞭炮/煙火/紙片
 神轎/王船
 巨大人形/七爺八爺/變形金剛/天使
 奇獸/大象/獅子/老虎/麒麟/噴火龍/鳳凰/龍
 飛行物件/飛行船/翔龍/蝙蝠/蝴蝶
 八家將/乩童
 將軍的背後插旗幟

(一)神明設計草稿與模擬意象
綜合上述素材並模擬出草稿,把神祇封裝在膠囊中,反應即食文化、物質文明、信仰被財團把持,臺灣的食安問題等的深層反省。利用3D建模與影像技術製作數個巨型膠囊主體,挑選適合的神明意象。

(二)背景場景設計
以鮮明色彩繪製傳統廟會意象,設計各種廟會旗幟、神轎、彩帶、鞭炮等元素,組合這些元素並拼湊異質場景做為背投的影像情境。

(三)神明主體設計
與背景設計為同一視覺,模擬在聲音參數變動下影像表情之變幻意象。

二、互動式巨型機械裝置
(一)巨型機械裝置充氣設備設計
巨型人偶在雙手設計兩個關節處、雙腳三個關節處,以利人偶產生不同動作組合。將馬達操作結構設計出拉動之節點,以滑輪帶動鋼絲拉動每個節點,並設定以八顆馬達為動作拉扯動力源頭。以上述結構先行建置小型機械模型,供測試並確保設計之可行性。
(二) 硬體安裝與設置(第一階段以釣線安裝測試)
1. 事先將採購之馬達機械零件組裝,並自行組裝:
2. 於場地中安裝馬達
3. 固定鷹架滑輪構造,滑輪鐵絲與鷹架同步設置
4. 充氣設備固定,完成巨型機械裝置
(三)充氣設備硬體技術測試與調整
透過馬達裝置的拉力讓充氣設備的四肢展現出不同的動作組合,原本已吊線方適配合馬達扭力推動,然由於吊線晃動問題很難解決,因此與機械結構專業人士(台大機械系黃漢邦老師,《台灣智慧自動化與機器人協會》黃漢邦常務理事)討論後,計劃將馬達裝置再調整為機械手臂控制,並於7、8月持續實測,為最佳呈現狀態進行調整與努力。
 

三、數位音樂曲目安排
(一)人類日常 > 廟會
(二)天神成型 > 超時空下凡
(三)神出現 > 人類備戰 > 確認是友軍 > 惡鬼準備
(四)惡鬼進攻人類
(五)神明打敗敵人 > 回歸平靜
利用Unity3D程式技術,讓模型影像在音量、音頻高低不同時有更多變化。

四、MOCAP動作捕捉
本創作使用IMU感測器,精確即時地測量出表演者肢體位置與旋轉角度,與即時的3D程式結合,將表演者的肢體資料,用來控制燈光,影像與聲音,嘗試更全面的整合。
目前達成部分:動畫中的七爺八爺舞蹈動作,均由動捕裝置捕捉真人舞者所提供,而也完成了使用動捕裝置控制機械手臂運動的部分,但表演時因為音樂家需要操作音樂軟硬體,無法同時做手臂的表演,所以改為由手動驅動機械手臂表演預錄好的動作。

 

相關圖片


 

 


跨界創作心得與建議

 

一、場地設施
由於充氣裝置高度達7公尺,洽詢許多場地皆無法完整呈現,五至七月商借於空軍總部舊址之羽球館進行測試,該場地挑高12公尺並隔絕光害,十分適合進行大型充氣裝置的投影測試,團隊於七月進行測試,投影效果十分理想,作品也能完整呈現。
八月後因空總借用檔期已滿,是故移至國立臺灣師範大學公館校區中正堂地下室進行機械手臂與自動控制效果測試,並於11月份發表成果發表,地點在空總創新基地中正堂。

二、充氣人偶可操作性、馬達控制的研發
(一)本來希望讓電子音樂家在膠囊中表演,但因為其中充氣馬達聲音甚大,且通風不良,非常悶熱,後應音樂家要求,將表演位置移出。
(二)人偶手臂可彎幅度可抬起至65度,比正常人體稍微少一些,此為馬達與機構之限制,但一些人體動作都可完整表現。
(三)人偶為充氣裝置,受到馬達拉力時會有晃動的情況,此為材料剛性問題,測試時嘗試在關節處增加重量以減少晃動情況,並以馬達速度與加速度精密操控來補償。
(四)馬達控制系統有落後情況,這是因為用RS232控制時,資料必須分批送出所致,後來整體控制重新研發,將控制訊號與硬體改為RS485後,延遲狀況已大幅改善。

 

相關圖片


 

作品未來發展方向


一、透過演出以拓展跨界合作藝術創作成果至國際
正式演出結束後,預計從2016年底開始,除了繼續尋找國內演出機會之外,同時也積極接洽國外巡迴演出,例如美國休士頓戶外公共藝術展演(已獲邀請)、捷克布拉格燈光藝術節(Signal Festival)、法國安亙湖數位藝術節(Festival Bains numériques)及西班牙巴塞隆納聲納音樂節(Sonar Festival)等,將此創作成果持續發展,並以此深具臺灣藝術文化特色的跨領域演出帶向國際。

二、舉辦講座以分享成果內容與技術
本創作團隊預計在2016年底,就視覺藝術、機械設計、多媒體設計、音樂設計、程式設計及跨域整合設計製作各方面專業,對有興趣者舉辦講座,除了加深民眾對於各領域的了解,並更能使其體會並發酵科技融藝專案之精神與貢獻。


三、公開影音記錄以觸及更多觀賞者
預計將此表演影像及製作過程剪接成短片,製成共同分享之資源,讓此創作更具教育與參考價值。
若是要提供團隊或是後進科技藝術家相關建議,我們認為科技藝術非常依賴科技技術,所以要找到適合的技術和場地並不停地去測試、修改程式,這些都是跨界創作和科技藝術需要克服的地方。反觀我們透過〈械動影〉像做的,就是運用及時運算技術並投影在物件上,讓幾何物件開始移動、打節拍、跟上音樂節奏,投影必須要能跟隨裝置移動,及時運算出下一步動作。過去運用了非常多的時間在圖像運算上,將其儲存好再變成動畫,可是虛擬實境或擴充實境的世界已經進入了及時運算圖像的年代,過去技術也逐漸被淘汰,本次創作另一個層面就是想挑戰,只要按下播放鍵,就能自動跑出每秒八十到九十格的影像輸出,而且所有的東西皆可即時去調整,且圖像能夠聆聽音樂並打拍子,而這也是這次最大的突破點。
對於培養創意想法這方面,建議平常多看展覽表演,各個領域都應該去接觸,甚至去閱讀、看各種電影,常常可以得到不同靈感,然後有想法的時候馬上紀錄下來。現在網路資訊發達,皆可即時看到許多國外藝術家的作品,可參考人家如何做,用了什麼技術,如果是自己來做,可以有哪些不同?有什麼可以調整的地方?或者有其他的可能性?人們常常習慣在框架內思考,要如何能夠跳到框架外,這些都有賴於平時生活的養成。