只要輸入文字,人工智慧就幫你畫出心中美景!

 

只要輸入文字,人工智慧就幫你畫出心中美景!

心中大景通通都交給人工智慧,它會幫你畫出來!

1227-1.jpeg

繪圖用人工智慧發展到「你說我畫」的境界!透過 NVIDIA 於上個月發表的最新版 GauGAN2(點此繪圖),你只要輸入「海灘的日落」 (sunset at a beach) 等短句,人工智慧即可自動生成精細的日落海灘圖像!若你覺得還不夠,沒關係!你還可以進一步加入更精確的敘述句如「沿岸的日落」 (sunset at a rocky beach),或是將「夕陽」換成「下午」、「雨天」等字詞,都能讓 GauGAN2 立即調整生成圖像。

過去 NVIDIA 在 2019 年 GPU 技術大會(GTC)上,首次發表了人工智慧繪圖工具——「GauGAN」的第一代,能透過簡單的手繪草圖自動生成栩栩如生的風景圖;現在又持續更新為第二代的 GauGAN2,加入了能以簡單的描述字句,即可自動建立圖像的功能、且精細度更符合使用者所需結果:如自動形成使用者所構想海灘形式,夕陽呈現的位置等。

依據 NVIDIA 官方說明,GauGAN2 採用分割映射(segmentation mapping)、圖像修復以及文字轉圖像生成功能,能依據文字敘述或手繪生成高品質的精細圖像之外;也是第一個在單一對抗生成網路(Generative Adversarial Network,GAN)運算中,加入文字語意識別,讓藝術創作者能以更簡單的方式,指引人工智慧快速生成圖像。

使用者不需畫出心中場景的每個元素,只需輸入短句,人工智慧技術就能依照短語,快速生成關鍵特徵和主題:如被白雪覆蓋的山脈;接著,使用者特於特定的山上草草點個幾筆,讓那座山更高;最後還可在前方加入幾棵樹、或天空增加幾朵雲來點綴整副畫作。簡單幾個動作,藝術家就能描繪出栩栩如生的美景圖、或是超現實的蒸氣龐克風格繪畫。

NVIDIA 強調,GauGAN2 背後運算則採用了 NVIDIA Selene 超級電腦運算系統,已經使用 1 千萬張高品質風景圖片訓練 GauGAN2 人工智慧模型,並讓系統能將描述字詞與風景圖像建立關連,以能快速對應到使用者輸入字詞後產生相應圖像。

透過人工智能,GauGAN2 讓藝術家們的作畫工具變得更強大多元、且作畫速度變得更有效率、更開啟了藝術創作的無限可能性。

GauGAN2 傳送門在此,點我來作畫吧!使用教學如以下影片所示:

 

 

 

相關文章:

母逝遺憾…PTT之父打造人工智慧 即時預測敗血症即刻救命

FDA批准內視鏡AI 測腸癌靈敏度99.7%!人工智慧醫療再突破

AI 知我心!能夠判別憂鬱症的人工智慧

人工智慧幫你診斷皮膚疾病!Google AI鏡頭變身皮膚科幫手

人間福音!谷歌地圖用人工智慧幫規劃"最省油路線"

人工智慧作家新功能,12萬字名著用200字說完(上)

AI測腸癌靈敏度99.7%!人工智慧醫療再突破

 

安樂死之前,先讓人工智慧定義你是否符合資格(下)

安樂死之前,先讓人工智慧定義你是否符合資格(下)

人工智慧自殺艙幫你定生死,法律專家各持不同看法(下)

本文為下篇,上篇請看此連結

AI自殺艙會帶來哪些影響?技術、倫理、法律界各持不同觀點

尼奇克會把石棺計畫印在自行創辦的非營利組織「解脫國際」(Exit International)發行的刊物中,並免費提供,只要年滿 50 歲就可取得設計圖、自行用 3D 列印出該自殺機器,如此輕易就可取得「死亡門票」的方式,各界如何看待?

演算法觀察機構:AI 恐削弱人類決定的自主權

1215-1.jpeg

讓人工智慧來決定人類的生死,只會削弱、不會增加人類對於 AI 的自主權

對此,關注人工智慧倫理議題的非營利組織「演算法觀察(Algorithmwatch)」政策及倡議團隊負責人穆勒(Angela Müller)指出:科技最終為人類開發,而人工智慧也是倚賴過去所學習的資料累積來做決定,而這兩者隱含的偏見和歧視,無形中都會影響 AI 的決定,「我擔心依賴它(AI)只會削弱、而不是增加我們的自主權」。

對此,尼奇克也只好承認當前的人工智慧應用與技術仍存者取多限制,上有無法解決的問題。但是他也沒有放棄,打算在「石棺」剛推行時與瑞士的醫師合作,確保每位石棺的用戶都經過醫界的專業判斷,以避免爭議;待此 AI 發展完成後,就採用人工智慧與醫師並行的「雙軌制」,消弭外界疑慮之餘也不斷優化 AI 的判斷力。

 

倫理研究所主任:過度美化自殺、恐引發自殺率

「像石棺這樣的機器會美化自殺,並增加心靈較脆弱或是心理疾病患者的自殺率。」美國喬治城大學(Georgetown University)甘迺迪倫理研究所(Kennedy Institute of Ethics)的主任 Daniel Sulmasy 認為如此集結最新人工智慧科技、富有設計感外觀的 AI 自殺機器根本就是「美化自殺」,恐引發自殺風潮。

法律專家們各持不同看法

尼奇克委託的法律顧問——瑞士聖加侖大學(University of St Gallen)的法律教授赫里曼(Daniel Huerlimann)表示:石棺在瑞士並無違法疑慮。

赫里曼教授指出此石棺並不在瑞士法律所定義的「醫療器材」之內,因此並不會受到《瑞士醫療器材法》(Swiss Therapeutic Products Act)的規範。除此之外,它也沒有違反氮氣、危險化學物質或武器等相關法律的嫌疑。面對這樣的結果,尼奇克沾沾自喜地表示:「這樣的結果,讓我們確認沒有遺漏任何法律問題……這表示在瑞士的法律下,無論是安樂死診所想要引入石棺、或瑞士人民想自產自用,都沒有問題。」

畢竟赫里曼是尼奇克所委託的法律顧問,看法可能受制於此。看看第三方的法律、醫學專家如何解釋:

維金格(Kerstin Noelle Vkinger)教授身兼醫師、律師及瑞士蘇黎世大學 (University of Zurich)的法學院教授。她的看法是:「醫療器材會受管制,是因為他們必須要比其他產品更安全⋯⋯一項產品不會因為無異於健康,就可以免於受這些安全要求的規範⋯⋯」

儘管外界的風聲不一,尼奇克仍硬著心,計畫要在瑞士的一間安樂死診所中開始做實驗,且已有 6 位志願者要參與實驗。尼奇克信心滿滿說實驗過程不會有任何意外:「等到我們看到幾個成功案例後,大家就會感到舒服多了。」關於法律問題與爭議的部分,尼奇克則說:等到有人用過石棺並提起訴訟後,這些爭議才可能有解有解。

石棺帶領你「優雅邁向理想之地」?答案只有用戶清楚、且幾無反悔機會

尼奇克誇下海口說:用戶可隨著石棺到心目中的理想之地「優雅地邁向死亡」。

但是尼奇克是否能保證:死後真的會去到他口中的「理想之地」?一時的自殺,或許可暫時解脫;但是死後會去哪裡,恐怕才是最大問題。

1215-2.jpeg

一時的自殺,或許可暫時解脫;但是死後會去哪裡,恐怕才是最大問題

珍惜生命,自殺不能解決問題,生命一定可以找到出路。若須諮商或相關協助,可撥衛福部專線「1925」、生命線專線「1995」或張老師服務專線「1980」。

 

 

 

相關文章:

人工智慧過招,你的草圖也能變成栩栩如生的風景圖

人工智慧:貓是液體!NVIDIA 的 AI 創造人臉超逼真,但合成的貓都是液態

模特兒要失業了?人工智慧「虛擬超模」試衣 棚拍 擺Pose都超專業

AI讓形象照「動起來」成視訊替身!NVIDIA會議救星Vid2Vid Cameo

人間福音!谷歌地圖用人工智慧幫規劃"最省油路線"

人工智慧作家新功能,12萬字名著用200字說完(上)

無接觸經濟正熱,借力人工智慧反洗錢犯罪不費力(上)

 

 

安樂死之前,先讓人工智慧定義你是否符合資格(上)

當醫療用人工智慧助人恢復健康時⋯⋯這位醫生卻開發自殺用AI!

截至目前,許多醫療界與 AI 工程師聯手推出各式各樣的人工智慧應用,目的都是為了要救活病人、降低死亡率,像是日前獲 FDA 批准的內視鏡 AI ,可及早預防與醫治大腸癌、還有 PTT 創辦人杜奕瑾因逝母遺憾,而打造的人工智慧敗血症即時預測 AI

當眾多醫用 AI 在為人類解決問題時⋯⋯有「死亡醫師」之稱的澳洲醫師尼奇克(Philip Nitschke)卻反其道而行,開發了讓人工智能「鑑定」用戶是否該安樂死,並搭配可自行 3D 列印的輔助自殺(assisted suicides)裝置——「石棺(Sarco)」,介紹如以下影片所示:

Sarco @ Venice_Design from Philip Nitschke on Vimeo.

瑞士安樂死條件太龜毛?他竟讓 AI 來定義你是否「該死」

AI 自殺裝置「石棺(Sarco)」的樣品 ,首次公開於 2018 年荷蘭的阿姆斯特丹喪葬展上,引發不小爭議。之後經過三年的研發,他打算帶著「進化版」的石棺 AI 輔助自殺系統前進瑞士,期待可在第一個通過安樂死合法的國家派上用場。

安樂死原因有哪些?瑞士接受輔助自殺的死者中「25%無罹患絕症」

而瑞士當前的法律僅允許人們在「特定條件」下接受輔助自殺,執行前亦需經過心理狀態評估等程序,才有機會拿到處方箋、並由醫生或醫療單位協助自殺。

當然心理狀態的評估標準見仁見智,在瑞士,每年通過協助自殺而過世的人群當中,有四分之一的人其實並沒有罹患絕症,純粹只是「厭倦了生活」。像是 2014 年通過安樂死而過世的英國退休藝術教師,選擇自殺的原因竟只是「厭倦了充斥著電子郵件、電視、電腦和超市快餐的現代世界」

他讓 AI 取代醫師決定你生死,讓「找死」的過程更民主?

即便如此,尼奇克仍主觀地認為,瑞士有很多醫師不願意開「死亡處方箋」給無病痛的人:例如對活著感到厭倦的長輩等,而他發明的石棺可解決問題,宣稱可「讓死亡的過程更加『民主化』(democratising)⋯⋯」尼奇克說道:「所有理性的成年人都應享有決定要在何時結束生命的權利,不該是被掌握在其他人手上⋯⋯」

只要 AI 說「yes」,你就可一鍵墜入陰間

所以尼奇克在一開始研發「石棺」時,就沒有打算要讓其他醫護人員參與;他把評估用戶心理狀態的重責大任交給冷冰冰的機器:用戶只要通過人工智慧給的測驗後,就能拿到啟用石棺(自殺)的啟動碼、藉此躺入石棺。

躺入石棺後,用戶可輕易按按鈕、或是比手勢等來啟動自殺程序。啟動後石棺就開始調整艙內氮氣、氧氣比例,用戶就會漸漸失去意識而死亡。他也指出:用戶在啟動石棺後若反悔,可按下緊急停止鈕以獲得重生機會。但是若反悔時,意識已薄弱到失去按下按鈕的力氣呢?

下篇請看此連結

 

 

相關文章:

人工智慧過招,你的草圖也能變成栩栩如生的風景圖

人工智慧:貓是液體!NVIDIA 的 AI 創造人臉超逼真,但合成的貓都是液態

模特兒要失業了?人工智慧「虛擬超模」試衣 棚拍 擺Pose都超專業

AI讓形象照「動起來」成視訊替身!NVIDIA會議救星Vid2Vid Cameo

人間福音!谷歌地圖用人工智慧幫規劃"最省油路線"

人工智慧作家新功能,12萬字名著用200字說完(上)

12萬字名著,人工智慧用200字就說完(下)

 

 

人工智慧也有觸覺了!祖克柏推ReSkin進軍元宇宙(下)

人工智慧也有觸覺了!祖克柏推ReSkin進軍元宇宙(下)

人工智慧發展大躍進,祖克柏讓元宇宙有了觸覺(下)

本文為第三篇,上篇請看此連結

過往收集不到的觸覺,ReSkin 做到了!人工智慧發展大突破

為了展現 ReSkin 的實用性、並展示它如何幫助研究人員,利用過往難以收集到的各種觸覺數據,以推進人工智慧發展的,Meta AI 在下列幾個不同的試驗中,展現 ReSkin 突出的實用性:

像人類般,完整拿取藍莓、葡萄等脆弱的水果

ReSkin 擁有絕佳的觸覺感知能力,可用於研發「訓練機器人用鑰匙打開門、抓住葡萄或藍莓等精緻物體」的人工智慧。

上面影片是測試當機器夾爪抓起脆弱的藍莓時,無安裝 ReSkin 以及有安裝 ReSkin 的差異:

影片一開始是沒有裝 ReSkin 的對照組,單單透過夾爪的內建力道感應拿起藍莓,不但容易破壞水果,也無法完成採樣與評估力道;而影片的後半段顯示:只要透過 ReSkin,它就卻能夠好地感應力回饋以控制抓取力道。

ReSkin 做成狗鞋子,蒐集動物於野外活動的觸覺資料

ReSkin 製成狗的鞋子,蒐集狗在野外行走的觸覺資料。其感測器可追踪狗在休息、行走、跑步的施力大小與方向。

 

 

ReSkin 做成手套,捕捉人類用手接觸物品的力道

ReSkin 同時可用於感測人類與物體交互過程(例如用手拿起東西、或是推東西)中,所施予的力道大小。影片中,研究人員在右手食指放置了一張 ReSkin 皮膚和一塊電路板、並戴上橡膠手套製作紅豆麵包時。過程中,感測器測量、並輸出數據。

大範圍面積的接觸定位

ReSkin 還可以按比例放大,在更大的表面積上進行接觸定位。有些模型建構,是需要知道目標位置在哪裡的。例如:要訓練機器人靠近地面撿起物體,則需要知道它要從哪裡接觸物體、要用多少力道。而 ReSkin 可在大範圍面積上接觸定位的特性,有利於建構此類模型。

ReSkin 未來在人工智慧的應用

Meta AI 研發了具有細膩觸覺感知的 ReSkin,低成本、靈敏度高且能恆久使用。柔軟的外皮,像繃帶般容易更換,換後可以立即使用——這是一個強大的人工智慧工具,可以幫助研究人員建立多種人工智慧模型。

Meta AI 進一步表示:希望將觸覺感知作為人工智慧研究的一個領域,並大力推進。除了 ReSkin,他們還同時宣布處理物件觸覺的開源生態系統,包含高分辨率觸摸感應硬體 DIGIT 、模擬器 TACTO 、基準測試 PyTouch 和數據集等等。

團隊相信相關進展將能提升人工智慧的感知能力,使其不再侷限於視覺和聲音方面,從而提高觸覺感知的應用。另外,團隊非常期待研究界將如何利用所述工具以進一步推進人工智慧領域的發展。

結合人工智慧開發「ReSkin」皮膚實現觸覺的體驗,在接觸其他表面時,本身內嵌入的磁性顆粒產生成磁場,進而形成觸覺,感測器會記錄磁流量(magnetic flux)的變化,反饋數據傳輸給人工智慧軟體分析,幫助 AI 機器人辨識物體觸感、重量、溫度及狀態等。

Meta 研究科學家古普塔(Abhinav Gupta)10月29日曾在記者電話會議表示,觀察 AI 人工智慧在過去十年的發展,可發現電腦視覺雖大有長進,包括聲音、語言也很有進展,在觸覺的開發過程,感測器數據取得不易與耗費成本,因此在研究上有所限制。然而,人類從嬰兒到成人的學習經驗,歷經視覺、聲音、觸覺、味覺、嗅覺等感官學習建立對世界的理解。所以希望將觸覺融入 AI 人工智慧的模型,透過真實般的觸摸感知,獲得更貼近人類生活的互動。

 

 

相關文章:

臉書聊天AI再進化!牢記你說過的話、還會主動找答案

FB 用十億張照片讓 AI「SEER」自主學習!自監督學習大躍進

「超能力」具現化?臉書推手腕 AR 感測器 讓你隔空操縱介面

Google 開發編舞用人工智慧「FACT」,任何音樂都能生成對應舞蹈!

人工智慧無接觸經濟夯,保護金融資安不費力(上)

人工智慧作家新功能,12萬字名著用200字說完(下)

谷歌人工智慧編舞,任何音樂都能生成對應舞蹈(2)

 

人工智慧也有觸覺了!祖克柏推ReSkin進軍元宇宙(中)


人工智慧也有觸覺了!祖克柏推ReSkin進軍元宇宙(中)

人工智慧發展大躍進,祖克柏讓元宇宙有了觸覺(中)

本文為第二篇,上篇請看此連結

不到3mm的輕薄柔軟、不到6美元的低成本

由於人工智慧應用與技術的研發,往往需要巨量的數據來產生機器學習模型。所以致力於人工智慧發展Meta AI 部門,對觸覺 sensor 的需求大。

過往機器人皮膚需要內建電子設備,來監控皮膚與表面接觸時產生的電流變化。然而厚度不到 3mm 的可塑型皮膚 ReSkin ,只需要靠近監控設備即可,這意味著我們可以花更低的成本屬於,偵測到寬度不到 1 釐米、力道僅 0.1 牛頓的物件。

Meta 研究科學家古塔(Abhinav Gupta)說:如果生產 100 件以上的 ReSkin,則每一件的材料成本將低於 6 美元。皮膚的薄度可以重複使用 50000 多次,就算磨損,也非常容易搭上磁性粒子替換(更換過程如下方影片所示)。

90%的精確度,能搜集到過去無法得知的數據

ReSkin 的時間解析率高達 400Hz,1 毫米的空間解析度則有 90% 的精確度。這種精準度使其在元宇宙上能具備多種應用,像是機械手臂、觸感手套、袖套、以及任何能追蹤走路、跑步、運動和休息的鞋子(寵物也可用)等,因此它可協助研究人員蒐集過去無法得知的多種觸覺資料。此外,ReSkin 還提供高頻 3 軸觸覺訊號,可執行靈巧的操作動作,如丟、抓、拍手、滑等。

古塔認為這是未來。他說:「當你戴上這些耳機時,你想要產生愈來愈豐富的體驗——而關鍵是觸覺。」

ReSkin的人工智慧原理-磁場x影像SENSOR打造擬人觸覺

依 Meta AI 的研究科學家古塔(Abhinav Gupta)等人的撰文內容表示,目前希望這樣的觸覺感知能力賦予在 AI 機器人身上,使其獲得更人性化的互動方式。例如:機器手臂順利地拿起桌上的蛋,而不會施予過度的力道讓蛋破碎。

當研究人員想要賦予機器人觸覺時,首先想到的是能不能也給機器人跟人類一樣的皮膚,讓機器人全身都有觸感?紐約大學電腦科學的助理教授 Lerrel Pinto 表示,獲得可信賴的觸覺感知數據,是目前機器技術的重大瓶頸。現有的感應器很昂貴、解析度差且重量不輕,ReSkin 將克服以往的這些問題。

ReSkin感測器-內建磁性顆粒,一摸就生成磁場

由 Meta AI 的合作對象——卡內基梅隆大學打造的 ReSkin 感測元件,可模擬「觸覺」:透過模仿人類皮膚的設計,在接觸其他表面時,本身內嵌入的磁性顆粒產生成磁場,進而形成觸覺;感測器會記錄磁流量(magnetic flux)的變化,反饋數據給人工智慧軟體分析,幫助 AI 機器人辨識物體觸感、重量、溫度及狀態等,因此可讓機器手臂隨著力道增加,而判斷物品受力程度。

DIGIT感測元件-內建攝影鏡頭,一壓就啟動影像辨識

Meta AI 對於 ReSkin 的設計過程中,以可辨識指尖按壓力度的 DIGIT 感測元件及可模擬「觸覺」的 ReSkin 感測元件,讓機器人可以自主判斷機器手臂的按壓力道。DIGIT 感測元件採 15 美元造價成本、可識別高解析度影像設計,表面覆蓋一層透明矽膠用於接觸;內部則包含照明用 LED 燈組,用於影像識別的攝影鏡頭。當機器手臂指尖開始進行壓按動作時,系統就會透過影像識別方式判斷指尖施與力道。

配合先前機器人觸覺感知的訓練數據,當指尖識別影像對應到玻璃杯、保麗龍等易碎材質時,就會採取較小夾取力道,依照夾取物品外觀大小作調整力道,以便順利將物品成功夾取。

不過,包含 DIGIT、ReSkin 在內的兩種感應器的設計,都必須透過深度學習方式進行訓練,意味著機器人雖可學習觸覺,但仍然會侷限在預先訓練的使用資料範圍內,但預期未來將能透過不同的學習框架,讓機器人可學習到更多「觸覺」,藉此反應在真實互動中所使用力道。

幫助人工智慧喊痛叫癢

除了應用在機器人觸覺,目前此技術也能應用在更多智慧穿戴裝置的觸控互動,例如應用在衣物等軟性表面物品,藉此產生觸控操作反應;甚至還能應用在機器人身上,模擬產生「痛覺」或「搔癢」

下篇請看此連結

 

 

相關文章:

臉書聊天AI再進化!牢記你說過的話、還會主動找答案

FB 用十億張照片讓 AI「SEER」自主學習!自監督學習大躍進

「超能力」具現化?臉書推手腕 AR 感測器 讓你隔空操縱介面

Google 開發編舞用人工智慧「FACT」,任何音樂都能生成對應舞蹈!

人工智慧無接觸經濟夯,保護金融資安不費力(上)

人工智慧無接觸經濟正熱,杜絕洗錢犯罪不費力(下)

谷歌人工智慧編舞,任何音樂都能生成對應舞蹈(2)

 

 

 

人工智慧也有觸覺了!祖克柏推ReSkin進軍元宇宙(上)

在元宇宙也有觸覺! Meta 養成 ReSkin 人工智慧模擬真實肌膚感知

讓臉書 CEO 祖克柏​​熱血沸騰的「元宇宙」(Metaverse)新虛擬世界,目前是以有限的形式存在,我們只要戴上 VR 眼鏡便可抵達!祖克柏日前更將 Facebook 母公司改名 「Meta」,展現將「元宇宙」深入現實世界的野心!緊跟著「元宇宙」的腳步,祖克柏在十一月宣布:自家公司研發了新的觸覺感測器「ReSkin」,質感如真人皮膚,可安裝在 AI 機器人身上、​​收集人工智慧的觸覺資料

祖克柏:人工智慧皮膚ReSkin,讓我們離「元宇宙」更近

根據祖克柏日前在 Facebook 的貼文所述,自家公司「Meta」設計了高階觸控感測器 ReSkin;並與引導全球人工智慧趨勢的「卡內基美隆大學(Carnegie Mellon University)」合作,創造機器人及穿戴式裝置專用的塑膠薄皮膚。這能「帶領我們,進一步邁向『元宇宙』擬真虛擬物件與實質肢體的互動」。

Meta AI (前身為 Facebook AI)的研究人員與卡內基美隆大學合作研發的 ReSkin,快速、大規模地提升了人工智慧夠在感測器和系統間共享數據。

Meta 將發佈 ReSkin 的設計、相關文檔、代碼和基礎模型,讓人工智慧的研究人員毋需搜集或訓練他們自己的數據庫,就能立即使用 ReSkin。如此一來,反而有利於提高人工智能的觸覺感應技能。

ReSkin觸覺感應範圍廣,助人工智慧執行高靈敏工作

人造皮膚 ReSkin 能感應到的觸覺非常廣泛,這優點幫助人工智慧能進行多種以觸覺為主的工作,包含物件分類、肌肉運動知覺(本體感覺)和機器人抓取等;另外,訓練過觸覺感知能力的人工智慧模型,有能力從事需要高度靈敏度的工作,如醫療保健機構的工作、或是需要更高靈巧度的工作:如操作小的、柔軟的、敏感的物體等。

ReSkin 還能與其他的感測器結合,在實驗室外等不可控的非結構化環境中,搜集視覺、聽覺和觸覺的數據。

下篇請看此連結

 

相關文章:

油價漲免驚!Google Maps 用人工智慧規劃「最省油路線」

人類又輸了?工程師需花數月設計出IC晶片,AI六小時就搞定!

人工智慧幫你診斷皮膚疾病!Google AI鏡頭變身皮膚科幫手

生物學最大謎團被人工智慧 破解!DeepMind 攻克「蛋白質折疊」奧秘

人工智慧無接觸經濟夯,保護金融資安不費力(上)

人工智慧無接觸經濟正熱,杜絕洗錢犯罪不費力(下)

谷歌人工智慧編舞,任何音樂都能生成對應舞蹈(1)

谷歌開發編舞用人工智慧,任何音樂都能編成舞蹈(3)

 

谷歌開發編舞用人工智慧,任何音樂都能編成舞蹈(3)

谷歌人工智慧編舞能力一流,還能通通都能生成對應舞蹈(3)

本文為第一篇,第二篇請看此連結

與其他人工智慧應用相比:FACT編舞能力一流

將 FACT 的性能,針對各個指標,與其他的人工智慧應用進行比較:

1129-6.png

如上表所示,FACT 與三種最先進的編舞人工智慧應用(Li et alDancenetDance Revolution)相比,FACT 模型生成的動作更逼真,與輸入音樂的相關性更好,並且在以不同的音樂為條件時更多樣化。*注意的是 Li et al生成的運動是不連續的,使得平均運動特徵距離異常高。

Google 還透過使用者研究,評估音樂與動作的相關性:讓每位使用者觀看 10 個影片,片中有一個 FACT 模型與一個隨機對照模型所生成的編舞結果然後讓使用者選擇哪個模型生成的舞步比較能夠與音樂同步。使用者共有 30 名,包含專業舞者以及很少跳舞的人。

結果顯示:81% 的使用者喜歡 FACT 模型生成的結果勝於 「Li et al.」的;跟 Dancenet 相比,71% 的人喜歡 FACT 勝過 Dancenet;跟 Dance Revolution 比較, 77% 的人也更喜歡 FACT。。有趣的是,75% 的參與者喜歡 AIST++ 未配對的舞蹈動作勝於透過 FACT 所生成的。這並不奇怪,因為最初的舞蹈紀錄具有很強的表現力。

定性結果

如下圖所示,與先前 DanceNet(左)與 Li et. al.(中)相較之下,使用 FACT 模型(右)生成的 3D 舞蹈更逼真,並且與音樂的相關性更好。

1129-7.gif

使用 FACT 人工智慧模型生成更多 3D 舞蹈:

1129-8.gif

1129-9.gif

1129-10.gif

1129-11.gif

人工智慧發展下一步:為每首歌生成逼真舞蹈

Google 開發了一個人工智慧模型,可以學習音頻與動作對應的關係,還可以基於音樂,生成的高質量 3D 動作序列。由於從音樂生成 3D 動作是一個新興的研究領域,Google 希望此項研究成果能為未來跨模組「音頻-3D 動作」的生成鋪道。

透過這項研究,Google 還發布了迄今為止最大的 3D 人類舞蹈資料庫「AIST++」——具有多視角、多種舞蹈形式、跨模態的 3D 動作數據集,不僅對 3D 動作生成研究有幫助,一般來說,也對人類理解研究幫助。Google 將在 GitHub 中發布代碼,並在此處發布經過訓練的模型。

雖然此項結果給了這個「基於音樂來生成 3D 動作」的議題一個有希望的方向,但還有更多的東西需要探索:像是Google 所使用的方法是基於運動學的、並沒有將舞者和地板間的身體互動考慮進去。因此,若進行全局平移的話,會導致如腳滑動和浮動的假影。因此,接下來的方向是要探索如何為每首音樂來生成多個逼真的舞蹈。

 

 

 

相關文章:

油價漲免驚!Google Maps 用人工智慧規劃「最省油路線」

人類又輸了?工程師需花數月設計出IC晶片,AI六小時就搞定!

人工智慧幫你診斷皮膚疾病!Google AI鏡頭變身皮膚科幫手

生物學最大謎團被人工智慧 破解!DeepMind 攻克「蛋白質折疊」奧秘

人工智慧無接觸經濟夯,保護金融資安不費力(上)

人工智慧無接觸經濟正熱,杜絕洗錢犯罪不費力(下)

12萬字名著,人工智慧用200字就說完(下)

全球首屆元宇宙時裝周,複刻20年前的失敗?

全球首屆元宇宙時裝周, 遇到瓶頸 複刻20年前的失敗? 目錄 元宇宙時裝周參與盛況 叫好不叫座?新興技術的行銷瓶頸 由虛擬實境平台 Decentraland 所舉辦的「元宇宙時裝週」(Metaverse Fashion Week...