顯示具有 Instagram 標籤的文章。 顯示所有文章
顯示具有 Instagram 標籤的文章。 顯示所有文章

臉書團隊正加緊研究的圖像辨識人工智慧-SEER,到底厲害在哪?

臉書團隊正加緊研究的圖像辨識人工智慧-SEER,到底厲害在哪?




想知道人工智慧是如何自監督式學習,臉書又是如何訓練它的?這篇將帶你慢慢了解~

 

目錄

 

FB出動IG十億張照片,訓練最強圖像識別AI「SEER」



近年來自監督式學習(self-supervised learning)的研究與發展十分蓬勃,如 Google Brain 在 2020 年公開的「SimCLR」就被認為是個重要的里程碑。

但坐擁著全球最大影像資料庫之一 Instagram 的 Facebook 也不惶多讓,透過 Instagram 上超過 10 億張的公開照片,訓練出最新的自監督式學習模型「SEER」(SElf-supERvised),並宣稱 SEER 是目前在圖像識別測試之中,表現最優秀的 AI 。

 

何謂 AI 的自監督式學習是什麼?

機器學習中最廣泛使用的監督式學習(supervised learning),是由人給定標記好的資料,讓 AI 學習正確答案並作為推論根據。但是,這種方法依賴於人工事先標記,不僅要耗費大量時間、人力與資源,AI 也只能針對已標記的特徵來學習、完成特定範圍內的任務,如:語音轉文字、分類圖像、物件辨識等。

為了突破這些限制,自監督學習(Self-supervised Learning,SSL)就應運而生了。

自監督學習是觀察現有訓練資料中的任何部份來學習,透過預測來認識世界,而無需仰賴人工事先給定的標籤。

換而言之,自監督學習所訓練的 AI 模型,能藉由觀察過去與現在的訓練資料,來預測未來會發生的事。如 SEER 可以透過觀察未標記、未分類的 Instagram 照片,就辨識出照片中的物品或人物。

這讓許多人相信,AI 技術若要開創新局面,利用自監督式學習是最好的方式。Facebook AI 研究團隊也認為,AI 的未來在於不需依靠人類事先準備好的「教材」來學習如何識別物件,而是能直接從任何形式──如文字、圖片、聲音、影像等──的數據資料中學習。

 

奠基在 10 億張圖上的自監督 AI

SEER 模型結構是基於 Facebook AI Research 實驗室於2020年所提出的「RegNet」模型,與在線自監督學習演算法「SwAV」,來分析總量達 10 億張的隨機圖片。


SEER 模型結構是基於 Facebook AI Research 實驗室於2020年所提出的「RegNet」模型,與在線自監督學習演算法「SwAV」,來分析總量達 10 億張的隨機圖片。|圖片來源:Facebook AI Blog

圖片來源:Facebook AI Blog

 

SwAV 能利用聚類分析(Cluster analysis)來快速分組具有相似視覺概念的圖片,再透過同組中圖片的相似性增進學習效能,讓訓練時間大幅減少。不過,要執行這樣的運算,SwAV 需要一個運行效率很高、又不會損失精確性的模型架構。

而能夠擴展到數十億、甚至數萬億個參數的 RegNet,正好完全符合這些需求。



Facebook AI Research 團隊對比了 SEER 與其他自監督式學習演算法在 ImageNet 上的預訓練結果,表示SEER 的表現是最佳的|圖片來源:Facebook AI Blog

圖片來源:Facebook AI Blog

 

而團隊也對比了 SEER 與其他自監督式學習演算法在 ImageNet 上的預訓練結果,表示SEER 的表現是最佳的。

 

FB 最強圖像辨識 AI 「SEER」 的潛力

儘管 SEER 目前還只是一個研究項目,但  Facebook 官方表示其發展潛力相當廣泛,包括用於自動生成文字說明、對賣家於 FB  Marketplace 上傳的商品圖片增加建議標題及類別、防止違反社群規則的內容在 FB 平台傳播等等。甚至若其動態影像預測的研究成熟後,可以用在預測自駕車周遭車輛的行駛軌跡,為自駕車技術增添一大助力。

並且,SEER 的成果也展現出,自監督式學習可以成為更加有效、準確且適應性強的電腦視覺模型。也許未來,自監督式學習能帶給 AI 領域更多爆炸性的突破。

 

 

 

延伸閱讀:

你上傳圖片到 IG 的同時,其實也在幫 FB 訓練人工智慧!

2021最適合工作的科技公司排行榜:NVIDIA第一、Google第三,蘋果連前十名都無?

Facebook 開源 Python 語言的安全與隱私工具 Pysa

人工智慧打造「精準農業」種出完美蔬菜、進行牛臉辨識

是誰有好大能耐嗆AI自駕大廠特斯拉,根本不是對手(下)

3款人工智慧彩妝,替妳量身訂製且可立馬試妝

人工智慧將照片變動畫,讓已逝親人在你眼前眨眼微笑

臉書利用Python語言保護你的網路安全與隱私

 

臉書利用Python語言保護你的網路安全與隱私

臉書利用Pysa檢測Python語言的安全,保護你的個資不外洩!

▲ Pysa 檢測 Python 程式碼中安全漏洞的官方說明影片

你最近是否聽說Facebook 近日開源了一個用於檢測 Python 程式碼中安全漏洞的自動化工具「Pysa」。其實該工具最初是用來保護旗下的 Instagram。

Pysa 為「Python  Static Analyzer」的縮寫,是 Python 靜態分析工具的意思,與另一套同名的勒索軟件 Pysa 毫無關係──希望讀者別把這兩者混為一談。

Pysa 專門用於追蹤大規模的 「Python  代碼庫──如驅動 Instagram 的 Python  程式碼──中的潛在安全漏洞。

這套工具會在代碼運行 / 編譯之前,以靜態模式掃描程式碼,著眼於數據流經系統的方式,查找潛在已知的錯誤模式、然後幫助開發者標註出潛在的問題:

安全漏洞

Facebook 資安工程師 Graham Bleaney 和 Sinan Cepel 寫道:「分析數據流是非常管用的,因為許多安全和隱私問題,都可被建模為數據而流入不該進入的地方。」

舉例來說,遠端代碼執行的漏洞,會被視為一般的用戶輸入,而到達系統程式碼內未經授權的部分。

Facebook 表示:在 2020 年的前半年,Pysa 就偵測到有 44% 的安全漏洞,是藏在 Instagram 伺服器端的 Python 代碼中。

Pysa 是基於開源代碼 Pyre 項目而建立的。Pyre 項目本是用來提高 Python  程式碼的品質的自動化工具,經過特別修改以協助發現安全漏洞。

去年,Facebook 就有推出了一個類似的工具 Zoncolan,該工具是用於 Hack 語言 (一種類 PHP 語言,用於 Facebook 應用程序的主要代碼庫) 中尋找安全漏洞。

無論是 Pysa 還是 Zoncolan,掃描程式均會尋找潛在危險的資料型態。這些資料型態可能會利用漏洞以允許跨網站指令碼攻擊 (XSS)、遠端程式碼攻擊、SQL 注入或用戶資料外洩等。當掃描到這些有害的數據後,即會通知程式開發人員。

及時檢查

「就像 Zoncolan 用於 Facebook 的 Hack;Pysa 幫助我們擴展了 Python  的應用程式安全性,尤其是那驅動 Instagram 伺服器的代碼庫。」Facebook 資安工程師 Bleaney 和 Cepel 寫道。

「這些結果將直接傳送給程式開發人員或是轉到資安工程師,取決於檢測到的問題類型以及我們針對該問題的信噪比 (S/N Ratio)。」

Facebook 表示,它讓 Pysa 開源,以讓更多開發者用來檢查自己的 Python  程式碼。

開源

Bleaney 和 Cepel 表示: 「因為我們在自家產品上使用開源 Python 伺服器端框架,如 Django 以及 Tornado。Pysa 可以從一開始就找出應用這些框架的項目的安全性問題。」

他們補充說:將 Pysa 用於尚不支持的框架可以很簡單,只需添加幾行配置,即可告訴 Pysa 數據進入伺服器的位置。

Facebook 已在 GitHub 上正式發布了 Pysa 的開源代碼,以及一些能協助它追踪安全問題的 bug definitions。



相關文章:

人工智慧貓砂盆 - 因愛貓腎病過世 工程師研發預防性貓用醫療品

非資工系出身!產品工程師「Python 課程」結業後轉職大醫院的網站工程師

人工智慧結合汽車雷達偵測行車視線死角 「駕駛盲區」即將走入歷史?

Python 教學 - 控制結構篇 - while 迴圈

深入了解Python和R語言,有助找出學習方向(上)

Python和R語言,哪個適合機器學習(下)

非本科出身!他靠Python課程順利轉職網站工程師

全球首屆元宇宙時裝周,複刻20年前的失敗?

全球首屆元宇宙時裝周, 遇到瓶頸 複刻20年前的失敗? 目錄 元宇宙時裝周參與盛況 叫好不叫座?新興技術的行銷瓶頸 由虛擬實境平台 Decentraland 所舉辦的「元宇宙時裝週」(Metaverse Fashion Week...