News
2024-07-15 【3D環(huán)景掃描】Matterport 數(shù)位孿生 : 重新裝修家居的最佳解決方案
【3D環(huán)景掃描】Matterport 數(shù)位孿生 : 重新裝修家居的最佳解決方案
Matterport 可以將您家中的任何房間轉(zhuǎn)變?yōu)橹匦卵b修的空間，而無(wú)需移動(dòng)任何一件家具。
想像一下，不需要搬動(dòng)任何家具，就能完全重新裝潢您的客廳，這就是 Matterport 正在打造的。
Matterport 應(yīng)用人工智慧的理念在此基礎(chǔ)上，探索 3D語(yǔ)義理解和內(nèi)繪方面的先進(jìn)技術(shù)如何為數(shù)位雙胞胎帶來(lái)一系列令人興奮的新應(yīng)用。
Matterport 最初專注於創(chuàng)造逼真但靜態(tài)的現(xiàn)實(shí)世界空間重構(gòu)，為虛擬旅遊和各種消費(fèi)應(yīng)用奠定了良好的基礎(chǔ)。然而，要真正改造這些空間、評(píng)估其潛在用途或管理其日常維護(hù)和運(yùn)營(yíng)，光靠靜態(tài)重建是不夠的。為此，廠方一直在開(kāi)發(fā)先進(jìn)的物業(yè)智慧工具，這些工具利用語(yǔ)義理解來(lái)提供有關(guān)物業(yè)的更深入的見(jiàn)解和有價(jià)值的資訊。
現(xiàn)在，隨著人工智慧生成技術(shù)的最新突破，廠方將重點(diǎn)擴(kuò)大到在 Matterport 空間內(nèi)創(chuàng)建新內(nèi)容和新體驗(yàn)，以豐富用戶與這些數(shù)位環(huán)境的互動(dòng)和感知方式。
結(jié)合Matterport 十年的機(jī)器學(xué)習(xí)和人工智慧經(jīng)驗(yàn)以及新的生成式人工智慧工具的強(qiáng)大功能，他們正在透過(guò)Project Genesis 將新的設(shè)計(jì)和家具創(chuàng)意變?yōu)楝F(xiàn)實(shí)，只需點(diǎn)擊一下按鈕即可實(shí)現(xiàn) — 首先是能夠立即對(duì)任何空間進(jìn)行裝修。
甚麼是家具移除？
去家具化（Defurnishing）是數(shù)位影像處理和 3D建模中的關(guān)鍵技術(shù)，它需要從空間影像中移除家具和可移動(dòng)物品，使空間變得空曠。
這種方法對(duì)於需要將閒置空間視覺(jué)化的應(yīng)用（包括室內(nèi)設(shè)計(jì)、房地產(chǎn)和虛擬舞臺(tái)）至關(guān)重要，可以清晰地顯示空間的潛力。
去家具化是所有 Matterport 數(shù)位孿生正在開(kāi)發(fā)的功能，分為三個(gè)步驟：
1. 重建： 先捕捉並重建空間，創(chuàng)造數(shù)位孿生。
2. 理解： 然後對(duì)重建的空間進(jìn)行語(yǔ)義理解，特別是確定屬於希望移除的家具物品的像素（在圖像中）和網(wǎng)格面（在娃娃屋視圖中）。
3. 合成： 由於我們從未直接捕捉到被家??具遮擋的區(qū)域，因此在移除家具後，影像中會(huì)出現(xiàn)空白像素，網(wǎng)格中也會(huì)出現(xiàn)空洞。影像中的「空白空間」內(nèi)容需要進(jìn)行內(nèi)繪，而網(wǎng)格中的孔洞則需要進(jìn)行填充和紋理處理。
在三蒂瑪(3DMart) 發(fā)佈 Matterport 的 2024 年冬季版本文章中，您可以預(yù)覽廠方的去灰功能。在本部分部落格系列中將重點(diǎn)介紹語(yǔ)意分割 — 自動(dòng)去污的關(guān)鍵第一步。
以下是Matterport冬季發(fā)佈的中文版影片 :
了解語(yǔ)意分割
語(yǔ)意分割是一項(xiàng)重要的電腦視覺(jué)任務(wù)，包括將影像劃分為不同的區(qū)域，並為每個(gè)區(qū)域指定一個(gè)特定的類別。這樣做的目的是為每個(gè)像素標(biāo)註一個(gè)類別（如 「地板」、「牆壁」、「窗戶」、「桌子」），透過(guò)精確定位物體並劃定其邊界來(lái)促進(jìn)對(duì)場(chǎng)景的全面了解。
物體偵測(cè)的重點(diǎn)是周圍有邊界框的物體，影像分類則是對(duì)整個(gè)影像應(yīng)用單一標(biāo)籤，而語(yǔ)意分割則不同，它能實(shí)現(xiàn)對(duì)場(chǎng)景的細(xì)粒度分析，提高解讀的深度。語(yǔ)意分割是電腦視覺(jué)領(lǐng)域的基礎(chǔ)技術(shù)，在自動(dòng)駕駛汽車、醫(yī)療影像、機(jī)器人等領(lǐng)域都有應(yīng)用。
最近，它已成為虛擬室內(nèi)設(shè)計(jì)的關(guān)鍵要素。在對(duì)空間進(jìn)行初始捕捉時(shí)，可用的主要數(shù)據(jù)會(huì)勾勒出空間的整體結(jié)構(gòu)和美感。語(yǔ)意分割在豐富對(duì) Matterport 空間內(nèi)容的理解方面起著至關(guān)重要的作用，可以實(shí)現(xiàn)精確的操作 — 無(wú)論是移動(dòng)、編輯、索引或刪除元素。
要有效地改變 Matterport 空間的任何方面，必須進(jìn)行詳細(xì)的語(yǔ)義分割，將空間的關(guān)鍵組成部分區(qū)分開(kāi)來(lái)。
分割在去家具化中的作用
要從數(shù)位雙胞胎的影像和 3D結(jié)構(gòu)中移除家具，必須先辨識(shí)出屬於家具物品的像素/網(wǎng)格面。去除這些像素/面往往會(huì)導(dǎo)致資訊缺失。這是因?yàn)樵诓蹲綌?shù)位孿生時(shí)，無(wú)法看到家具後面/下面的區(qū)域。
因此，在移除家具後，需要產(chǎn)生一些可信賴的圖像/ 3D內(nèi)容來(lái)填補(bǔ)這些漏洞。這個(gè)過(guò)程被稱為「圖像內(nèi)繪」。
內(nèi)繪是一種用於影像編輯和修復(fù)的高級(jí)技術(shù)，旨在填補(bǔ)影像中缺失或損壞的部分，確保影像看起來(lái)完整自然。其主要目的是無(wú)縫重建這些區(qū)域，使其與周圍的影像完美融合，從而保持影像的結(jié)構(gòu)完整性和視覺(jué)連續(xù)性。
許多內(nèi)繪方法都依賴對(duì)指定移除和後續(xù)內(nèi)繪區(qū)域的精確分割遮罩。任何影響家具分割遮罩的差異或人工痕跡都會(huì)極大地影響內(nèi)繪效果，例如：
• 移除建築物的部分結(jié)構(gòu)而不是家具會(huì)導(dǎo)致嚴(yán)重的結(jié)構(gòu)性幻覺(jué)（例如，可能最終創(chuàng)建了一個(gè)通往不存在房間的門洞，而不是塗抹一些地板和牆壁的內(nèi)容）。
?• 不正確的家具分割，即沒(méi)有正確遮擋物體部分，會(huì)導(dǎo)致無(wú)意中繪製出虛假的物體，而不是所需的「空白空間」（根據(jù)視角的不同，通常被理解為牆壁和地板）。
?• 當(dāng)實(shí)際家具沒(méi)有被分割時(shí)，就會(huì)出現(xiàn)假陰性，導(dǎo)致最終結(jié)果中出現(xiàn)家具的殘餘部分。
因此，要確保能夠獲得準(zhǔn)確的語(yǔ)義分割對(duì)於實(shí)現(xiàn)高品質(zhì)的去家具化結(jié)果至關(guān)重要。
Matterport 的語(yǔ)意分割方法
1. 數(shù)據(jù)
Matterport 使用等角投影對(duì) 360 度全景影像進(jìn)行語(yǔ)義分割，以便在單幀影像中捕捉盡可能廣泛的視覺(jué)背景。語(yǔ)境在電腦視覺(jué)任務(wù)中起著至關(guān)重要的作用，尤其是在使用 Vision Transformers 等現(xiàn)代神經(jīng)網(wǎng)路框架時(shí)。
2. 自訂本體
最初廠方使用的是 ADE20k 本體的一部分，其中包括建築環(huán)境中常見(jiàn)的 150 個(gè)類別。然而，這種方法並不能完全滿足特定需求。
在 Matterport 方案中，目標(biāo)是消除所有可拆卸的家具，同時(shí)保留內(nèi)置的家具。公共資料集通常會(huì)將這些不同類型的家具歸入一般類別（例如，將獨(dú)立式衣櫃和嵌入式衣櫃簡(jiǎn)單歸類為「衣櫃」）。
因此，為了滿足特定需求，必須考慮其他幾個(gè)特定任務(wù)因素，並編制一個(gè)帶有家具細(xì)分註釋的自訂資料集。
3. 網(wǎng)路架構(gòu)
Matterport 決定利用視覺(jué)轉(zhuǎn)換器架構(gòu)的功能，該架構(gòu)已成功用於專案中的各種人工智慧應(yīng)用，特別選擇了視覺(jué)轉(zhuǎn)換器適配器作為分割實(shí)驗(yàn)的基礎(chǔ)。該模型對(duì)視覺(jué)轉(zhuǎn)換器進(jìn)行了修改，視覺(jué)轉(zhuǎn)換器最初設(shè)計(jì)用於從圖像輸入中生成單一特徵向量，使其能夠處理需要特徵圖而非單一向量的圖像到圖像任務(wù)。
儘管ViT-Adapter 並沒(méi)有專門針對(duì)360 度等角圖像進(jìn)行訓(xùn)練，但它在處理這種數(shù)據(jù)類型時(shí)表現(xiàn)出了令人印象深刻的性能，儘管它最初並不是為了解決前面提到的本體差異而設(shè)計(jì)的。
4. 部署
最近，Matterport 將語(yǔ)意分割與深度估算一起提升到了管線的主要位置，因此現(xiàn)在每捕獲一幅影像都要執(zhí)行語(yǔ)意分割。因此，廠方的推理在雲(yún)端運(yùn)行，可抵禦突如其來(lái)的流量波動(dòng)，簡(jiǎn)化維護(hù)工作，並實(shí)現(xiàn)更流暢的更新。
5. 3D語(yǔ)意理解
Matterport 在 3D空間語(yǔ)義理解方面具有獨(dú)特的優(yōu)勢(shì)。透過(guò)將 3D上下文融入語(yǔ)義分割，可以更深入地了解任何捕獲空間內(nèi)的空間和語(yǔ)義連結(jié)。廠方創(chuàng)新地使用 3D娃娃屋視圖，將多個(gè)角度的視角結(jié)合在一起，大大提高了預(yù)測(cè)的精確度。這種先進(jìn)的方法使能夠執(zhí)行更準(zhǔn)確、更有意義的修改。
一個(gè)典型的例子就是去家具化場(chǎng)景，它要求我們對(duì)環(huán)境的 2D和 3D特徵進(jìn)行複雜而準(zhǔn)確的理解。
Defurnishing 的技術(shù)挑戰(zhàn)與局限性
即使是最先進(jìn)的語(yǔ)意分割模式也無(wú)法做到盡善盡美，難以有效地推廣到新的、未曾見(jiàn)過(guò)的數(shù)據(jù)。這個(gè)現(xiàn)實(shí)要求 Matterport 制定策略，糾正錯(cuò)誤或創(chuàng)造變通方法。
雖然有監(jiān)督的語(yǔ)意分割方法通常能產(chǎn)生最佳結(jié)果，但定義和管理本體的任務(wù)卻帶來(lái)了巨大的挑戰(zhàn)。這些本體很容易根據(jù)特定應(yīng)用發(fā)生轉(zhuǎn)變和變化，因此在進(jìn)行重大調(diào)整時(shí)需要經(jīng)常進(jìn)行資料註釋。因此，越能以自我監(jiān)督的方式訓(xùn)練模型，就越能減少根據(jù)新本體調(diào)整分段模型所需的時(shí)間、精力和財(cái)力，設(shè)計(jì)這些本體面臨諸多挑戰(zhàn)。以家具拆卸為例，Matterport 的目標(biāo)是拆除「獨(dú)立 」家具，同時(shí)保留「內(nèi)置」裝置。
確定一件家具何時(shí)符合「嵌入式」的條件是一項(xiàng)複雜的任務(wù)，通常需要一套全面的規(guī)則，以確保決策的一致性和可重複性。如果沒(méi)有一套明確的指導(dǎo)原則，資料標(biāo)註工作很可能會(huì)產(chǎn)生低品質(zhì)的結(jié)果，進(jìn)而影響分割模型的表現(xiàn)。
展望未來(lái)
自我監(jiān)督學(xué)習(xí)
Matterport 探索自我監(jiān)督學(xué)習(xí)已經(jīng)有一段時(shí)間了，隨著各種基於圖像的模型的成功推出，現(xiàn)在是深化在這一領(lǐng)域投資的理想時(shí)機(jī)。
自我監(jiān)督學(xué)習(xí)具有很大的優(yōu)勢(shì)，例如最大限度地減少對(duì)註釋資料的需求、加快訓(xùn)練過(guò)程以及提高特定任務(wù)的效能。
整合 3D上下文
探索將 3D上下文整合到工作流程中，為推進(jìn)流程提供了一條大有可為的途徑，目前Matterport 的資料聚合方法是被動(dòng)的，依賴於一種基於啟發(fā)式的方法來(lái)對(duì)從多個(gè)視圖投射的特徵進(jìn)行加權(quán)。透過(guò)研究在訓(xùn)練階段整合 3D 情境的方法，有機(jī)會(huì)發(fā)展出獨(dú)立於視角的特徵，從而增強(qiáng)模型的理解能力。
此外，廠方也正在探索端到端 3D技術(shù)的潛力，看看直接透過(guò) 3D表徵來(lái)處理語(yǔ)意理解是否能改善成果。這包括重新評(píng)估重建方法。採(cǎi)用神經(jīng)輻射場(chǎng)（NeRFs）等尖端技術(shù)或其他創(chuàng)新策略可以從根本上改變目前的做法，從而顯著提高模型理解能力和性能。
多工模型
多任務(wù)模型能夠同時(shí)執(zhí)行多項(xiàng)任務(wù)，這一想法一直備受關(guān)注。然而，這些模型需要作為一個(gè)有凝聚力的系統(tǒng)來(lái)維護(hù)，這使得在多個(gè)模型中採(cǎi)用共享骨幹的策略更具吸引力。
隨著廠方的進(jìn)步，如何在多任務(wù)模型的優(yōu)勢(shì)和複雜性之間取得適當(dāng)?shù)钠胶?，將是改善工作流程和成果的關(guān)鍵。
開(kāi)放式詞彙模型
另一個(gè)令人興奮的發(fā)展領(lǐng)域是開(kāi)放詞彙模型。傳統(tǒng)的模型受制於固定的本體，會(huì)因顧客需求的廣泛性而受到限制。
然而，開(kāi)放式詞彙模型擺脫了這些限制，它們能夠識(shí)別更廣泛的物件和概念，不受預(yù)定義類別的限制。
這種適應(yīng)性對(duì)於 Matterport 來(lái)說(shuō)是非常寶貴的，它可以在各種空間和應(yīng)用中實(shí)現(xiàn)更廣泛的語(yǔ)義理解。採(cǎi)用開(kāi)放式詞彙方法可望大幅提升滿足客戶不同需求的能力，並增強(qiáng)我們的資產(chǎn)與其他工具的互通性。
結(jié)論
擴(kuò)展對(duì)空間的語(yǔ)義理解將開(kāi)啟多個(gè)產(chǎn)業(yè)的一系列應(yīng)用。認(rèn)識(shí)到單一的本體無(wú)法滿足所有客戶的需求。因此，Matterport 認(rèn)為開(kāi)放詞彙技術(shù)和其他不受嚴(yán)格本體框架限制的方法很有價(jià)值。
另一個(gè)目標(biāo)是提高資源與各種工具的兼容性，為此，我們正在開(kāi)發(fā)多種整合，可確保最終呈現(xiàn)的空置空間準(zhǔn)確無(wú)誤，並在視覺(jué)上具有連貫性。
相關(guān)產(chǎn)品
Matterport PRO3是專業(yè)的3D環(huán)景/空間掃描器，擁有134百萬(wàn)像素的高品質(zhì)，搭配Matterport Capture室內(nèi)環(huán)境3D掃描軟體，只需一鍵就能快速3D掃描各種空間大小，立刻生成高精度的2D平面圖、3D虛擬空間！
想了解更多有關(guān) Matterport 的產(chǎn)品資訊嗎？可按下方聯(lián)繫我們！
- 聯(lián)繫我們 -
三帝瑪提供的不只是 3D列印，我們提供「3D列印代工」、「3D掃描服務(wù)」、「空間3D掃描服務(wù)」三大代工服務(wù) !!
追蹤粉絲頁(yè)、新知不漏接：
Facebook | Instagram | LinkedIn