最新消息 / NEWS
2024-07-15 【3D環(huán)景掃描】Matterport 數(shù)位孿生 : 重新裝修家居的最佳解決方案
【3D環(huán)景掃描】Matterport 數(shù)位孿生 : 重新裝修家居的最佳解決方案
Matterport 可以將您家中的任何房間轉(zhuǎn)變?yōu)橹匦卵b修的空間，而無需移動任何一件家具。
想像一下，不需要搬動任何家具，就能完全重新裝潢您的客廳，這就是 Matterport 正在打造的。
Matterport 應(yīng)用人工智慧的理念在此基礎(chǔ)上，探索 3D語義理解和內(nèi)繪方面的先進(jìn)技術(shù)如何為數(shù)位雙胞胎帶來一系列令人興奮的新應(yīng)用。
Matterport 最初專注於創(chuàng)造逼真但靜態(tài)的現(xiàn)實世界空間重構(gòu)，為虛擬旅遊和各種消費(fèi)應(yīng)用奠定了良好的基礎(chǔ)。然而，要真正改造這些空間、評估其潛在用途或管理其日常維護(hù)和運(yùn)營，光靠靜態(tài)重建是不夠的。為此，廠方一直在開發(fā)先進(jìn)的物業(yè)智慧工具，這些工具利用語義理解來提供有關(guān)物業(yè)的更深入的見解和有價值的資訊。
現(xiàn)在，隨著人工智慧生成技術(shù)的最新突破，廠方將重點擴(kuò)大到在 Matterport 空間內(nèi)創(chuàng)建新內(nèi)容和新體驗，以豐富用戶與這些數(shù)位環(huán)境的互動和感知方式。
結(jié)合Matterport 十年的機(jī)器學(xué)習(xí)和人工智慧經(jīng)驗以及新的生成式人工智慧工具的強(qiáng)大功能，他們正在透過Project Genesis 將新的設(shè)計和家具創(chuàng)意變?yōu)楝F(xiàn)實，只需點擊一下按鈕即可實現(xiàn) — 首先是能夠立即對任何空間進(jìn)行裝修。
甚麼是家具移除？
去家具化（Defurnishing）是數(shù)位影像處理和 3D建模中的關(guān)鍵技術(shù)，它需要從空間影像中移除家具和可移動物品，使空間變得空曠。
這種方法對於需要將閒置空間視覺化的應(yīng)用（包括室內(nèi)設(shè)計、房地產(chǎn)和虛擬舞臺）至關(guān)重要，可以清晰地顯示空間的潛力。
去家具化是所有 Matterport 數(shù)位孿生正在開發(fā)的功能，分為三個步驟：
1. 重建： 先捕捉並重建空間，創(chuàng)造數(shù)位孿生。
2. 理解： 然後對重建的空間進(jìn)行語義理解，特別是確定屬於希望移除的家具物品的像素（在圖像中）和網(wǎng)格面（在娃娃屋視圖中）。
3. 合成： 由於我們從未直接捕捉到被家??具遮擋的區(qū)域，因此在移除家具後，影像中會出現(xiàn)空白像素，網(wǎng)格中也會出現(xiàn)空洞。影像中的「空白空間」內(nèi)容需要進(jìn)行內(nèi)繪，而網(wǎng)格中的孔洞則需要進(jìn)行填充和紋理處理。
在三蒂瑪(3DMart) 發(fā)佈 Matterport 的 2024 年冬季版本文章中，您可以預(yù)覽廠方的去灰功能。在本部分部落格系列中將重點介紹語意分割 — 自動去污的關(guān)鍵第一步。
以下是Matterport冬季發(fā)佈的中文版影片 :
了解語意分割
語意分割是一項重要的電腦視覺任務(wù)，包括將影像劃分為不同的區(qū)域，並為每個區(qū)域指定一個特定的類別。這樣做的目的是為每個像素標(biāo)註一個類別（如 「地板」、「牆壁」、「窗戶」、「桌子」），透過精確定位物體並劃定其邊界來促進(jìn)對場景的全面了解。
物體偵測的重點是周圍有邊界框的物體，影像分類則是對整個影像應(yīng)用單一標(biāo)籤，而語意分割則不同，它能實現(xiàn)對場景的細(xì)粒度分析，提高解讀的深度。語意分割是電腦視覺領(lǐng)域的基礎(chǔ)技術(shù)，在自動駕駛汽車、醫(yī)療影像、機(jī)器人等領(lǐng)域都有應(yīng)用。
最近，它已成為虛擬室內(nèi)設(shè)計的關(guān)鍵要素。在對空間進(jìn)行初始捕捉時，可用的主要數(shù)據(jù)會勾勒出空間的整體結(jié)構(gòu)和美感。語意分割在豐富對 Matterport 空間內(nèi)容的理解方面起著至關(guān)重要的作用，可以實現(xiàn)精確的操作 — 無論是移動、編輯、索引或刪除元素。
要有效地改變 Matterport 空間的任何方面，必須進(jìn)行詳細(xì)的語義分割，將空間的關(guān)鍵組成部分區(qū)分開來。
分割在去家具化中的作用
要從數(shù)位雙胞胎的影像和 3D結(jié)構(gòu)中移除家具，必須先辨識出屬於家具物品的像素/網(wǎng)格面。去除這些像素/面往往會導(dǎo)致資訊缺失。這是因為在捕捉數(shù)位孿生時，無法看到家具後面/下面的區(qū)域。
因此，在移除家具後，需要產(chǎn)生一些可信賴的圖像/ 3D內(nèi)容來填補(bǔ)這些漏洞。這個過程被稱為「圖像內(nèi)繪」。
內(nèi)繪是一種用於影像編輯和修復(fù)的高級技術(shù)，旨在填補(bǔ)影像中缺失或損壞的部分，確保影像看起來完整自然。其主要目的是無縫重建這些區(qū)域，使其與周圍的影像完美融合，從而保持影像的結(jié)構(gòu)完整性和視覺連續(xù)性。
許多內(nèi)繪方法都依賴對指定移除和後續(xù)內(nèi)繪區(qū)域的精確分割遮罩。任何影響家具分割遮罩的差異或人工痕跡都會極大地影響內(nèi)繪效果，例如：
• 移除建築物的部分結(jié)構(gòu)而不是家具會導(dǎo)致嚴(yán)重的結(jié)構(gòu)性幻覺（例如，可能最終創(chuàng)建了一個通往不存在房間的門洞，而不是塗抹一些地板和牆壁的內(nèi)容）。
?• 不正確的家具分割，即沒有正確遮擋物體部分，會導(dǎo)致無意中繪製出虛假的物體，而不是所需的「空白空間」（根據(jù)視角的不同，通常被理解為牆壁和地板）。
?• 當(dāng)實際家具沒有被分割時，就會出現(xiàn)假陰性，導(dǎo)致最終結(jié)果中出現(xiàn)家具的殘餘部分。
因此，要確保能夠獲得準(zhǔn)確的語義分割對於實現(xiàn)高品質(zhì)的去家具化結(jié)果至關(guān)重要。
Matterport 的語意分割方法
1. 數(shù)據(jù)
Matterport 使用等角投影對 360 度全景影像進(jìn)行語義分割，以便在單幀影像中捕捉盡可能廣泛的視覺背景。語境在電腦視覺任務(wù)中起著至關(guān)重要的作用，尤其是在使用 Vision Transformers 等現(xiàn)代神經(jīng)網(wǎng)路框架時。
2. 自訂本體
最初廠方使用的是 ADE20k 本體的一部分，其中包括建築環(huán)境中常見的 150 個類別。然而，這種方法並不能完全滿足特定需求。
在 Matterport 方案中，目標(biāo)是消除所有可拆卸的家具，同時保留內(nèi)置的家具。公共資料集通常會將這些不同類型的家具歸入一般類別（例如，將獨(dú)立式衣櫃和嵌入式衣櫃簡單歸類為「衣櫃」）。
因此，為了滿足特定需求，必須考慮其他幾個特定任務(wù)因素，並編制一個帶有家具細(xì)分註釋的自訂資料集。
3. 網(wǎng)路架構(gòu)
Matterport 決定利用視覺轉(zhuǎn)換器架構(gòu)的功能，該架構(gòu)已成功用於專案中的各種人工智慧應(yīng)用，特別選擇了視覺轉(zhuǎn)換器適配器作為分割實驗的基礎(chǔ)。該模型對視覺轉(zhuǎn)換器進(jìn)行了修改，視覺轉(zhuǎn)換器最初設(shè)計用於從圖像輸入中生成單一特徵向量，使其能夠處理需要特徵圖而非單一向量的圖像到圖像任務(wù)。
儘管ViT-Adapter 並沒有專門針對360 度等角圖像進(jìn)行訓(xùn)練，但它在處理這種數(shù)據(jù)類型時表現(xiàn)出了令人印象深刻的性能，儘管它最初並不是為了解決前面提到的本體差異而設(shè)計的。
4. 部署
最近，Matterport 將語意分割與深度估算一起提升到了管線的主要位置，因此現(xiàn)在每捕獲一幅影像都要執(zhí)行語意分割。因此，廠方的推理在雲(yún)端運(yùn)行，可抵禦突如其來的流量波動，簡化維護(hù)工作，並實現(xiàn)更流暢的更新。
5. 3D語意理解
Matterport 在 3D空間語義理解方面具有獨(dú)特的優(yōu)勢。透過將 3D上下文融入語義分割，可以更深入地了解任何捕獲空間內(nèi)的空間和語義連結(jié)。廠方創(chuàng)新地使用 3D娃娃屋視圖，將多個角度的視角結(jié)合在一起，大大提高了預(yù)測的精確度。這種先進(jìn)的方法使能夠執(zhí)行更準(zhǔn)確、更有意義的修改。
一個典型的例子就是去家具化場景，它要求我們對環(huán)境的 2D和 3D特徵進(jìn)行複雜而準(zhǔn)確的理解。
Defurnishing 的技術(shù)挑戰(zhàn)與局限性
即使是最先進(jìn)的語意分割模式也無法做到盡善盡美，難以有效地推廣到新的、未曾見過的數(shù)據(jù)。這個現(xiàn)實要求 Matterport 制定策略，糾正錯誤或創(chuàng)造變通方法。
雖然有監(jiān)督的語意分割方法通常能產(chǎn)生最佳結(jié)果，但定義和管理本體的任務(wù)卻帶來了巨大的挑戰(zhàn)。這些本體很容易根據(jù)特定應(yīng)用發(fā)生轉(zhuǎn)變和變化，因此在進(jìn)行重大調(diào)整時需要經(jīng)常進(jìn)行資料註釋。因此，越能以自我監(jiān)督的方式訓(xùn)練模型，就越能減少根據(jù)新本體調(diào)整分段模型所需的時間、精力和財力，設(shè)計這些本體面臨諸多挑戰(zhàn)。以家具拆卸為例，Matterport 的目標(biāo)是拆除「獨(dú)立 」家具，同時保留「內(nèi)置」裝置。
確定一件家具何時符合「嵌入式」的條件是一項複雜的任務(wù)，通常需要一套全面的規(guī)則，以確保決策的一致性和可重複性。如果沒有一套明確的指導(dǎo)原則，資料標(biāo)註工作很可能會產(chǎn)生低品質(zhì)的結(jié)果，進(jìn)而影響分割模型的表現(xiàn)。
展望未來
自我監(jiān)督學(xué)習(xí)
Matterport 探索自我監(jiān)督學(xué)習(xí)已經(jīng)有一段時間了，隨著各種基於圖像的模型的成功推出，現(xiàn)在是深化在這一領(lǐng)域投資的理想時機(jī)。
自我監(jiān)督學(xué)習(xí)具有很大的優(yōu)勢，例如最大限度地減少對註釋資料的需求、加快訓(xùn)練過程以及提高特定任務(wù)的效能。
整合 3D上下文
探索將 3D上下文整合到工作流程中，為推進(jìn)流程提供了一條大有可為的途徑，目前Matterport 的資料聚合方法是被動的，依賴於一種基於啟發(fā)式的方法來對從多個視圖投射的特徵進(jìn)行加權(quán)。透過研究在訓(xùn)練階段整合 3D 情境的方法，有機(jī)會發(fā)展出獨(dú)立於視角的特徵，從而增強(qiáng)模型的理解能力。
此外，廠方也正在探索端到端 3D技術(shù)的潛力，看看直接透過 3D表徵來處理語意理解是否能改善成果。這包括重新評估重建方法。採用神經(jīng)輻射場（NeRFs）等尖端技術(shù)或其他創(chuàng)新策略可以從根本上改變目前的做法，從而顯著提高模型理解能力和性能。
多工模型
多任務(wù)模型能夠同時執(zhí)行多項任務(wù)，這一想法一直備受關(guān)注。然而，這些模型需要作為一個有凝聚力的系統(tǒng)來維護(hù)，這使得在多個模型中採用共享骨幹的策略更具吸引力。
隨著廠方的進(jìn)步，如何在多任務(wù)模型的優(yōu)勢和複雜性之間取得適當(dāng)?shù)钠胶?，將是改善工作流程和成果的關(guān)鍵。
開放式詞彙模型
另一個令人興奮的發(fā)展領(lǐng)域是開放詞彙模型。傳統(tǒng)的模型受制於固定的本體，會因顧客需求的廣泛性而受到限制。
然而，開放式詞彙模型擺脫了這些限制，它們能夠識別更廣泛的物件和概念，不受預(yù)定義類別的限制。
這種適應(yīng)性對於 Matterport 來說是非常寶貴的，它可以在各種空間和應(yīng)用中實現(xiàn)更廣泛的語義理解。採用開放式詞彙方法可望大幅提升滿足客戶不同需求的能力，並增強(qiáng)我們的資產(chǎn)與其他工具的互通性。
結(jié)論
擴(kuò)展對空間的語義理解將開啟多個產(chǎn)業(yè)的一系列應(yīng)用。認(rèn)識到單一的本體無法滿足所有客戶的需求。因此，Matterport 認(rèn)為開放詞彙技術(shù)和其他不受嚴(yán)格本體框架限制的方法很有價值。
另一個目標(biāo)是提高資源與各種工具的兼容性，為此，我們正在開發(fā)多種整合，可確保最終呈現(xiàn)的空置空間準(zhǔn)確無誤，並在視覺上具有連貫性。
相關(guān)產(chǎn)品
Matterport PRO3是專業(yè)的3D環(huán)景/空間掃描器，擁有134百萬像素的高品質(zhì)，搭配Matterport Capture室內(nèi)環(huán)境3D掃描軟體，只需一鍵就能快速3D掃描各種空間大小，立刻生成高精度的2D平面圖、3D虛擬空間！
想了解更多有關(guān) Matterport 的產(chǎn)品資訊嗎？可按下方聯(lián)繫我們！
- 聯(lián)繫我們 -
三帝瑪提供的不只是 3D列印，我們提供「3D列印代工」、「3D掃描服務(wù)」、「空間3D掃描服務(wù)」三大代工服務(wù) !!
追蹤粉絲頁、新知不漏接：
Facebook | Instagram | LinkedIn