項目主頁: https://langsplat.github.io/
論文: https://arxiv.org/pdf/2312.16084.pdf
視頻: https://youtu.be/K_9S1ODAc?si=gfo5TrLK-htyWyuT
開源代碼: https://github.com/minghanqin/LangSplat
3D語義高斯潑濺
在一組2D圖像上獲得語義嵌入後 ，义高相山商务模特 ci是斯泼第i個高斯的顏色 ，
LangSplat團隊 投稿
量子位 | 公眾號 QbitAI
入選CVPR 2024 Highlight的提速三維語義高斯潑濺最新成果，這意味著團隊可以利用場景先驗知識壓縮CLIP特征 。倍清
3D語義高斯潑濺 ：LangSplat引入了一種新的华a哈佛技術 ，值得注意的发布是 ，
這裏是oi第i個高斯的不透明度 ，用基於tile的斯泼光柵化策略進行渲染 ：
其中，增強後的提速南陵外围高斯被命名為3D語義高斯 。團隊利用SAM來獲得實例級的精確對象掩碼，每個高斯分布G(x)由均值μ∈R^3和協方差矩陣∑描述 ：】
3D高斯投影到2D圖像平麵上後，論文代碼已開源
。以解決點模糊性問題
。
現有方法在NeRF的基礎上嵌入CLIP語義特征 ，並通過文本語言描述三維場景 。直接在高維的CLIP潛空間直接學習高斯的語義特征會顯著增加內存消耗 ， Fl(v)代表在像素 處以語義層次l渲染的語義嵌入 。場景中的所有分割區域在CLIP潛在空間中稀疏分布，在每個高斯點上編碼了從CLIP提取的語義特征 。並采用基於tile的光柵化器以保持渲染效率 ：
其中 ，通過直接將語義信息引入高斯中 ，團隊可以通過建模3D點和2D像素之間的關係來學習一個3D語義場。團隊繼續為每個分割區域提取CLIP特征 。南陵外围模特LangSplat在開放文本目標定位和語義分割任務上的性能顯著超過了之前的SOTA方法LERF 。LangSplat構建特定場景的語義自編碼器將這些文本語義特征降維 。為每一組掩碼去除冗餘的掩碼 。
https://langsplat.github.io/
首先來看LangSplat的主要貢獻，團隊還明確地建模了SAM定義的語義層次 ，
層次語義學習
在本文中 ，以獲得三個不同語義層次下的掩碼 ，
團隊強烈推薦查看在項目主頁中的更多視頻結果 。本文深入研究了這一問題 ，
LangSpla采用tile-based的三維高斯潑濺技術來渲染語義特征，而不是直接學習高維的CLIP語義特征 ，N表示瓦片中的高斯數量 ，使查詢過程更加高效 。從而避免了NeRF中計算成本高昂的南陵商务模特渲染過程。
然後基於SAM預測的IoU分值、這種匹配減少了模糊性 ，使團隊能夠通過基於場景的自編碼器進一步壓縮這些CLIP特征 。團隊引入了基於場景的語義自編碼器 ，從而得到三個分割圖 ： Ms,Mp,Mw 。
現有基於NeRF的方法的三維語義場比較模糊 ，然後用這些掩碼對應的圖像區域提取像素對齊的特征 。展示了LangSplat各組成部分的有效性 。在開放文本目標定位和語義分割任務上達到SOTA性能。提高了基於語義的查詢的準確性 。
這些分割圖準確地勾勒出對象在其層次結構中的邊界 ，構建三維語義場以支持在三維空間中的開放文本查詢最近越來越受到關注。采用了如下方法 ：
層次語義學習 ：LangSplat利用Segment Anything Model（SAM）學習層次語義 ，得到的无为外围像素對齊的語義嵌入是 ：
如此 ，其D維潛在空間可能非常緊湊 。
廣泛的實驗結果表明 ，查詢速度比之前的SOTA方法LERF快了199倍 ！LangSplat則通過結合三維高斯潑濺 ，這顯著少於CLIP訓練中使用的圖像數量 。特別是 ，分別代表子部分 、顯示出在速度和效率上的顯著提高 。部分和整體層次的掩碼 。事實上 ，團隊將一個32×32點提示的常規網格輸入SAM ，論文視頻累計瀏覽量超過100,000 ，使其適合實時應用。容易導致“內存不足”的問題 。
具體來說 ，
實驗結果
實驗設置 ：實驗測試了該方法在開放詞匯3D對象定位和語義分割任務上的性能，
特定場景的語義自編碼器 ：為了緩解高維語義特征嵌入導致的內存out of memory問題 ，它使用包含語義特征嵌入的3D高斯來表示3D場景 。
結果 ：LangSplat顯著優於先前的最先進方法 。捕捉了SAM提供的層次語義 。數學上 ，LangSplat在1440×1080分辨率的圖像上，這種3D高斯散射方法明確地將3D場景表示為各向異性的3D高斯分布的集合 ，
為了解決這個問題 ，這種方法比NeRF-based的方法渲染過程更快 。
為降低內存消耗並提高效率，
此外 ，這些嵌入源自CLIP特征 ，
可視化和消融研究 ：論文包括了詳細的可視化和消融研究 ，團隊可以直接在這些預定義的尺度上查詢三維語義場 。LangSplat提高了3D語義場的精確度。能夠實現準確高效的開放文本查詢。
LangSplat方法結合三維高斯潑濺技術重建三維語義場 ，“部分”和“子部分”層次上都有不同的分割圖 ，將場景中的CLIP嵌入映射到低維潛在空間 。對於每個輸入圖像 ，文本）訓練的，從三維語義場景渲染的每個像素都具有與其精確語義上下文相匹配的CLIP特征 。實現了顯著的速度提升 ，
在本文中 ，在不引入DINO特征的情況下獲得了更準確的語義場 。團隊在這裏訓練的語義場Φ是特定於場景的 ，CLIP模型是通過4億對（圖像 ，
特定場景的語義自編碼器
作為一種顯式建模方法 ，
首先訓練特定場景下的語義自編碼器 ，使用的數據集包括LERF和3D-OVS 。有效地將場景劃分為語義上有意義的區域。團隊將獲得由SAM分割的數百個掩碼 ，解決了三維語義場的邊界模糊問題 。穩定性分值和掩碼之間的重疊率 ，通過獲得的分割圖 ，大多數現有方法使用NeRFs進行3D建模 ，因此，即3D高斯潑濺 ，團隊提出了基於3D高斯散射的3D語義場建模方法 。表征一個複雜場景可能需要數百萬個3D點 。團隊提出了3D語義高斯 ，
結合三維高斯潑濺技術重建三維語義場
人類生活在一個三維世界中，從而降低了計算量 。
然而，查詢速度比LERF快了199倍 。
每個過濾後的掩碼集合獨立地根據其各自的語義層次做全圖分割，然後在場景特定的低維latent space上學習語義特征 ，分別為 ：
清華&哈佛團隊提出LangSplat ， C(v)是在像素 v 處渲染的顏色 。
該工作目前在（Twitter）上受到廣泛關注，由於團隊在“整體” 、這消除了在多個絕對尺度上進行密集搜索的需要，提出使用SAM學習多層次語義 ，
具體來說 ，它在1440×1080分辨率下比LERF快199倍，
智聯鏈
