研究重點

research focus

[Internet隨選視訊(Internet Video-on-Demand/VOD)]

94-100年間之研究主要發展一套適用於Internet 環境下的「視訊串流代理伺服器系統(streaming proxy server/SPS)」與「調適性視訊傳輸機制」,在SPS 的cache 管理上,設計了 suffix-window(SW)機制,來提升串流分享效率,並降低儲存空間的需求。

稍後 SW 延伸至多重 proxy server 的環境,提出 Proxy-Assisted Video Segment Chaining Scheme(PVSCS),提供多重 proxy 分享;而在「調適性視訊傳輸機制」的設計上,在 Internet 端採用 multi-threading 的概念,提出了 adaptive TCP trunking flow control/ATCP + 機制,以提升 TCP 的 effective  bandwidth;在 local 端主要延伸至家庭與車載的無線環境,分別提出了 staggered-channel-cluster(SCC)與 adaptive mobile video streaming (AMVS)兩項UDP-based 的傳輸技術,在提升視訊的傳輸上成效顯著。

[車載資通訊系統(Telematics) ]

101-103年執行 「車載網路下輔助雲端運算之行動P2P串流傳輸機制」計畫,特別針對車載環境提出了具有高容錯與高延展特性的mobile P2P streaming (MPPS) 機制,以提升行動串流效能。另外也參加了「2013數位匯流專題競賽與觀摩」:SV-SPIDER,獲得聯網電視應用組­-特優、「2013台北國際發明技術交易展」參展:“行動即時影音新聞台系統”、「2016台北國際發明技術交易展」參展: “NewsRaker 新聞史瑞克-隨選新聞影音頻道(News-broadcast-on-demand (NBOD))”、「2018亞洲智慧城市展暨論壇」參展: MPPS隨選新聞廣播服務系統,2018/7/26-28。

一系列相關研究成果(多媒體串流流量控制方法、多媒體串流傳輸之分享傳輸方法、異質網路傳輸之流量控制方法、在行動P2P網路下應用於媒體串流之FEC交錯策略、為行動多媒體串流而設計之UEP-FEC交錯調適策略、為加速 H.264/SVC 解碼而設計之網路封包過濾機制、同儕網路之調適視訊傳送機制、串流封包傳輸方法等)通過了本國8項發明專利共。

研究團隊更於95、97、100、102年獲選為「國科會自由軟體研發專案績優團隊」;98年獲選為「群體計畫績優團隊獎」;另獲得「行政院國家科學委員會100、101、103年度補助大專院校獎勵特殊優秀人才」獎勵、105年科技部工程司專題研究計畫 – 「資訊安全實務研發計畫」-“雲端物聯技術與平台設計:以智慧農業為驗證場域 (計畫編號:105-2221-E-020-024-)”績優團隊, 2018/7/13假台大集思會議中心頒獎。

103年與愛爾達(ELTA)科技公司進行產學合作計畫,進行大規模OTT視頻廣播之pilot test計畫,其目的在驗證與評估所研發之MPPS技術,在實際的雲端環境下可支援行動通訊用戶收看視頻之數量。

[物聯網擴增實境應用系統]
智慧農場管理系統 (105-106)

此研究主要專注在植物農場的環境下,導入「擴增實境」與「地域感知」的互動技術,並與後端IOT資訊系統緊密結合,透過視覺化的管理介面來改善操作介面親和度,方便農場管理。農民可以透過連線CCD巡視農場,透過AR索引,隨時查詢畫面中各區作物的資訊 (如:作物的名稱、栽種日期、批號、生長記錄、施肥記錄、環境的溫濕度記錄等),甚至近距離觀察某棵植物的葉子顏色變化,結果情況,然後攝影或拍照、並撰寫記錄;系統也可設定巡邏模式,每天固定時段對農場某些預設的觀測點自動進行拍照,事後可以從照片中,點選畫面中的各項作物的AR索引,查看當時有關的記錄資料,以做為實驗分析之用。

為了能有效率管理農場複雜環境中的各種作物區,並降低建置IOT sensor network的成本,我們特別開發了一套「multi-CCD的3D視覺輔助定位系統」,透過這個定位系統我們可以彈性地設定CCD畫面中任何物件或區域為POI。

AR-IOT 視覺化智慧管理系統(107-110)

此研究主要延伸先前研究至豬隻牽養產業,結合了「豬舍物聯網(Pigsty IOT)」、「地域感知(location-aware)」、「擴增實境(augmented reality (AR))」、「深度學習影像辨識(deep learning pattern recognition) 」等技術,107-108完成了畜養場域靜態管理,將複雜的豬隻牽養現場環境與IOT資訊系統緊密結合,以AR視覺方的式呈現相關資訊,讓管理人員能迅速掌控豬舍各處sensor運作狀況與環境狀況變化、簡化監控與稽核作業。

虛擬圍籬技術(109-110)

此研究主要發展酪農牧場虛擬圍籬技術,將beacon的牛隻追蹤技術與AR視覺化智慧管理系統結合,進行異質資訊融合,管理者可以依牧場現場需要制定圍籬(柵欄)區域,規範牛隻/人員與時空關聯(如:制定圍籬的屬性、牛隻/工作人員出入圍籬規則、標示規則的等),系統會隨時偵測各圍籬內的人員/牛隻進出活動狀況,當有異常事件發生時,系統即時發布警示,管理者可立即查看平面圍籬地圖上的物件標示點,或是連線至現場監視器畫面,現場畫面中會以重疊呈像的方式自動標示出圍籬範圍、人員/牛隻位置與ID、異常事件內容等相關資訊。提供牛隻/工作人員的精準定位,AR圍籬安全監控。部分研究成果已通過兩項發明專利。

[深度學習物件辨識與追蹤 (Deep learning object tracking and recognition)]

目前實驗室研究重點放結合Multiple CCD 與CNN技術,提升視訊環境監控系統的智慧化。隨著深度學習技術的蓬勃發展,使得電腦影像物件辨識與追蹤技術不斷突破,大幅提升了視訊監控的能力與應用範疇。

YOLOv3-DeepSORT就是一套運用深度學習為基礎的開源技術,它能即時處理單一螢幕中多重物件追蹤(multi-object tracking/MOT)的議題,在效能上有著相當傑出的表現。但是由於難免物件辨識失敗,或是影像阻斷 (occlusion),因而造成物件身分切換(identity switching)的問題 (也就是追蹤同一物件時,物件身分會改變),以致追蹤結果混淆。


然而在許多的實際應用場域中常需要建置多部攝影機來涵蓋整個監控區域,單一螢幕的MOT不能滿足實際的需求,我們認為一個完整的監控系統必需提供多螢幕的多物件追蹤(multi-view multi-object tracking/ MV-MOT),而目前有關MV-MOT的議題尚未有完整的研究。


事實上,如果我們適當安排攝影機的角度,我們可以從多螢幕所觀察到的物件座標預估物件在實際空間位置,這個資訊可以幫助我們在多螢幕之間保持追蹤物件身分的一致性。有鑑於此,本計畫之主要目標就是以YOLOv3-DeepSORT為基礎,提出一套多攝影機協作架構,特別加入物件「空間預估 (spatial estimation/SE)」機制,藉此實踐MV-MOT的目標。我們將會研究兩種可能的空間預估機制: 2D預估與3D預估。


前者是透過2D同構平面座標的轉換來進行空間預估;後者是透過epipolar geometry的3D對極座標轉換來進行空間預估。我們希望透過空間預估的協助,避免錯誤的身分切換(identity switching),並達到多螢幕多物件追蹤時物件身份一致性。我們預期成果如下:


(1) 提出多攝影機協作架構與2D 與3D空間預估演算法。
(2)建構空間預估效能分析模型,透過此模型提出攝影機佈建規範(camera deployment guidance)與MV-MOT穩健度(robustness)評估方法。
(3)實踐以YOLOv3-DeepSORT為基礎的MV-MOT系統。
(4)用實驗評估比較2D與3D空間預估機制的效能。