• <bdo id="iiikg"><center id="iiikg"></center></bdo>
  • ?
    Sci論文 - 至繁歸于至簡,Sci論文網。 設為首頁|加入收藏
    當前位置:首頁 > 計算機論文 > 正文

    視頻檢索技術綜述論文

    發布時間:2022-09-22 09:29:47 文章來源:SCI論文網 我要評論














    SCI論文(www.crossfitdunsborough.com):
     
      摘要:隨著視頻在現代信息傳遞中占據著越來越重要的地位,視頻檢索技術已成為當前的一個重要研究方向。為幫助研究人員更好地了解視頻檢索技術的發展概況,本文對視頻檢索技術的研究現狀及應用作了綜述,同時介紹了基于內容的視頻檢索技術與基于語義的視頻檢索技術,并就如何跨越視頻底層特征與高層語義之間的語義鴻溝進行了展望。
     
      關鍵詞:視頻內容;視頻語義;底層特征;高層語義;視頻檢索
     
      A Survey of Video Retrieval Technology
     
      Yuan Lingli
     
      (Jiangxi Vocational and Technical College of Industrial Engineering,Pingxiang Jiangxi,337000)

          Abstract:As video occupies an increasingly important position in modern information transmission,video retrieval technology has become an important research direction.In order to help researchers better understand the development of video retrieval technology,this paper reviews the research status and applications of video retrieval technology,introduces content-based video retrieval technology and semantic-based video retrieval technology,and discusses how to cross the The semantic gap between video low-level features and high-level semantics is prospected.
     
      Key words:video content;video semantics;low-level features;high-level semantics;video retrieval
     
      一、引言
     
      近年來,隨著網絡技術與多媒體技術的發展,人們可以通過網絡獲取各式各樣的信息。信息傳遞的方式也逐漸趨于多元化,主要包括文本、圖像、音頻、視頻等。文本可以幫助人們學習知識,了解時事;圖像和音頻相較于文本更加生動,能增強文本的可理解性,進一步豐富文本傳遞的信息;視頻綜合了文本、圖像、音頻三大信息傳遞方式,內容豐富,已成為人們接收信息和傳遞信息的一個重要途徑。人們可以通過視頻獲取豐富的數據信息,但同時,如何從海量視頻中快速、準確地查找到需要的信息內容也成為當前視頻處理領域一個亟待解決的難題。

    \
     
     
      二、研究現狀
     
      隨著視頻的傳播與發展,視頻數據呈現爆炸式增長。傳統的基于文本的視頻檢索技術,需要手動添加關鍵字及描述文本,因此存在以下問題:第一,人工成本大、效率低;第二,手工添加的文本帶有標注人員的主觀思想,對視頻描述的客觀性不足;第三,視頻包含內容豐富,簡單的幾個關鍵字或幾行文本難以準確描述視頻內容[1]?;谝陨显?,視頻檢索技術已難以適應當前的海量視頻數據處理。為解決以上問題,國內外研究人員從視頻內容和語義出發,研發了各種視頻檢索系統。例如,國外IBM公司研發的QBIC系統[2]。QBIC系統區別于一般的基于文本的圖像檢索,QBIC支持圖形、圖像的輸入,能為基于內容的視頻檢索技術提供新思路。Carnegie Mellon大學的Informedia數字視頻庫,能根據視頻中包含的文本、圖像等信息生成索引,為基于內容的視頻檢索提供重要依據[3]。Columbia大學的VideoQ系統依托視頻的時空與視覺特征實能現視頻檢索[4]。VisualSeek系統通過提取視頻特征,可提供了多種檢索方式[5]。國內對視頻檢索系統的研發也日益重視。例如,清華大學的TV-FI系統支持自定義方式檢索視頻[6];微軟亞洲研究院的Ifind系統能進行視頻語義特征檢索[7];國防科技大學的New Video CAR系統在視頻檢索領域具有一定代表性[8]。
     
      三、視頻檢索技術概述
     
      (一)視頻數據基本概念
     
      視頻數據以數字信號為特征,擁有龐大的數據量。雖然視頻數據包含豐富的信息,但其本質是由連續的圖像序列組成的,按照視頻結構進行劃分,可以大致分為視頻、場景、鏡頭、圖像幀[9]。其中,視頻包含一個或多個場景,一個場景由一個或多個鏡頭組成,一個鏡頭中又包含多個圖像幀。
     
      (二)結構化處理技術
     
      視頻本身是非結構化的,這為視頻數據的處理帶來了巨大困難,因此,對視頻進行結構化處理十分必要。就視頻結構來說,視頻的結構化處理技術主要包括鏡頭邊界檢測技術與關鍵幀提取技術。
     
      1.鏡頭邊界檢測技術
     
      一段視頻包含一個或多個場景,而場景由一個或多個鏡頭組成。鏡頭邊界檢測有助于技術人員對視頻進行處理,是視頻檢索及摘要的重要步驟。鏡頭的轉換主要分為突變和漸變[10]。突變是指鏡頭轉換突然變換方式,即相鄰圖像幀之間的切換無時間間隔。漸變是指鏡頭在后期人員的處理下由一個鏡頭緩慢進入另一鏡頭的切換方式,這種切換往往需要一定的時間,由幾張或幾十張圖像幀完成整個漸變切換過程。相較突變轉換來說,漸變鏡頭之間相鄰的圖像幀之間的變換較小,因此漸變鏡頭邊界檢測的難度更大。
     
      鏡頭邊界檢測算法主要包括基于像素的算法、基于直方圖的算法與基于融合特征的算法。
     
      (1)基于像素的算法
     
      基于像素的算法是一種最簡單的鏡頭邊界檢測算法,主要通過計算圖像幀之間對應像素點的灰度
     
      \
     
      差值來檢測鏡頭邊界[11]。其計算公式下。
     
      其中,M代表圖像幀的長度,N代表圖像幀的寬度,fd(i,j)代表第d幀坐標,(i,j)代表灰度差。假設有一閾值T,當fd(i,j)&gt;T時,則認為發生了鏡頭轉換,否則認為是同一鏡頭。這種方法簡單直觀且易于實現,對于突變鏡頭有較好的檢測效果,但是對于相鄰幀變換較小的漸變鏡頭來說,誤檢率較高。
     
      (2)基于直方圖的算法
     
      基于直方圖的算法是基于像素的算法的延伸與拓展[12]。直方圖是一種統計報告圖,由條紋或線段組成,用以表示數據的分布情況,其計算公式如下。
     
      \
     
      其中,N代表圖像幀像素總數,hm(i)-hn(i)代表圖像幀在直方圖i上的單位距離。直方圖法忽略了圖像幀中像素點之間的位置信息而直接計算圖像幀之間灰度的差值,這種方法相對來說更加簡單,但因為其對亮度變化的敏感度較高,所以對轉換鏡頭之間灰度相似的相鄰圖像幀的檢測難度較大。
     
      (3)基于融合特征的算法
     
      基于融合特征的算法主要是解決傳統鏡頭分割算法特征單一、檢測準確率低的問題。融合視頻的多個特征,如感知哈希度量、空間差異度量、直方圖差異度量等,能對鏡頭邊界進行檢測,相對單一特征的鏡頭邊界檢測算法,融合特征的算法具有更高的查全率與查準率。
     
      2.關鍵幀提取技術
     
      關鍵幀提取算法主要有基于鏡頭的算法、基于內容的算法、基于聚類的算法及基于互信息量的算法。
     
      (1)基于鏡頭的算法
     
      基于鏡頭的算法主要依據鏡頭邊界檢測結果選取不同鏡頭的起始幀、中間幀與結尾幀作為視頻的關鍵幀。這種算法具有高效、簡單的特點,但是,對于鏡頭內部變化較大的鏡頭來說不具有概括性。
     
      (2)基于內容的算法
     
      基于內容的算法主要是依據視頻的底層特征,如顏色、紋理、形狀等,結合鏡頭內部相鄰幀之間的不同特征變化情況選取自定義閾值或自適應閾值,并在同一鏡頭中選取多張變化超出某一閾值T的圖像幀作為關鍵幀。這種算法的實現原理較為簡單,但是存在計算量大的問題,對內容變化較快的視頻,易提取較多冗余關鍵幀。

    \
     
     
      (3)基于聚類的算法
     
      基于聚類的算法是將相似的圖像幀聚集起來,選取距離聚類中心最近的圖像幀作為關鍵幀。這種算法可以在一定程度上降低關鍵幀的冗余度,但對時序性較強的視頻,往往難以提取出適當的關鍵幀。同時,由于這種算法十分依賴聚類結果,因此需要準確的聚類個數,算法復雜度高。
     
      (4)基于互信息量的算法
     
      互信息量是一個隨機變量中包含的關于另一個隨機變量的信息量,基于互信息量的算法,可以有效計算不同圖像幀之間的相似度。最后計算出來的互信息量與閾值T的比較可以對視頻進行分類處理。這在一定程度上能降低關鍵幀的冗余度。
     
      四、視頻檢索技術
     
      (一)基于內容的視頻檢索技術
     
      基于內容的視頻檢索技術主要依據視頻的底層特征,通過視頻結構化處理技術,如鏡頭邊界檢測、關鍵幀提取及特征提取等對視頻內容進行分析,提取檢索依據,并建立索引數據集。同時,該技術可根據用戶的查詢內容進行特征提取與數據索引,進而得到檢索結果。
     
      (二)基于語義的視頻檢索技術
     
      基于語義的視頻檢索技術主要依據語義概念分類提取模型對視頻的底層特征進行語義提取,并生成視頻語義庫,將視頻的底層特征與語義內容映射出來,變換得到檢索結果。語義即語言蘊含的意義,分為低層與高層兩類,低層語義一般指內容呈現出來的顯著特征,如顏色、紋理、形狀等;高層語義則是指接近用戶自身理解的對象信息。通過基于視頻內容的分析技術提取的底層特征與用戶理解的高層語義對象之間存在一定的差異,即語義鴻溝。如何跨越語義鴻溝是當前視頻檢索領域的研究熱點與難點之一。
     
      五、視頻檢索技術應用
     
      (一)教學視頻方面的應用
     
      隨著互聯網的發展,線上教學悄然興起,各類MOOC網站提供了各式各樣的教學視頻,這既加快了知識傳播,又有利于學生的課后復習。但是,教學角度豐富多樣,對同一教學內容往往存在理論性與實踐性偏向不同的教學視頻,則主要采取傳統的基于關鍵詞搜索的方式。視頻檢索技術可以綜合教學視頻的圖像、文本、音頻等特征進行智能化分析。智能化檢索技術可以幫助用戶快速查找自己需要的教學視頻,提高用戶的學習效率及教育資源的利用率。
     
      (二)校園安防方面的應用
     
      隨著平安校園建設工作的進一步加強,校園安全保障工作得到了人們的密切關注。當下,監控攝像頭已遍布校園的各個角落,傳統的基于時間的檢索方式需要巨大的人工成本,效率低下。而基于內容的視頻檢索技術可以根據視頻的內容及上下文關系提供視頻快速瀏覽服務,提高校園事件的查找效率,并對一些事故進行預警。
     
      (三)廣播電視監管方面的應用
     
      隨著媒體信息的快速發展,各種節目、廣告廣泛存在于人們的生活中,對廣播電視的監管工作來說必不可少。視頻檢索技術可以提取廣告樣本特征并建立特征庫,以對違規廣告進行檢測,同時提高對不同內容節目的比對效率,解決節目內容比對監測存在的問題。
     
      六、結語
     
      本文主要介紹視頻檢索技術的研究現狀與應用。視頻檢索技術的智能化發展在近些年受到越來越多研究者的關注,對于如何高效提取視頻的底層特征,以及如何將底層特征映射為高層語義,目前仍沒有一個通用的視頻檢索系統框架,因此無法對不同類型的視頻進行語義特征提取。視頻檢索技術下一步可以結合視頻的多模態特征,融合機器學習算法對視頻語義進行分析提取,建立更加完善的視頻語義庫,實現對視頻內容更加全面、準確的表達。
     
      【參考文獻】
     
      [1]支衛建.基于多特征融合的視頻檢索技術研究[D].北京:北方工業大學,2021.
     
      [2]Carlton W.Niblack et al.QBIC project:querying images by content,using color,texture,and shape[C].San Jose,CA,United States,1993.
     
      [3]Wactlar H,Kanade T,Smith M,el al.Intelligent access to digital video:Informedia project[J].Computer.1996(5).
     
      [4]Chang S,Chen W,Meng H J,et al.VideoQ:an automated content based video search system using visual cues[C].1997.
     
      [5]Smith JR,Chang SF,VisualSEEK:a fully automated content-based image query system[C].ACM International Conference on Multimedia Boston,USA,1997.
     
      [6]蔣薇,爾桂花,戴瓊海.基于內容的視頻查詢系統研究[J].中國圖象圖形學報,2003(11).
     
      [7]Hongjiang Zhang,Wenyin Liu,Chunhui Hu.iFind—a system for semantics and feature based image retrieval over Internet[P].Multimedia,2000.

           [8]SMEULDERS A W M,WORRING M,SANTINI S,et al.Content-based image retrieval at the end of the early[J].IEEE Transactions on Pattern Analysis&Machine Intelligence,2000(12).
     
      [9]許經緯.基于深度學習的視頻鏡頭檢測與對象分割[D].上海:上海交通大學,2018.
     
      [10]李強軍,李啟南.基于互信息量和自回歸模型的鏡頭分割方法[J].計算機技術與發展,2019(01).
     
      [11]張萌.視頻檢索中關鍵幀的提取和特征匹配的研究[D].北京:北京郵電大學,2012.
     
      [12]Saad M H,Saleh H I,and Konbor H.Image retrieval based on integration between YCbCr color histogram and shape feature[C].Proceedings of the Computer Engineering Conference.IEEE,2012.
     
    關注SCI論文創作發表,尋求SCI論文修改潤色、SCI論文代發表等服務支撐,請鎖定SCI論文網!
     

    文章出自SCI論文網轉載請注明出處:http://www.crossfitdunsborough.com/jisuanjilunwen/43633.html

    相關內容

    發表評論

    Sci論文網 - Sci論文發表 - Sci論文修改潤色 - Sci論文期刊 - Sci論文代發
    Copyright ? Sci論文網 版權所有 | SCI論文網手機版 | 豫ICP備2022008342號-1 | 網站地圖xml | 百度地圖xml
    午夜精品A片一区二区三区资源看
  • <bdo id="iiikg"><center id="iiikg"></center></bdo>