智能計算平台是澳门金莎第三批校級科研平台,平台團隊由人工智能、計算機、軟件工程等十多位博士、教授組成,主要依托數據科學和人工智能技術,涉及到海量數據采集、多模态數據融合和特征提取、大規模網絡計算以及基于圖像識别、語音識别和自然語言處理的關鍵技術。應用在測量理論、數據管理等技術支持下,形成海量實時數據源,并依靠人工智能技術對數據進行可信可靠的應用。
平台主要研究方向:
1)基于遙感數據的應用研究
随着北鬥衛星全面組網成功和衛星民用化趨勢,北鬥衛星測量精度可達厘米級,基于遙感數據的目标檢測、與地面WSN組建混合定位網絡完成精準定位、道路識别以及河流識别、植被識别、作物識别等,對于農業、漁業、牧業以及城市建設等,都能建立在多尺度衛星圖像上的識别、定位和變化檢測等。
2)海量數據分析與機器學習核心算法研究
涉及時序數據(交易數據、出行數據、系統日志、多傳感器數據等)、半結構化非結構化數據(文本、圖像、語音)等,研究多模态數據的多尺度特征提取技術,諸如SIFT、Gabor、小波、HHT、HOG、MFCC、Fbank、word2vec、TFIDF等,以及數據挖掘與機器學習核心算法研究,包括聚類算法、分類算法、關聯挖掘、序列挖掘、軌迹挖掘等,還有集成學習、深度随機森林等複合架構的研究與應用實踐。
3)深度神經網絡模型研究以及在圖像、語音和自然語言處理方面的應用研究
深度神經網絡(包括CNN、DNN、TDNN、LSTM、TransFormer、ConFormer、Attention等),探索基于多尺度數據融合、特征融合、模型融合的多模态數據融合以及多尺度網絡計算的智能分類系統,包括目标檢測、圖像識别、圖像分割、語音識别、方言識别、聲紋識别、語音合成、自然語言處理NLP和自然語言理解NLU、知識圖譜、多輪對話、智能問答等關鍵技術的研究與實踐。
4)多模态深度網絡研究:以圖生文、以文生圖、視頻行為分析等架構研究
圖像标題生成是人工智能研究熱點,可以讓圖像快速形成文本描述和關鍵信息提取,對後期的索引、搜索與匹配提供,把圖像的編碼與文本标題的編碼結合起來訓練,利用編碼器與解碼器架構可以實現。基于解碼器架構的看文繪圖架構,基于transformer+self-attention的OpenAI、DALL.E架構等完成以文生圖任務等。
5)AutoML、神經架構搜索NAS、模型搜索等自動機器學習架構研究
自動機器學習架構(AutoML)快速興起,無需手動實驗的方式快速找到合适的神經網絡架構,集多個訓練器、搜索算法和已評估模型的模型搜索(Model Search)架構研究,探索多個模型的分布式搜索與裝配等。
6)集訓練與推理應用一體化平台研究
基于海量數據采集網絡,研發數據自動标注、半自動标注方法、特征提取技術,構建集數據導入、數據預處理、訓練數據選擇、訓練數據半自動化标注、特征抽取與選擇、識别與分類網絡設計、網絡模型在線訓練、網絡模型驗證、網絡模型推理和應用于一體的機器學習與深度學習平台,研究面向圖像、語音和NLP的算法算子層,完成圖像類模型訓練、語音類模型訓練、NLP類模型訓練以及多模态模型訓練平台等研究,通過不斷構建算子層能力,推動人工智能核心能力的提高和落地。
7)基于機器學習算法算子和深度學習網絡模型的智能化應用
聚焦應用包括基于遙感圖像的目标檢測與識别、網絡爬蟲與知識抽取系統、用戶畫像與精準推送系統、人臉檢測與識别系統、人體動作識别與行為分析系統、基于傳感器網絡的環境監測與分析系統、基于語音合成的語音播報和語音陪護系統、基于智能交互的語音問答系統、基于OCR與手寫體識别系統、基于多模态的知識圖譜構建等。
團隊重點關注微尺度規模下的海量數據、探測數據、數值仿真與數據繪圖技術應用。于2005年開始對探測數據的增長、拟值化處理、數據的孕育等進行研究,成功在WSN基礎上提出了ADSN專業網絡與數據管理技術理論,并在古民居探測與早期火災探測上獲得應用;海量探測數據管理方案應用到了民居數據采集、文獻數據可計算化管理、功能數據的拟合上,對以衛星圖像為基礎的近87TB村落數據,進行了有效管理,高性能的識别出全球類似“徽州古民居數量接近83萬幢”。建立村落早期火災環境、古民居溫度場/濕度場模型、古民居微顆粒分布模型、古民居水緻黴變漫延模型、環境木材含量測試模型、人居環境作息多參數模型等基礎探測仿真數據庫。
團隊成員先後發表相關論文60多篇,本科生組成的小組具有16項軟件著作權與20多個專利。同時團隊主持與完成了國家文物局、文化部科技創新、省級項目等十餘個。
智能計算平台:7706實驗室;交流QQ:79776969,歡迎有合作需求的老師交流。