2024年12月25日,信創軟件小組在7711實驗室開展項目進展讨論與總結會,沈來信教授主持,李毅副教授參加,軟件工程、烹饪、人工智能和環境設計等專業,共12名學生參加。
圖1 項目會現場讨論
項目讨論事項如下:
1、目标檢測項目:Yolo環境部署;CUDA與CUDNN版本問題,虛拟環境使用,Python版本使用,數據标注labelimg使用,食物圖像數據标注庫等:
圖2 虛拟環境的構建
2、電力預測項目:數據的處理,日期與時間的分兩列處理;LSTM模型訓練,TIme-LLM的訓練與預測:
圖3 LSTM預測結果
3、三個大創項目讨論:智能助手、單詞學習推薦、動物圖像相似度搜索,重點介紹了ResNet50的特征提取、特征向量存儲、餘弦相似度計算等:
圖4 ResNet50特征提取的示例代碼
4、ResNet50模型訓練:中國傳統食物圖片的數據集,包含了208類食物,數據集圖片總量大小約20G,數量約18W,讨論了内存溢出解決方案,Batch size降為8就可以運行成功(GPU卡為3060,内存為12GB):
圖5 Batch size為16時内存溢出
5、開源項目部署與預訓練模型微調讨論,分别讨論了智能問答、食物分類、藥材分類和圖像标題生成等四個模型的部署與微調訓練安排:
圖6 智能問答與看圖問答模型的演示圖
圖7 食物分類模型的演示圖
圖8 藥材分類模型的演示圖
圖9 圖像标題生成模型的演示圖
會議總結:項目下一階段,将在進一步采集徽州特色的圖像數據後,進行精準的标注,對這幾個模型,繼續開展微調訓練,提高識别效果。
(會議總結:沈老師)