IMED发表教学成果论文

2021-06-30

近日,我校六名本科生运用图像和文本处理、深度学习算法、开发创新的神经网络算法和生成对抗算法(Generative Adversarial Network,GAN),结合甲骨文的形态、语义、上下文关联等知识,实现了甲骨文文字的自动识别、生成和检索目标。该教学成果论文“Multimedia Meets Archaeology: A Novel Interdisciplinary Teaching Approach”已被国际教育会议2021 Frontiers in Education (FIE) Conference长文接受。

 

今年春季学期,本科生曾鸣、杨睦圳、鲁昊天、汪炜、席睿翎和张舒煜在计算机科学与工程系教授刘江、社会科学中心教授唐际根以及研究团队章晓庆、胡玙璠、钟雯的指导下,以在CS330《多媒体信息处理》课程中学到的知识和技能为基础做出了该研究成果。针对甲骨文识别这一学术难题,项目组第一步是建立甲骨文数据库,将已识别的甲骨文图像及其对应汉字收入库中,目前已完成558个单字、1.8万多张图像的录入;研究第二步是采用经典的深度残差神经网络(ResNet)模型实现手写甲骨文图像识别的任务;第三步是选择pix2pix生成对抗网络(GAN)作为生成甲骨文的自动方法,用于增加样本多样性和生成一些未知甲骨文,其中基本网络采用U-Net结构;第四步是利用检索算法将未知甲骨文图像与已有的甲骨文对比,从数据库检索出未知甲骨文图像。

目前,项目组已在着手开发可用于展示和互动的微信小程序,努力将甲骨文的识读面向大众,增加大众对甲骨文的理解。