自2023年10月以来，计算学部自然语言处理与认知计算（QLU-NLP）团队在中科院1区、CCF-A、B类会议和期刊上连续发表7篇高水平学术论文，论文第一单位均为齐鲁工业大学（山东省科学院）；6篇论文的第一作者为团队硕士研究生，1篇论文的第一作者为学部引进的青年人才郑超群博士，通讯作者分别为董祥军、鹿文鹏教授。
论文1: Xu Zhang, Yongshun Gong, Chengqi Zhang, Xiaoming Wu, Ying Guo, Wenpeng Lu, Long Zhao, Xiangjun Dong*, Spatio-temporal fusion and contrastive learning for urban flow prediction, Knowledge-Based Systems, Volume 282, 2023, 111104. (中科院1区，第一作者张旭，导师/通讯作者董祥军)
现存的城市流量预测方法对城市流量的周期性变化和相似功能区之间隐含的时空相关性不敏感。因此，该论文提出了一种基于时空融合和对比学习的方法。分别构建时空视图提取模块，以获得城市全局和相似功能区之间隐含的多周期流量变化关系。并设计了一个多视图融合和预测网络，以充分融合时空提取模块获取的多维视图表征从而对下一时间点的城市流量预测。此方法在数据资源有限的环境中也非常有效。
论文2: Zhufeng Shao, Shoujin Wang, Wenpeng Lu*, Weiyu Zhang, Hongjiao Guan, Long Zhao. Filter-enhanced Hypergraph Transformer Framework for Multi-Behavior Sequential Recommendation. Proceedings of the IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP 2024). Seoul, Korea, 2024. (CCF B, 录用，第一作者邵珠峰，导师/通讯作者鹿文鹏)
现有的序列推荐方法在建模用户周期性行为模式中的细粒度依赖和跨多种用户-物品交互行为的异构依赖方面存在局限性。为此，该论文提出了一种用于多行为序列推荐的滤波增强超图变换（FHT-MB）模型。具体地，FHT-MB模型首先通过行为感知嵌入层将用户多行为物品序列进行编码，得到多行为序列表示；然后，设计了一个多尺度滤波器模块，通过多尺度学习和可学习的滤波器，来捕捉用户不同周期趋势的行为感知序列模式，此外，还设计了一个超图学习模块，使用超图卷积层来建模用户多行为物品序列中不同行为之间的异构依赖。最后，通过聚合多尺度滤波器层和超图卷积层两个不同的物品嵌入来计算推荐得分。
论文3: Shujie Dong, Yuansheng Liu, Yongshun Gong, Xiangjun Dong* and Xiangxiang Zeng. scCAN: Clustering with adaptive neighbor-based imputation method for single-cell RNA-seq data. IEEE-ACM Transactions on Computational Biology and Bioinformatics. (CCF B，录用，第一作者董淑杰，导师/通讯作者董祥军)
单细胞RNA测序(scRNA-seq)被广泛用于研究不同样品的细胞异质性。然而，由于技术上的不足，辍学事件往往导致基因表达矩阵中的基因表达值为零。该论文提出了一种基于自适应邻域聚类的scCAN算法来估计dropouts的零值。我们的方法通过同时学习相似关系、聚类结构，并对相似矩阵的拉普拉斯矩阵施加新的秩约束，不断更新细胞-细胞的相似信息，改进dropout零值的输入。与其他方法相比提高了下游分析的性能，在细胞聚类、恢复基因表达和重建细胞轨迹的下游任务中优于其他方法。
论文4: Xu Zhang, Yongshun Gong, Xinxin Zhang, Xiaoming Wu, Chengqi Zhang, and Xiangjun Dong*. Mask- and Contrast-Enhanced Spatio-Temporal Learning for Urban Flow Prediction. In Proceedings of the 32nd ACM International Conference on Information and Knowledge Management (CIKM 2023). Birmingham, UK, 2023: 3298–3307 (CCF-B，第一作者张旭，导师/通讯作者董祥军)
目前，对于城市流量的时空异质性方面研究很有限。该论文提出了一个时空学习框架，通过时空遮掩和对比增强学习来捕捉城市区域间的时空变异性。设计了一个适用于时空数据的随机遮掩预训练任务，以学习跨时空维度的相关性。其次，提出基于图神经网络和区域间注意力权重以提取区域的重要性。该论文还精心设计了基于全局-局部交叉注意机制的预训练任务。该模型进一步提升了城市流量预测精度。
论文5: Chuanhou Sun, Yongshun Gong, Ying Guo, Long Zhao, Hongjiao Guan, Xinwang Liu, and Xiangjun Dong*. SN-RNSP: Mining self-adaptive nonoverlapping repetitive negative sequential patterns in transaction sequences. Knowledge-Based Systems. (中科院1区，录用，第一作者孙传后，导师/通讯作者董祥军)
考虑序列模式在一条序列中的重复出现，重复负序列模式挖掘可以从数据序列中获得频繁负序列模式以用于诸多事务服务。然而，有限的研究应用严格约束且实际应用低效。该论文提出一个自适应无重叠重复负序列模式挖掘方法SN-RNSP来发现模式元素匹配位置不重叠且两个连续模式元素间允许匹配多个序列元素。首先，通过位图结构维护重复正序列模式候选的出现并使用基于位图的操作有效计算支持度。然后，通过位图记录重复正负序列模式在数据库中的位置并快速地通过相应重复正序列模式的重复次数计算重复负序列模式的支持度。与现有方法相比，该方法能够高效地发现更多的序列模式用于决策。
论文6: Baoshuo Kan, Teng Wang, Wenpeng Lu*, Xiantong Zhen, Weili Guan and Feng Zheng*. Knowledge-Aware Prompt Tuning for Generalizable Vision-Language Models. Proceedings of International Conference on Computer Vision (ICCV 2023). Paris, France, 2023: 15670-15680 (CCF A，第一作者阚保硕，导师/通讯作者鹿文鹏、郑锋)
预训练的视觉-语言模型（例如CLIP）结合手动设计的提示，在迁移学习方面展示出强大的能力。最近，可学习的提示实现了最先进的性能，但往往容易过拟合于已见类别，难以泛化到未见类别。针对这个问题，该论文提出了一种面向视觉-语言模型的知识感知的提示方法（KAPT）。KAPT 为文本编码器设计了两种互补类型的知识感知提示，以利用与类别相关的外部知识的独特特征。离散提示从物体类别的描述中提取关键信息，而学习得到的连续提示则捕捉整体上下文。KAPT还为视觉编码器设计了一个适应头，以聚合显著的注意力视觉线索，从而建立具有区分性和任务感知的视觉表示。
论文7: Chaoqun Zheng, Lei Zhu, Zheng Zhang, Wenjun Duan, Wenpeng Lu*. LCEMH: Label Correlation Enhanced Multi-modal Hashing for Efficient Multi-modal Retrieval. Information Sciences, 2024, 120064. (中科院1区，第一作者郑超群，通讯作者鹿文鹏)
监督多模态哈希可以利用语义标签信息有效地提高哈希码的判别能力。然而，大多数现有的监督多模态哈希模型通常依赖于离散标签进行监督。它们只能提供有限的指导，且不能完全捕获多模态数据之间潜在的语义相似性。此外，哈希码的二值约束进一步限制了它们完全捕获嵌入标签中的丰富语义信息的能力。为了解决这些限制，该论文提出了一种标签相关增强多模态哈希方法来实现高效的多模态检索。该方法提出的模型可以有效地扩展离散标签的类间边界，进一步丰富相似度的监督。此外，该方法将获取的更丰富的标签信息直接简单有效地转换为哈希码，从而在最小的量化损失下保留了标签中更全面的信息，增强了生成的哈希码的判别能力。据悉，2023年自然语言处理与认知计算团队发表高水平论文21篇；董祥军教授所指导的胡艳羽同学获得山东省优秀硕士论文称号，鹿文鹏教授获得“山东省优秀研究生指导教师”称号；7名同学继续在国内高校攻读博士学位（均为985、211层次高校），2名同学获得国家留学基金委的四年全额奖学金资助（约50万元）赴新西兰奥塔哥大学攻读博士学位。自然语言处理与认知计算团队将全力继续做好基础研究和研究生培养工作，引领研究生开展有价值的研究工作，发表高水平学术论文，赴海内外知名高校继续深造。
本期编辑：王建磊
本期校对：邵珠峰
责任编辑：鹿文鹏
