Dense X 检索:我们应该使用什么检索粒度?
提出一种新的检索单元——proposition,通过实验证明基于proposition的检索方法在稠密检索和下游问答任务中表现优秀,具有更好的泛化性能和准确性。
[CL]《Dense X Retrieval: What Retrieval Granularity Should We Use?》T Chen, H Wang, S Chen, W Yu, K Ma, X Zhao, H Zhang, D Yu [University of Washington & Tencent AI Lab & University of Pennsylvania] (2023)
https://arxiv.org/abs/2312.06648
逆向工程自监督学习
深入分析了自监督学习的表示学习过程,揭示了自监督学习训练过程中的聚类效应和表示学习机制,以及其对性能的影响,突出了自监督学习训练的表示与语义类别的一致性。
[LG]《Reverse Engineering Self-Supervised Learning》I Ben-Shaul, R Shwartz-Ziv, T Galanti, S Dekel, Y LeCun [Tel-Aviv University & New York University & MIT] (2023)
https://arxiv.org/abs/2305.15614 |