(资料图)
xTrimoPGLM: Unified 100B-Scale Pre-trained Transformer for Deciphering the Language of Protein
Bo Chen, Xingyi Cheng, Yangli-ao Geng, Shen Li, Xin Zeng, Boyan Wang, Jing Gong, Chiming Liu, Aohan Zeng, Yuxiao Dong, Jie Tang, Le Song
收起
，使用相对较小的 ESM2-150M模型作为指标，主要来理解各种下游蛋白质相关任务的难度程度。这些任务包括基于 feature-based 的 Probing 和 联合大模型参数的 Finetuning，xTrimoPGLM-100B 在大多数蛋白质相关任务中仍然展现出了优势。。通过借鉴 NLP/CV 领域的想法，生物领域的预训练模型近两年雨后春笋般地冒出来，随着模型计算力的提升和生物数据增长，我们期待更多未知的、惊人的发现出现在这个领域中。尽管仍然存在不少需要继续探索的地方，千亿模型的诞生不仅标志着最前沿的 AI 技术和生物学技术的融合，还意味着一个充满无限可能的未来已经开启。我们期待，这一重量级的模型引领制药领域步入一个新的黄金时代，为人类健康和科学事业开创更加光明的未来。
