最近的研究揭示了一个令人震惊的事实，即大型语言模型在预测神经科学研究成果方面，其准确性甚至超过了科学家。这一发现确实令人难以置信。这究竟是科技领域的巨大飞跃，还是对传统科研方法的强烈挑战？
LLM惊人的准确率
LLM在预测神经科学结果方面准确率达到了81.4%，这个数字相当高，并且是通过严谨的测试得出的。这个准确率超过了人类专家的63%。由此可见，在预测神经科学结果这一领域，LLM具有先天的优势。比如，在预测神经系统病变的因果关系时，LLM能够迅速给出答案，而科学家可能需要更多时间来进行研究和分析。
LLM并未对数据表现出显著的记忆能力。这说明它并非单纯依赖机械记忆，而是真正理解了科研中通用的基本模式。这一点对于科研工作，特别是对神经学这类复杂领域的研究，具有极其重要的意义。
人类专家表现相对较弱
在这次测试中，人类专家的平均正确率是63.4%。即便我们把人类的回答限制在他们自我认为的最高水平——不超过20%的专业知识，这个准确率也只能提升到66.2%。然而，这个数字依旧没有超过LLMs。由此可见，在预测神经学研究成果这类简单任务上，人类专家可能会被机器所超越。但这并不意味着人类专家就毫无优势，特别是在那些需要深入理解和丰富临床经验的情况下，人类专家的特长依然十分突出。
然而，在与LLM的整体对比中，特别是在这个特定预测研究任务的领域，人类不得不承认存在一定的差距。
置信度校准
LLMs和人类专家的置信度调整得当，这表明他们做出的高置信度预测通常较为可靠。LLMs利用这一能力来评估摘要版本，而人类专家则在相同的测试案例中作出选择。由此可见，两者在决策时对置信度的重视程度是相似的。
显而易见，LLM在准确性方面超越了人类专家。就好比两个人驾驶汽车，都自信能安全抵达，但其中一人总能更精确地到达终点。这一现象确实值得科研人员深入探究。
测试方法
团队在测试方面投入了大量精力。他们搜集了2002年至2022年间与神经科学研究相关的摘要，并从PMCOAS数据库中提取了多篇全文，累计达到13亿条。接着，他们构建了测试案例。这些测试案例是通过修改论文摘要来制作的，每个案例包括一个原始版本和一个修改后的版本。
这种测试方式颇具创新，却引发了争议。正如网友所言，它仅涉及了基础的AB假设检验，而在实际研究中，还有许多关于平均值、方差等复杂问题未被纳入考量。
研究的意义
该研究设立了一种具有前瞻性的标准测试，此测试能专门评价大型语言模型在预测神经科学成果方面的表现。这一做法为后续相关研究树立了优秀榜样。同时，它对神经科学研究的进步产生了显著影响。
在进行神经学专家研究思路初步筛选阶段，LLM能派上用场。它能帮助淘汰那些在研究方法和背景信息上存在缺陷的计划。这就像多了一个得力的帮手，能提前排除科研过程中的一些小错误。
研究争议
这项研究引起了不同的看法。一部分人认为实验是科研的核心，预测毫无价值。实验中总会出现许多无法掌控的因素。另外，有些研究者认为科研的关键在于精确的阐释，而单纯的预测结果似乎并不符合科研的根本宗旨。
尽管存在争议，但这一现象还是在某种程度上揭示了神经科学领域的新趋势。各位读者，你们认为这种语言模型的能力是否会根本性地影响神经学研究？欢迎发表你们的看法，参与讨论，同时别忘了点赞和转发。
