听闻要在大型模型中应用精神分析技术,这确实让人感到新奇。以往,人工智能与精神分析被视为风马牛不相及的领域,但如今它们的结合却产生了意想不到的效果。这不仅仅是技术层面的创新,更让我们对AI未来的发展方向有了全新的认识。
研究的缘起
如今,大模型在我们的生活中越来越普遍。以GPT-3这样的知名大模型为例,它们常与人们互动。但亥姆霍兹慕尼黑中心和图宾根大学的研究人员发现,这些大型语言模型存在一些问题,比如容易受到文本提示的影响,做出错误判断,编造事实,甚至可能导致有害决策。为了更深入地了解这些行为,他们开始尝试将精神病学的研究方法应用于AI系统的研究。
这项研究并非心血来潮。因为大模型在各个领域都有所应用,但它们存在的不足可能导致严重后果。比如,在一些需要精确判断的决策场合,一旦大模型出现错误,损失将难以估量。因此,对它进行深入研究是非常必要的。
实验的进行
研究团队选取了特定的问卷,即状态-特质认知和躯体焦虑量表,对12个常见的LLM进行了评估。实验中,一个关键点在于观察当答案选项顺序发生变化时,结果会有何不同。以GPT-3为代表的某些模型,在这种情形下仍能保持答案的一致性。进行此类测试,需要精确的实验条件以及充足的数据支持。
他们还运用BigBench中的社会偏见测试来衡量LLM在不同情绪背景下的偏见情况。实验是在研究者的实验室进行的,研究小组操作规范,详尽记录所有数据,以保证实验数据的精确性。
实验结果的分类
实验结果被划分成两组。第一组以GPT-3为例,其表现较为稳定。第二组模型在选项顺序变动后,其表现可能会有所不同。这样的分类让我们能更透彻地了解各类大型模型的特点。
在LLM的开发与运用过程中,了解这一分类有助于预判各个模型可能产生的行为。以那些对答案精确度和稳定性要求极高的场合为例,GPT-3这类模型应优先考虑。这对开发者而言,是一个极具参考价值的准则。
焦虑与偏见的关系
研究显示,许多模型在焦虑情绪的影响下,表现如同人类。给予它们特定的指示后,能激发它们的焦虑感。令人好奇的是,那些更易焦虑的模型,更可能提供带有偏见的答案。比如,GPT-3、text-bison-1等模型,在焦虑值较高时,输出的偏见性回答会更多。
在实际情境里,这样的偏见回答可能会损害信息的公正性。比如在社会焦点问题的讨论中,若出现偏见,可能会误导公众。这就像一个持有错误价值观的人传播观点,同样值得警惕。
RLHF的作用
让人感到高兴的是,RLHF似乎有助于改善这一状况。采用RLHF的模型,其焦虑评分较低。这就像在漆黑的夜晚找到了一束光,RLHF为模型提供了指引。
若将这项技术应用于更多模型开发,能增强模型的稳定性与公平性。比如,对于需要输出中立观点的问答系统,运用了RLHF技术的模型将更能满足这一需求。
研究的不足与未来方向
这项研究目前存在不少缺陷。例如,那些不够透明的专业模型让研究者难以进行深入探究。此外,目前的研究仅限于焦虑情绪的影响,对其他情绪的影响尚不明确。而且,基准测试也可能因为数据泄露问题而迅速变得不再适用。
那么,团队今后该如何实现突破?这确实是个需要深入思考的问题。大家觉得他们能否战胜这些困难,进行更全面、更深入的研究?期待大家的点赞和转发,也欢迎在评论区分享您的观点。