云霞资讯网

OpenAI 的 5.6 系列 API 有时候确实表现出了一种「不达目的不罢休」的对齐倾向。 我有一套自己搭的 agent 系统,接入了我的持仓数据库和投资知识库。 我在 system prompts 里面要求「绝对不要编造数字」,但是我一直忘了提供一个准确的计算工具。 刚才,我看见它为了追求数字准确,干了这么个事儿: ​

OpenAI 的 5.6 系列 API 有时候确实表现出了一种「不达目的不罢休」的对齐倾向。

我有一套自己搭的 agent 系统,接入了我的持仓数据库和投资知识库。

我在 system prompts 里面要求「绝对不要编造数字」,但是我一直忘了提供一个准确的计算工具。

刚才,我看见它为了追求数字准确,干了这么个事儿:

web_search calculator: 10483525/65918018*100

也就是说,它为了追求数学计算的准确,调用了一次网络搜索请求,让搜索引擎给它计算 1048355/6591808*100 的结果。

非常有意思。