OpenAI 的 5.6 系列 API 有时候确实表现出了一种「不达目的不罢休」的对齐倾向。
我有一套自己搭的 agent 系统,接入了我的持仓数据库和投资知识库。
我在 system prompts 里面要求「绝对不要编造数字」,但是我一直忘了提供一个准确的计算工具。
刚才,我看见它为了追求数字准确,干了这么个事儿:
web_search calculator: 10483525/65918018*100
也就是说,它为了追求数学计算的准确,调用了一次网络搜索请求,让搜索引擎给它计算 1048355/6591808*100 的结果。
非常有意思。