Reading view

There are new articles available, click to refresh the page.

模型有时会很快返回并且结果错误是什么原因?

frankyzf:

同样的 prompt ,同样的环境(同一个 service ,没有重启。模型、机器相同,temperature=0 ,top_k=1),大部分情况返回结果是正常的。但发现偶尔会发生返回结果不正常,并且返回比正常的速度要快,正常返回需要大概 5s ,不正常的返回大概 2s 。 请问有哪些因素会造成这种情况?

❌