CalculationPrecisionStrategy枚举

CalculationPrecisionStrategy枚举

列举处理计算精度的策略。 由于IEEE 754浮点运算的精度问题,一些“看似简单”的公式可能无法计算出预期的结果。 例如公式“=-0.45+0.43+0.02”,直接用“+”运算符计算操作数时,结果不为零。对于此类精度问题, 一些特殊的策略可能会产生预期的结果。

CalculationPrecisionStrategy 类型公开以下成员:

字段

字段描述
NONE计算时未应用任何策略。
计算时只需使用原始double值作为操作数并直接返回结果。
性能最高效且适用于大多数情况。
ROUND将计算结果按照有效数字进行四舍五入。
DECIMAL尽可能使用十进制作为操作数。
对于性能而言,效率最低。

也可以看看