Запитання з тегом «precision»

Я хочу aбути округленим до 13,95 . >>> a 13.949999999999999 >>> round(a, 2) 13.949999999999999 roundФункція не працює так , як я очікував.

1692 python  floating-point  rounding  precision 

Я читав про різницю між подвійною точністю та одиничною точністю. Тим НЕ менше, в більшості випадків, floatі , doubleздається, бути взаємозамінними, тобто з допомогою одного або іншого , здається, не впливають на результати. Це справді так? Коли поплавці та двійники взаємозамінні? Які відмінності між ними?

420 c++  c  floating-point  precision 

Тож я отримав відповідь на своє останнє запитання (не знаю, чому я не думав про це). Я друкував doubleвикористання, coutяке було округлене, коли я не очікував цього. Як я можу зробити coutдрук з doubleвикористанням повної точності?

331 c++  floating-point  precision  iostream  cout 

Я хотів відобразити число до 2 знаків після коми. Я думав, що можу використовувати toPrecision(2)в JavaScript. Однак якщо число є 0.05, я отримую 0.0500. Я вважаю за краще, щоб він залишився колишнім. Дивіться це на JSbin . Який найкращий спосіб зробити це? Я можу подумати про кодування кількох рішень, але …

315 javascript  floating-point  precision 

У базі даних вказаний наступний стовпець: десятковий (5,2) Як трактує це хтось? Відповідно до властивостей стовпця, що їх переглядають у студії управління SQL Server, я бачу, що це означає: десятковий (числова точність, числова шкала). Що означають точність та масштабність у реальному виразі? Було б легко інтерпретувати це як десятковий знак …

245 sql  database  decimal  scale  precision 

Як я можу точно побудувати часовий штамп фактичного часу з точністю до мілісекунд? Мені потрібно щось на зразок 16.4.2013 9: 48: 00: 123. Чи можливо це? У мене є додаток, де я вибираю значення 10 разів на секунду, і мені потрібно показувати їх у графі.

231 c#  datetime  precision  milliseconds 

Чому деякі числа втрачають точність, зберігаючи їх як числа з плаваючою комою? Наприклад, десяткове число 9.2можна виразити точно як відношення двох десяткових цілих чисел ( 92/10), обидва з яких можна виразити точно у двійковій ( 0b1011100/0b1010). Однак те саме співвідношення, яке зберігається як число з плаваючою комою, ніколи точно не …

198 floating-point  language-agnostic  precision 

Я намагаюся отримати суму 1 + 2 + ... + 1000000000, але я отримую смішні результати в PHP і Node.js . PHP $sum = 0; for($i = 0; $i <= 1000000000 ; $i++) { $sum += $i; } printf("%s", number_format($sum, 0, "", "")); // 500000000067108992 Node.js var sum = 0; …

192 php  node.js  precision  integer-overflow  integer-arithmetic 

Нещодавно мені довелося серіалізувати дубль у текст, а потім повернути його назад. Здається, значення не є еквівалентним: double d1 = 0.84551240822557006; string s = d1.ToString("R"); double d2 = double.Parse(s); bool s1 = d1 == d2; // -> s1 is False Але згідно з MSDN: Стандартні рядки числового формату , варіант …

185 c#  double  tostring  precision 

Яка різниця між операцією з плаваючою точкою з однією точністю і плаваючою операцією подвійної точності? Мене особливо цікавлять практичні терміни стосовно консолей відеоігор. Наприклад, чи має Nintendo 64 64-бітний процесор, і якщо це все-таки буде, це означає, що він був здатний до подвійної точності операцій з плаваючою точкою? Чи можуть …

169 floating-point  precision  processor  operations 

Ні, це не інше питання "Чому це (1 / 3.0) * 3! = 1" . Останнім часом я багато читав про плаваючі точки; конкретно, як один і той же розрахунок може давати різні результати в різних архітектурах або налаштуваннях оптимізації. Це проблема для відеоігор, які зберігають повторення або є одноранговими …

155 c#  .net  floating-point  precision  ieee-754 

Я знаю, що 0.1десяткове число не може бути представлене точно кінцевим двійковим числом ( пояснення ), тому double n = 0.1втратить деяку точність і не буде точно 0.1. З іншого боку 0.5може бути представлена ​​саме тому, що вона є 0.5 = 1/2 = 0.1b. Сказавши, що зрозуміло, що додавання 0.1 …

152 java  floating-point  double  precision 

public class doublePrecision { public static void main(String[] args) { double total = 0; total += 5.6; total += 5.8; System.out.println(total); } } Наведений вище код друкує: 11.399999999999 Як я можу змусити це просто надрукувати (або мати можливість використовувати його як) 11.4?

149 java  floating-point  double  precision 

Отримавши дубль, я хочу округлити його до заданої кількості точок точності після десяткової коми , подібно до функції PHP Round (). Найближче, що я можу знайти в документах Dart, це double.toStringAsPrecision (), але це не зовсім те, що мені потрібно, оскільки воно включає цифри перед десятковою комою в загальній кількості …

125 dart  precision  double-precision 

Я новачок у JavaScript і щойно відкрив для себе toFixed()і toPrecision()округлення чисел. Однак я не можу зрозуміти, у чому різниця між ними. У чому різниця між number.toFixed()і number.toPrecision()?

124 javascript  rounding  precision