← Карта тем
Alterna · глава 49

Качество данных

Типы данных, пропуски, дубликаты и единицы измерения до построения сводки.

01

Данные сначала проверяют

Тип

Дата, число, текст и категория не должны смешиваться в одном столбце.

Пропуск

Пустая ячейка не равна нулю. Определи её смысл до вычисления.

Единицы

Подпись столбца хранит единицу: руб., кг, мин., %.

02

Чек перед формулой

  1. 1. Сохрани исходный лист отдельной версией.
  2. 2. Проверь заголовки, дубликаты и диапазон данных.
  3. 3. Зафиксируй правило обработки пропусков.
  4. 4. Только затем считай среднее, сумму по условию или строь диаграмму.

ВажноНе исправляй исходные наблюдения так, чтобы подтвердить желаемый вывод.

03

Протокол качества данных

Полнота

Посчитай пустые значения по каждому полю. Решение «удалить» или «заменить» должно зависеть от смысла признака, а не от удобства.

Согласованность

Приведи даты, категории и единицы к единому формату. «1,5 кг» и «1500 г» нельзя сравнивать как исходные строки.

Правдоподобие

Задай допустимый диапазон и изучи выбросы. Редкое значение может быть ошибкой, а может быть самым важным наблюдением.

Создай журнал очистки: исходное значение, правило, новое значение и причина. Тогда преобразование можно повторить и проверить, а исходные данные остаются неизменными.