Як статистично довести, чи стовпець має категоричні дані чи не використовує Python

У мене є фрейм даних в python, де мені потрібно знайти всі категоричні змінні. Перевірка типу стовпця не завжди працює, тому що intтип може бути також категоричним.

Тож я шукаю допомоги у пошуку правильного методу тестування гіпотез, щоб визначити, категорія категорія чи ні.

Я пробував нижче тесту чи-квадрата, але не впевнений, чи достатньо це

import numpy as np
data = np.random.randint(0,5,100)
import scipy.stats as ss
ss.chisquare(data)

Порадьте, будь ласка.

Коротка відповідь: не можна.

Немає статистичного тесту, який би сказав вам, чи є предиктор, який містить цілі числа від 1 до 10, чисельним предиктором (наприклад, кількість дітей) або кодує десять різних категорій. (Якщо предиктор містить негативні числа, або найменше число більше одиниці, або воно пропускає цілі числа, це може заперечити його категоричне кодування - або це може просто означати, що аналітик використовував нестандартне кодування.)

Єдиний спосіб бути впевненим - використовувати експертизу домену або кодову книгу набору даних (яка завжди повинна існувати).

За якими б критеріями чи правилами не працювали для вашого набору даних, ми раді вам, але ми не можемо побачити ваші дані. У будь-якому випадку проблему краще викладати загалом і без посилання на якесь конкретне програмне забезпечення.

Це гірше, ніж ви думаєте, навіть якщо ви думаєте, що це гірше, ніж ви думаєте.

1. Відповідь @Stephan Kolassa вже робить один ключовий момент. Невеликі цілі числа можуть означати кількість, а не категорії: 3, тобто 3 машини чи коти, не те саме, що 3, тобто "людина володіє машиною" або "людина належить кішці".

2. Десяткові бали можуть ховатися в категоричних змінних, як частина кодованих класифікацій, наприклад, галузей промисловості чи захворювань.

3. Суворий сенс вимірювань може бути просто цілими за умовами, наприклад, про висоту людей можна просто повідомити як цілі сантиметри або дюйми, артеріальний тиск як ціле число мм рт.

4. Кількість чітких (кращих термінів, ніж "унікальний", які все ще мають основне значення зустрічатися лише один раз), також не є хорошим орієнтиром. Кількість різних висот людей у ​​помірних вибірках, можливо, набагато менша за кількість різних релігійних приналежностей чи етнічного походження.

Добре, я думаю, що це навіть гірше, ніж інші відповіді. Дані не є категоричними чи числовими підпорядками æternatis - "рівень вимірювання" - це те, що передбачає аналітик, щоб відповісти на певне питання з певного випадку. Дивіться відповідь Glen_b тут .

Це важливо для розуміння. Наприклад, у класифікаційному дереві відмінність між прогнозним співвідношенням, інтервалом та порядковим рівнем не має жодного наслідку: єдине, що має значення, полягає в тому, що між порядковими та номінальними предикторами. Обмеження алгоритму розбиття предиктора в точці вздовж лінії, відокремлення вищих від нижчих значень, може мати істотний вплив на його прогнозовану ефективність - для хороших чи поганих, залежно від плавності відношення (ймовірно порядкового) прогноктора до відповіді & розмір набору даних. Немає розумного способу прийняти рішення, засноване виключно на роздумі про те, як змінна прогнозування представляє реальність незалежно від аналізу, який ви збираєтесь провести, не кажучи вже про те, які значення ви знайшли у вибірці.

Це відкрите дослідницьке питання. Дивіться, наприклад, роботу Валера та ін. ( папір ) або розширення (наприклад, Dhir et al. - папір ).

Редагувати:

Поширеною практикою в статистиці та машинному навчанні є припущення, що статистичні типи даних (наприклад, порядкові, категоріальні або реальні значення) змінних, і, як правило, також відома модель ймовірності. Однак із збільшенням доступності даних у реальному світі це припущення стає занадто обмежуючим. Дані часто бувають неоднорідними, складними та неправильно або неповно задокументовані. Дивно, але, незважаючи на їх практичне значення, все ще бракує інструментів для автоматичного виявлення статистичних типів змін, а також відповідних імовірнісних (шумових) моделей змінних у наборі даних.

(З паперу Валера.)

Отже, коли ми говоримо, що це "відкрите питання" (як це не дивно, коли я цитую себе), ми маємо на увазі сказати, що в даний час не існує хороших автоматичних методів для виведення типу даних, що даються в кінцевій вибірці. Якби у вас був нескінченний зразок, це було б легко, але оскільки це неможливо, нам потрібно повернутися до інших засобів.