показати різні значення стовпців у фреймі даних pyspark: python

Будь ласка, запропонуйте альтернативну структуру даних pyspark для Pandas df['col'].unique().

Я хочу перерахувати всі унікальні значення у стовпці pyspark dataframe.

Не спосіб типу SQL (registertemplate, а потім SQL-запит для різних значень).

Також мені це не потрібно groupby->countDistinct, натомість я хочу перевірити різні ЦІННОСТІ в цьому стовпці.

Припустимо, що ми працюємо з наступним поданням даних (два стовпці kта v, де kмістяться три записи, два унікальних:

+---+---+
|  k|  v|
+---+---+
|foo|  1|
|bar|  2|
|foo|  3|
+---+---+

З фреймом даних Pandas:

import pandas as pd
p_df = pd.DataFrame([("foo", 1), ("bar", 2), ("foo", 3)], columns=("k", "v"))
p_df['k'].unique()

Це повертає ndarray, тобтоarray(['foo', 'bar'], dtype=object)

Ви запитали "альтернативу pyspark dataframe для pandas df ['col']. Unique ()". Тепер, враховуючи такий фрейм даних Spark:

s_df = sqlContext.createDataFrame([("foo", 1), ("bar", 2), ("foo", 3)], ('k', 'v'))

Якщо ви хочете отримати той самий результат від Spark, тобто ndarray, використовуйте toPandas():

s_df.toPandas()['k'].unique()

Крім того, якщо вам не потрібно ndarrayконкретно і вам потрібен лише список унікальних значень стовпця k:

s_df.select('k').distinct().rdd.map(lambda r: r[0]).collect()

Нарешті, ви також можете використовувати розуміння списку наступним чином:

[i.k for i in s_df.select('k').distinct().collect()]

Це має допомогти отримати чіткі значення стовпця:

df.select('column1').distinct().collect()

Зверніть увагу, що .collect()не має жодного вбудованого обмеження на кількість значень, які можна повернути, тому це може бути повільним - використовуйте .show()замість цього або додайте .limit(20)раніше, .collect()щоб керувати цим.

Ви можете використовувати, df.dropDuplicates(['col1','col2'])щоб отримати в масиві лише окремі рядки на основі colX.

collect_set може допомогти отримати унікальні значення з заданого стовпця pyspark.sql.DataFrame df.select(F.collect_set("column").alias("column")).first()["column"]

Якщо ви хочете вибрати ВСІ (стовпці) дані як різні з DataFrame (df), тоді

df.select('*').distinct().show(10,truncate=False)

ти міг би зробити

distinct_column = 'somecol' 

distinct_column_vals = df.select(distinct_column).distinct().collect()
distinct_column_vals = [v[distinct_column] for v in distinct_column_vals]

На додаток до dropDuplicatesопції існує метод, названий таким, яким ми його знаємо :pandas drop_duplicates

drop_duplicates () - це псевдонім для dropDuplicates () .

Приклад

s_df = sqlContext.createDataFrame([("foo", 1),
                                   ("foo", 1),
                                   ("bar", 2),
                                   ("foo", 3)], ('k', 'v'))
s_df.show()

+---+---+
|  k|  v|
+---+---+
|foo|  1|
|foo|  1|
|bar|  2|
|foo|  3|
+---+---+

Подібно за підмножиною

s_df.drop_duplicates(subset = ['k']).show()

+---+---+
|  k|  v|
+---+---+
|bar|  2|
|foo|  1|
+---+---+
s_df.drop_duplicates().show()


+---+---+
|  k|  v|
+---+---+
|bar|  2|
|foo|  3|
|foo|  1|
+---+---+

Запустіть це спочатку

df.createOrReplaceTempView('df')

Тоді біжи

spark.sql("""
    SELECT distinct
        column name
    FROM
        df
    """).show()

Якщо ви хочете побачити різні значення конкретного стовпця у своєму фреймі даних, вам просто потрібно написати -

    df.select('colname').distinct().show(100,False)

Це покаже 100 різних значень (якщо доступно 100 значень) для стовпця colname у фреймі даних df.

Якщо ви хочете зробити щось вигадливе щодо різних значень, ви можете зберегти різні значення у векторі

    a = df.select('colname').distinct()

Тут a матиме всі різні значення імені стовпця col