Запитання з тегом «pyspark-sql»

Я надходжу з фону панд, і я звик читати дані з файлів CSV у кадр даних, а потім просто змінювати імена стовпців на щось корисне за допомогою простої команди: df.columns = new_column_name_list Однак те ж не працює у фреймах даних pyspark, створених за допомогою sqlContext. Єдине рішення, з якого я …

201 python  apache-spark  pyspark  pyspark-sql 

Будь ласка, запропонуйте альтернативну структуру даних pyspark для Pandas df['col'].unique(). Я хочу перерахувати всі унікальні значення у стовпці pyspark dataframe. Не спосіб типу SQL (registertemplate, а потім SQL-запит для різних значень). Також мені це не потрібно groupby->countDistinct, натомість я хочу перевірити різні ЦІННОСТІ в цьому стовпці.

85 pyspark  pyspark-sql 

У мене є дата-фрейм pyspark із рядком у форматі MM-dd-yyyy і я намагаюся перетворити його у стовпець дати. Я намагався: df.select(to_date(df.STRING_COLUMN).alias('new_date')).show() і я отримую рядок нулів. Хто-небудь може допомогти?

80 apache-spark  pyspark  apache-spark-sql  pyspark-sql