Замініть всі числові значення у фреймі даних pyspark на постійне значення

Розглянемо фрейм даних Pyspark, що складається з 'null' елементів та числових елементів. Взагалі числові елементи мають різні значення. Як можна замінити всі числові значення фрейму даних на постійне числове значення (наприклад, значення 1)? Спасибі заздалегідь!

Приклад для фрейму даних pyspark:

$$\begin{array}{c|lcr} & \text{c1} & \text{c2} & \text{c3} \\ \hline 1 & 0.04 & 1 & 1.35 \\ 2 & -1 & null & -1.2 \\ 3 & null & 1.2 & null \end{array}$$

Результатом має бути:

$$\begin{array}{c|lcr} & \text{c1} & \text{c2} & \text{c3} \\ \hline 1 & 1 & 1 & 1 \\ 2 & 1 & null & 1 \\ 3 & null & 1 & null \end{array}$$

Відповідно до вашої проблеми, я думаю, що може бути простіше використовувати освітлений . Спробуйте це-

from pyspark.sql.functions import lit
new_df = df.withColumn('column_name', lit(1))

Сподіваюся, це допомагає!

Використання litперетворить усі значення стовпця на задане значення.

Щоб зробити це лише для ненульових значень фрейму даних, вам доведеться фільтрувати ненульові значення кожного стовпця і замінювати своє значення. whenможе допомогти вам досягти цього.

from pyspark.sql.functions import when   

df.withColumn('c1', when(df.c1.isNotNull(), 1))
  .withColumn('c2', when(df.c2.isNotNull(), 1))
  .withColumn('c3', when(df.c3.isNotNull(), 1))

Це призведе до:

$$\begin{array}{c|lcr} & \text{c1} & \text{c2} & \text{c3} \\ \hline 1 & 1 & 1 & 1 \\ 2 & 1 & null & 1 \\ 3 & null & 1 & null \end{array}$$

Крім того, якщо ви хочете замінити ці нульові значення на якесь інше значення, ви можете використовувати otherwiseв поєднанні з when. Скажімо, ви хочете ввести 0там:

from pyspark.sql.functions import when   

df.withColumn('c1', when(df.c1.isNotNull(), 1).otherwise(0))
  .withColumn('c2', when(df.c2.isNotNull(), 1).otherwise(0))
  .withColumn('c3', when(df.c3.isNotNull(), 1).otherwise(0))

Це призведе до:

$$\begin{array}{c|lcr} & \text{c1} & \text{c2} & \text{c3} \\ \hline 1 & 1 & 1 & 1 \\ 2 & 1 & 0 & 1 \\ 3 & 0 & 1 & 0 \end{array}$$

Це буде простіше, якщо у вас є кілька стовпців:

from pyspark.sql.functions import when   
cols = df.columns # list of all columns
for col in cols:
    df= df.withColumn(col, when(df[col]>0,1).otherwise(0))