Як відобразити повний вміст стовпця в Spark Dataframe?

Я використовую spark-csv для завантаження даних у DataFrame. Я хочу зробити простий запит і відобразити вміст:

val df = sqlContext.read.format("com.databricks.spark.csv").option("header", "true").load("my.csv")
df.registerTempTable("tasks")
results = sqlContext.sql("select col from tasks");
results.show()

Коло здається усіченим:

scala> results.show();
+--------------------+
|                 col|
+--------------------+
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-06 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:21:...|
|2015-11-16 07:21:...|
|2015-11-16 07:21:...|
+--------------------+

Як відобразити повний вміст стовпця?

results.show(20, false)не вріжеться. Перевірте джерело

Якщо ви поставите results.show(false), результати не будуть усічені

Інші рішення хороші. Якщо це ваші цілі:

1. Не має усікання стовпців,
2. Без втрат рядків,
3. Швидкий і
4. Ефективний

Ці два рядки корисні ...

    df.persist
    df.show(df.count, false) // in Scala or 'False' in Python

Наполягаючи, дві дії виконавця, підрахунок та показ, є швидшими та ефективнішими при використанні persistабо cacheпідтримці тимчасової базової структури фрейму даних у виконавців. Докладніше про збереження та кеш .

Нижче код допоможе переглянути всі рядки без урізання в кожному стовпці

df.show(df.count(), False)

results.show(20, False)або results.show(20, false) залежно від того, чи використовуєте ви це на Java / Scala / Python

results.show(false) покаже повний вміст стовпця.

Показати метод за замовчуванням обмеженням до 20, а додавання числа раніше falseпокаже більше рядків.

спробуйте цю команду:

df.show(df.count())

results.show(20,false) зробив для мене трюк у Скалі.

У межах Databricks можна візуалізувати кадр даних у табличному форматі. За допомогою команди:

display(results)

Це буде виглядати так

Я використовую розширення Chrome, яке працює дуже добре:

[ https://userstyles.org/styles/157357/jupyter-notebook- розповсюджений1]

Спробуйте це в масштабі:

df.show(df.count.toInt, false)

Метод show приймає ціле та булеве значення, але df.count повертає Long ...

У c # Option("truncate", false)не обрізає дані у висновку.

StreamingQuery query = spark
                    .Sql("SELECT * FROM Messages")
                    .WriteStream()
                    .OutputMode("append")
                    .Format("console")
                    .Option("truncate", false)
                    .Start();

Наступна відповідь стосується програми Spark Streaming.

Встановивши параметр "усікати" на значення "false", ви можете сказати на вихідному протоколі відобразити повний стовпець.

val query = out.writeStream
          .outputMode(OutputMode.Update())
          .format("console")
          .option("truncate", false)
          .trigger(Trigger.ProcessingTime("5 seconds"))
          .start()