Запитання з тегом «partitioning»

У Kafka я хотів би використовувати лише одного брокера, одну тему та єдиний розділ, що має одного виробника та декількох споживачів (кожен споживач отримує власну копію даних від брокера). Враховуючи це, я не хочу витрачати гроші на використання Zookeeper; Чи можу я не просто використовувати лише брокера? Чому зоопарк повинен?

134 partitioning  apache-zookeeper  producer-consumer  apache-kafka  broker 

Я почав використовувати Spark SQL та DataFrames в Spark 1.4.0. Я хочу визначити спеціальний учасник на DataFrames у Scala, але не бачу, як це зробити. Одна з таблиць даних, з якою я працюю, містить перелік транзакцій, за рахунком, silimar до наступного прикладу. Account Date Type Amount 1001 2014-04-01 Purchase 100.00 …

128 scala  apache-spark  dataframe  apache-spark-sql  partitioning 

Я прочитав документацію HashPartitioner. На жаль, нічого особливо не було пояснено, окрім викликів API. Я припускаю, що HashPartitionerрозділяє розподілений набір на основі хешу ключів. Наприклад, якщо мої дані схожі (1,1), (1,2), (1,3), (2,1), (2,2), (2,3) Отже, секціонер розміщував би це в різних розділах з однаковими клавішами, що потрапляли в один …

82 scala  apache-spark  rdd  partitioning