Запитання з тегом «distributed-computing»

Я намагаюся зрозуміти ZooKeeper, як він працює і що робить. Чи є програма, яка порівнянна з ZooKeeper? Якщо ви знаєте, то як би ви описали ZooKeeper мирянину? Я спробував apache wiki, zookeeper sourceforge ... але я все ще не в змозі з цим пов'язатись. Я щойно прочитав через http://zookeeper.sourceforge.net/index.sf.shtml , …

376 apache-zookeeper  distributed-computing 

За даними Learning Spark Майте на увазі, що перерозподіл даних - це досить дорога операція. Spark також має оптимізовану версію repartition()виклику, coalesce()яка дозволяє уникнути руху даних, але лише якщо ви зменшуєте кількість розділів RDD. Одна з різниць, які я отримую, полягає в тому, що з repartition()кількістю розділів можна збільшувати / …

254 apache-spark  distributed-computing  rdd 

Я читаю Огляд режиму кластерів, і досі не можу зрозуміти різні процеси в іскровому автономному кластері та паралелізм. Чи працівник процес СВМ чи ні? Я побіг bin\start-slave.shта виявив, що це породило працівника, який насправді є СП. Відповідно до вищезазначеного посилання, виконавець - це процес, запущений для програми на робочому вузлі, …

219 apache-spark  distributed-computing 

З точки зору RDDстійкості, які відмінності між cache()і persist()в іскру?

202 apache-spark  distributed-computing  rdd 

Я відносно новий в Кафці. Я трохи експериментував з цим, але мені кілька незрозумілих щодо компенсації споживачів. З того, що я зрозумів до цього часу, коли споживач запускає, зміщення, з якого він почне читати, визначається налаштуваннями конфігурації auto.offset.reset(виправте мене, якщо я помиляюся). Тепер скажімо, наприклад, що в темі є 10 …

169 java  distributed-computing  apache-kafka 

Якщо у вас мільярд чисел і сто комп’ютерів, який найкращий спосіб знайти медіану цих чисел? Одне з моїх рішень: Розділіть набір порівну між комп’ютерами. Сортуйте їх. Знайдіть медіани для кожного набору. Сортуйте набори за медіанами. Об’єднайте одночасно два набори від найнижчої до найвищої медіани. Якщо ми m1 < m2 < …

127 algorithm  distributed-computing