Отже, я дивлюся на Hadoop з великим інтересом, і, чесно кажучи, я зачарований, все не стає набагато крутішим.
Моя єдина незначна проблема - я розробник C #, і це на Java.
Це не те, що я не так розумію Java, як шукаю Hadoop.net чи NHadoop чи проект .NET, який охоплює підхід Google MapReduce . Хтось про одного знає?
Відповіді:
Ви розглядали використання потокової передачі Hadoop?
Я весь час використовую його в python :-).
Я починаю бачити, що різнорідний підхід часто є найкращим, і схоже, що інші люди роблять те саме.
Якщо ви подивитесь на такі проекти, як буфери протоколів чи економність facebook, ви побачите, що іноді просто найкраще використовувати додаток, написане іншою мовою, і створювати клей мовою, яку ви бажаєте.
Див. Http://research.microsoft.com/en-us/projects/dryadlinq/default.aspx або http://msdn.microsoft.com/en-us/library/dd179423.aspx
Нещодавно MySpace випустили свою платформу .NET MapReduce, Qizmt , як Open Source, тож це також є потенційним претендентом у цьому просторі.
Я відповів на ваше запитання тут
Щоб сказати це тут у джерелі:
Microsoft відмовилася від своєї альтернативи ( Dryad ) на користь Hadoop. Наступного року вони випустять MS SQL Server 2012 з інтеграцією Hadoop. Підтримка Azure та Windows Sever розробляється, навіть коли ми говоримо.
Він буде доступний у першій половині 2012 року.
Hadoop - це платформа No1 BigData, яка буде підтримуватися відкритим джерелом та власницьким джерелом (Java, .Net, Python, ...), навіть Oracle приймає його.
Якщо ви щось розробляли, вам слід почекати, якщо ви перебуваєте на платформі .Net.
Більше інформації про те, що можливо, можна отримати тут
Я б сказав, що DryadLinq - це найближче до Hadoop. Але це залежить для чого ви хочете використовувати hadoop. Якщо ви шукаєте оптимізовану систему самообслуговування розподілених файлів (DFS), то DryadLINQ - це не те, що ви шукаєте. Він має аналог DFS, але вам доведеться вручну створювати розділи та розподіляти кожен розділ.
З огляду на це, якщо розподілений аспект виконання Hadoop, який ви шукаєте, ніж DryadLINQ справді чудовий (і ні, я не пов'язаний з MS). Поки у вас налаштовано кластер Microsoft HPC, ніж починати роботу з DryadLINQ дуже просто.
Код, який ви пишете, насправді є просто прямим кодом LINQ, за винятком того, що замість того, щоб виконувати LINQ, IEnumerable<T>вам доведеться його виконати PartitionedTable<T>(структура побудованих розподілених даних).
Що насправді було круто в DryadLINQ, так це швидкий оберт часу (спробувати, протестувати, налаштувати, повторити) при розробці алгоритмів. Ви просто пишете код LINQ для своїх розрахунків, і DryadLINQ подбає про всю розподілену частину виконання. Це найбільш природний аналог, з яким я стикався, робить написання коду для розподіленої обробки точно так само, як написання коду для обробки одного процесу.
Ви можете розглянути щось на зразок RavenDb, воно забезпечує дуже пристойну підтримку MapReduce для досить великого обсягу даних. оскільки він вбудований .Net, тому доступний належний API клієнта LINQ.
Для початку ви можете прочитати мій блог entery.
Можливо, краще використовувати Apache Hadoop та потокове передавання, оскільки Apache Hadoop активно розробляється та підтримується такими великими гігантами в галузі, як Yahoo та Facebook. Тож він може робити те, що ви очікуєте.
Якщо вам потрібне рішення в .NET, перевірте реалізацію Myspace @ MySpace Qizmt - MySpace Open Source Mapreduce Framework
Microsoft перебуває в процесі випуску HDInsight , який оплачується як "100% сумісний з Apache розподіл Hadoop".
Він доступний як на Windows Server, так і як служба Windows Azure.
Microsoft Research має проект Daytona http://research.microsoft.com/en-us/projects/daytona/
Ви можете завантажити його. У C # є зразок WordCount.
Тепер ви можете використовувати Hadoop безпосередньо з .NET. Microsoft випустила SDK для цього.
https://hadoopsdk.codeplex.com/
Звичайно, це означає використання мережі Hadoop на основі Java. Але чи має значення, якщо сервер працює в Java? Я впевнений, що хтось може спробувати перенести його, але я не думаю, що це було б гарною ідеєю, оскільки корпорації вже підтримують версію Java, і я не думаю, що .NET-порт буде отримувати таку ж увагу.
Подивіться на:
http://www.windowsazure.com/en-us/services/hdinsight/
Це реалізація Hadoop для Azure, і ви можете використовувати .NET для доступу до нього.
Внутрішньо Microsoft використовує Cosmos. Це стало доступним за межами Microsoft через Azure. Він називається Azure Data Lake Analytics та Azure Data Lake Store . Аналітика Azure Data Lake є різновидом пряжі як послуги, а Azure Data Lake Store WebHDFS як послуги. Перша версія Azure Data Lake Analytics розміщує лише U-SQL мову, засновану на Transact-SQL + C #.
Існує досить мила реалізація MapReduce для .NET за адресою: http://mapsharp.codeplex.com/
Dryad / Linq готується до виробництва та скоро вийде: http://blogs.technet.com/b/windowshpc/archive/2011/07/07/announcing-linq-to-hpc-beta-2.aspx використання спільно з Microsoft HPC для потужного кластерного рішення для запиту неструктурованих даних
Як зазначали інші, DryadLINQ - це програма програмування, яка дозволяє розробникам писати запити LINQ та виконувати їх у кластері, подібно до MapReduce. Нещодавно проект DryadLINQ був випущений за ліцензією Apache GitHub , і випуск включає підтримку роботи на кластерах YARN (включаючи кластери Azure HDInsight).