Які сценарії можуть гарантувати використання алгоритму " Карта та зменшення "?
Чи існує реалізація цього алгоритму .NET?
Які сценарії можуть гарантувати використання алгоритму " Карта та зменшення "?
Чи існує реалізація цього алгоритму .NET?
Відповіді:
Еквіваленти Linq Map і Reduce: Якщо вам пощастило мати linq, вам не потрібно писати власну карту та зменшувати функції. C # 3.5 і Linq вже має його, хоч і під різними назвами.
Карта Select
:
Enumerable.Range(1, 10).Select(x => x + 2);
Скорочення Aggregate
:
Enumerable.Range(1, 10).Aggregate(0, (acc, x) => acc + x);
Фільтр Where
:
Enumerable.Range(1, 10).Where(x => x % 2 == 0);
Reduce
замість Aggregate
... MS просто любить дратувати програмістів
Класи задач, які добре підходять для рішення стилю mapreduce, є проблемами агрегації. Вилучення даних із набору даних. У C # можна скористатися LINQ для програмування в цьому стилі.
З наступної статті: http://codecube.net/2009/02/mapreduce-in-c-using-linq/
Метод GroupBy виконує функцію карти, тоді як метод Select виконує роботу щодо зменшення проміжних результатів у остаточний список результатів.
var wordOccurrences = words
.GroupBy(w => w)
.Select(intermediate => new
{
Word = intermediate.Key,
Frequency = intermediate.Sum(w => 1)
})
.Where(w => w.Frequency > 10)
.OrderBy(w => w.Frequency);
Для розподіленої частини ви можете перевірити DryadLINQ: http://research.microsoft.com/en-us/projects/dryadlinq/default.aspx
Оскільки я ніколи не пам'ятаю, що LINQ називає це Where
, Select
а Aggregate
замість цього Filter
, Map
і Reduce
тому я створив кілька методів розширення, якими ви можете скористатися:
IEnumerable<string> myStrings = new List<string>() { "1", "2", "3", "4", "5" };
IEnumerable<int> convertedToInts = myStrings.Map(s => int.Parse(s));
IEnumerable<int> filteredInts = convertedToInts.Filter(i => i <= 3); // Keep 1,2,3
int sumOfAllInts = filteredInts.Reduce((sum, i) => sum + i); // Sum up all ints
Assert.Equal(6, sumOfAllInts); // 1+2+3 is 6
Ось 3 методи (з https://github.com/cs-util-com/cscore/blob/master/CsCore/PlainNetClassLib/src/Plugins/CsCore/com/csutil/collections/IEnumerableExtensions.cs ):
public static IEnumerable<R> Map<T, R>(this IEnumerable<T> self, Func<T, R> selector) {
return self.Select(selector);
}
public static T Reduce<T>(this IEnumerable<T> self, Func<T, T, T> func) {
return self.Aggregate(func);
}
public static IEnumerable<T> Filter<T>(this IEnumerable<T> self, Func<T, bool> predicate) {
return self.Where(predicate);
}
Ще кілька деталей з https://github.com/cs-util-com/cscore#ienumerable-extensions :