Apache Spark
![]() Logo programu | |
![]() | |
Autor | Matei Zaharia |
---|---|
Pierwsze wydanie | 26 maja 2014 |
Aktualna wersja stabilna | 3.5.2 (6 sierpnia 2024) [±] |
Język programowania | Scala, Java, Python, R |
System operacyjny | Linux, Mac OS, Windows |
Rodzaj | framework dla obliczeń rozproszonych |
Licencja | Apache License 2.0 |
Strona internetowa |
Apache Spark – otwarte oprogramowanie będące platformą programistyczną dla obliczeń rozproszonych. Początkowo rozwijany na Uniwersytecie Kalifornijskim w Berkeley[1], następnie przekazany Apache Software Foundation – organizacji, która rozwija go do dnia dzisiejszego.
Biblioteka MLlib
Zestaw narzędzi do uczenia maszynowego, znajdujący zastosowanie w wielu dziedzinach:
- regresja i klasyfikacja statystyczna
- obliczanie współczynnika korelacji i miary rozkładu
- analiza skupień
- optymalizacja
Zobacz też
- Apache Hadoop
Przypisy
- ↑ Konwinski i in. 2016 ↓, Rozdział 1, cytat: „Jednymi z pierwszych użytkowników Sparka były inne grupy z uniwersytetu w Berkeley, w tym badacze zajmujący się systemami uczącymi się, jak ci pracujący w projekcie Mobile Millennium, gdzie wykorzystywano Sparka do monitorowania i przewidywania korków w rejonie zatoki San Francisco.”
Bibliografia
- Andy Konwinski, Karau Holden, Patrick Wendel, Matei Zaharia: Poznajemy Sparka. Wydawnictwo Naukowe PWN, 2016. ISBN 978-83-01-18685-2.
Linki zewnętrzne
- Strona oficjalna
- Biblioteka MLlib
- Marcin Pilarczyk: Analiza Wikipedii z użyciem Sparka. YouTube. [dostęp 2017-08-24].