Everand Logo

Welcome to Everand!

  • Discover millions of ebooks, audiobooks, and so much more with a free trial

    Only $11.99/month after trial. Cancel anytime.

    Big Data, Fast Data
    Big Data, Fast Data
    Big Data, Fast Data
    Ebook72 pages38 minutes

    Big Data, Fast Data

    By Jochen Mader, Michael Lex, Dr. Daniel Pape and Matthias Niehoff

    ()

    Read preview

    About this ebook

    Die Big-Data-Welt verändert sich. Mit diesem shortcut erfahren Sie, was hinter den Begriffen Fast Data und SMACK steckt, wie Daten mittels Kafka und Akka ins System kommen und auf welche Art und Weise eine Datenanalyse mit Spark und Apache Zeppelin funktioniert. Im abschließenden Kapitel erläutern die Autoren, wie Daten unter Verwendung von Spark und Cassandra gespeichert, verarbeitet, aktualisiert und mit weiteren Informationen zusammengebracht werden können.
    LanguageDeutsch
    Publisherentwickler.press
    Release dateAug 10, 2016
    ISBN9783868027396
    Big Data, Fast Data

    Read more from Jochen Mader

    Related to Big Data, Fast Data

    Titles in the series (100)

    View More
    View More

    Related ebooks

    Computers For You

    View More
    View More

    Related podcast episodes

    Related articles

    • Article

      Auf Spurensuche

      Mar 3, 2022

      Auf Spurensuche
      10 min read

    • Article

      Tooltipps

      Sep 1, 2021

      Cut, Xsv und Awk kombiniert Quelle: https://github.com/sstadick/hck Lizenz: Public Domain Alternativen: Cut, Awk Wer die Ausgabe von Shell-Programmen filtern, sortieren und anders weiterverarbeiten möchte, nutzt dazu meist Tools wie Awk und Cut. Mit

      5 min read

    • Article

      Vermittlungszentrale

      Apr 7, 2021

      Vermittlungszentrale
      11 min read

    • Article

      Gut Verpackt

      Aug 18, 2021

      Gut Verpackt
      4 min read

    • Article

      Spürhund

      Aug 17, 2023

      Spürhund
      1 min read

    • Article

      News

      Mar 3, 2022

      News
      6 min read

    • Article

      OCRmyPDF

      May 19, 2021

      Das ambitionierte Projekt OCRmyPDF analysiert mithilfe der Open-Source-Texterken-nung Tesseract die eingescannten Dokumente und hinterlegt deren Inhalt in Textform im PDF/ A-Format im digitalen Dokument. So lässt sich der Text mittels Suchmaschinen o

      1 min read

    • Article

      Getrennte Wege

      Aug 18, 2021

      Getrennte Wege
      3 min read

    • Article

      Tooltipps

      Jun 2, 2021

      Markdown-Dateien in der Konsole lesen Quelle: https://github.com/charmbracelet/glow Lizenz: MIT Alternativen: Mdformat Als reine Textdateien lassen sich Markdown-Dokumente auch im Texteditor gut lesen, vor allem, wenn der das passende Syntax-Highligh

      5 min read

    • Article

      Zahlen & Trends

      Nov 3, 2021

      Zahlen & Trends
      8 min read

    • Article

      Objekt der Begierde

      Mar 3, 2022

      Objekt der Begierde
      8 min read

    • Article

      Fliegender Wechsel

      Mar 3, 2022

      Fliegender Wechsel
      7 min read

    • Article

      Tooltipps

      Oct 6, 2021

      Tooltipps
      5 min read

    • Article

      Dateiprüfer

      Jun 22, 2023

      Dateiprüfer
      1 min read

    • Article

      Glückliche Schüler

      Dec 16, 2021

      Glückliche Schüler
      8 min read

    • Article

      Angetestet

      Aug 18, 2021

      Beim Arbeiten in der Konsole hilft Navi 2.16.0. Es gibt wohl kaum jemand, der von sich behaupten kann, alle Befehle der Linux-Konsole samt deren Parameter zu kennen. Guter Rat findet sich in der Manpage oder auf Cheat-Seiten im Netz. Das Rust-Tool Na

      3 min read

    • Article

      Fette Beats

      Dec 16, 2021

      Fette Beats
      9 min read

    • Article

      Wolkenbruch

      Aug 18, 2021

      Wolkenbruch
      5 min read

    • Article

      Navigator

      May 19, 2021

      Navigator
      3 min read

    • Article

      Schlagzeilen im Blick

      Aug 17, 2023

      Schlagzeilen im Blick
      14 min read

    • Article

      Selbst Gedengelt

      May 17, 2023

      Selbst Gedengelt
      8 min read

    • Article

      Gehäusedeckel Aufschrauben

      Apr 7, 2022

      Gehäusedeckel Aufschrauben
      10 min read

    • Article

      Tux Liest

      Jan 5, 2022

      Bücher über Software-Patterns und Kafka Das allgegenwärtige Cloud-Computing verursacht diverse Seiteneffekte. Es begünstigt beispielsweise MicroserviceArchitekturen, deren lose gekoppelte Komponenten ständig Daten austauschen. Zudem weckt es mit sein

      2 min read

    • Article

      Isolierstation

      Oct 6, 2021

      Isolierstation
      10 min read

    • Article

      Gefahrgut-Container

      Sep 1, 2021

      Gefahrgut-Container
      10 min read

    • Article

      Orchesterleiter

      Jan 5, 2022

      Orchesterleiter
      10 min read

    • Article

      Dimension der Zeit

      Aug 4, 2022

      Dimension der Zeit
      6 min read

    • Article

      Container-Lager

      Nov 3, 2021

      Container-Lager
      10 min read

    • Article

      Vorschau auf 12/2021

      Oct 6, 2021

      Vorschau auf 12/2021
      1 min read

    Related categories

    Reviews for Big Data, Fast Data

    0 ratings

    0 ratings0 reviews

    What did you think?

    Tap to rate

    Review must be at least 10 words

      Book preview

      Big Data, Fast Data - Jochen Mader

      GmbH

      1 Next Generation Big Data mit SMACK

      Big Data verändert sich. Auf Konferenzen werden die bisherigen Buzzwords Hadoop, Storm, Pig und Hive immer mehr durch die Begriffe Fast Data und SMACK verdrängt. Eine derartige Veränderung in einem vergleichsweise jungen Ökosystem wirft einiges an Fragen auf: Was stimmt mit dem bisherigen Vorgehen nicht? Was unterscheidet Fast von Big Data? Und was ist eigentlich SMACK?

      Auf der I/O 2014 hat Google MapReduce offiziell in Rente geschickt: Man habe zu diesem Zeitpunkt bereits auf das neue Dataflow-Framework umgestellt und die bestehenden MapReduce-Jobs entfernt. Diese Meldung sorgte für Aufsehen, nahm man Hadoop und sein Ökosystem zu diesem Zeitpunkt doch immer noch als Innovationsträger wahr. Einige apokalyptische Blogposts und hitzige Diskussionen später kehrte wieder Ruhe in das Thema ein. Viele Unternehmen hatten gerade erst ihre Zehen in den Big-Data-Pool gesteckt und die bisherigen Technologien noch nicht annähernd ausgereizt. Jene Unternehmen, die sich tief genug in die Big-Data-Welt begeben, kommen früher oder später zu der Erkenntnis: Die Grenzen vieler Technologien sind zu eng für die gewünschten schnellen Analysezyklen. Ein neues Konzept war gefragt. Das folgende Kapitel wird den Weg von Big Data auf Hadoop zu Fast Data mit SMACK aufzeigen. Dabei dient es als Einleitung zum Thema Big Data und Fast Data.

      Am Anfang war das Lambda

      Über die Jahre hat sich die Big-Data-Welt zu einem schwer zu überblickenden Zoo miteinander verwobener Frameworks und Infrastrukturkomponenten entwickelt: HDFS, Ceph, ZooKeeper, HBase, Storm, Kafka, Pig, Hive und so weiter. Viele dieser Komponenten sind sehr spezialisiert und bilden nur eine Teilmenge der angestrebten Funktionalitäten ab. Erst ihre – nicht ganz problemlose – Kombination erlaubte die Umsetzung komplexerer Anwendungsfälle. Mit der Zeit hat sich gezeigt, dass viele der Frameworks grob in zwei Gruppen eingeteilt werden können: Da sind zum einen jene Frameworks, die sofort oder zeitnah antworten (Kasten: „Real Time"). In diese Kategorie fallen Storm, Samza, verschiedene CEP Engines, aber auch reaktive Frameworks wie Akka, Vert.x oder Quasar. Die zweite Gruppe sind Frameworks, die ihre Antwort erst nach einer etwas längeren Zeit liefern können. Hierunter fällt alles, was auf MapReduce aufbaut, z. B. Pig oder Hive. Da die beiden Gruppen immer gemeinsam aufgetreten sind, hat sich daraus ein entsprechender Architekturstil entwickelt. Dieser ist bis heute in praktisch allen Big-Data-Plattformen zu finden und hat von Nathan Marz die Bezeichnung Lambda Architecture [1] erhalten (Abbildung 1.1).

      Real Time

      Der Begriff Real Time verursacht mir regelmäßig Ausschlag. Leider verstehen viele Menschen unter Echtzeit etwas ganz anderes, als es die eigentliche Definition vorsieht. Echtzeit meint die Fähigkeit eines Systems, Ergebnisse in einer festgelegten Zeitspanne zu liefern. Bremscontroller, medizinische Geräte und viele Bestandteile von Satelliten müssen echtzeitfähig sein, um Katastrophen zu verhindern. Eine Bremse muss innerhalb einer festgelegten Zeitspanne auf das Treten des Pedals reagieren oder der Fahrer hat ein ernst zu nehmendes Problem. Es geht nicht um „die Antwort kommt so schnell wie möglich, sondern um „die Antwort kommt garantiert innerhalb dieser Zeitspanne. Viel passender erscheint mir der Begriff Near Time, um zu beschreiben, was wir in Big-Data-/Fast-Data-Anwendungen anstreben.

      Abbildung 1.1: Darstellung der Lambda-Architektur

      In dieser werden eingehende Daten (1) von zwei Layern konsumiert. Im Batch Layer (2) finden Langläuferanalysen basierend auf den abgelegten Rohdaten statt. Die Ergebnisse dieser Analysen werden dem Serving Layer (4) bereitgestellt, wo sie für Clients

      Enjoying the preview?
      Page 1 of 1