Practical Hadoop Ecosystem

A Definitive Guide to Hadoop-Related Frameworks and Tools

Author: Deepak Vohra

Publisher: Apress

ISBN: 1484221990

Category: Computers

Page: 421

View: 7476

Learn how to use the Apache Hadoop projects, including MapReduce, HDFS, Apache Hive, Apache HBase, Apache Kafka, Apache Mahout, and Apache Solr. From setting up the environment to running sample applications each chapter in this book is a practical tutorial on using an Apache Hadoop ecosystem project. While several books on Apache Hadoop are available, most are based on the main projects, MapReduce and HDFS, and none discusses the other Apache Hadoop ecosystem projects and how they all work together as a cohesive big data development platform. What You Will Learn: Set up the environment in Linux for Hadoop projects using Cloudera Hadoop Distribution CDH 5 Run a MapReduce job Store data with Apache Hive, and Apache HBase Index data in HDFS with Apache Solr Develop a Kafka messaging system Stream Logs to HDFS with Apache Flume Transfer data from MySQL database to Hive, HDFS, and HBase with Sqoop Create a Hive table over Apache Solr Develop a Mahout User Recommender System Who This Book Is For: Apache Hadoop developers. Pre-requisite knowledge of Linux and some knowledge of Hadoop is required.

Big Data

Die Revolution, die unser Leben verändern wird

Author: Viktor Mayer-Schönberger,Viktor; Cukier Mayer-Schönberger

Publisher: Redline Wirtschaft

ISBN: 3864144590

Category: Political Science

Page: 288

View: 6835

Ob Kaufverhalten, Grippewellen oder welche Farbe am ehesten verrät, ob ein Gebrauchtwagen in einem guten Zustand ist – noch nie gab es eine solche Menge an Daten und noch nie bot sich die Chance, durch Recherche und Kombination in der Daten¬flut blitzschnell Zusammenhänge zu entschlüsseln. Big Data bedeutet nichts weniger als eine Revolution für Gesellschaft, Wirtschaft und Politik. Es wird die Weise, wie wir über Gesundheit, Erziehung, Innovation und vieles mehr denken, völlig umkrempeln. Und Vorhersagen möglich machen, die bisher undenkbar waren. Die Experten Viktor Mayer-Schönberger und Kenneth Cukier beschreiben in ihrem Buch, was Big Data ist, welche Möglichkeiten sich eröffnen, vor welchen Umwälzungen wir alle stehen – und verschweigen auch die dunkle Seite wie das Ausspähen von persönlichen Daten und den drohenden Verlust der Privatsphäre nicht.

Industrial Applications of Holonic and Multi-Agent Systems

8th International Conference, HoloMAS 2017, Lyon, France, August 28–30, 2017, Proceedings

Author: Vladimír Mařík,Wolfgang Wahlster,Thomas Strasser,Petr Kadera

Publisher: Springer

ISBN: 3319646354

Category: Computers

Page: 270

View: 3618

This book constitutes the refereed proceedings of the 8th International Conference on Industrial Applications of Holonic and Multi-Agent Systems, HoloMAS 2017, held in Lyon, France, in August 2017. The 19 revised full papers presented were carefully reviewed and selected from 27 submissions. The papers are organized in the following topical sections: scheduling; knowledge engineering; modeling, simulation and reconfiguration; energy systems;and MAS in various areas.

Datenanalyse mit Python

Auswertung von Daten mit Pandas, NumPy und IPython

Author: Wes McKinney

Publisher: O'Reilly

ISBN: 3960102143

Category: Computers

Page: 542

View: 8742

Erfahren Sie alles über das Manipulieren, Bereinigen, Verarbeiten und Aufbereiten von Datensätzen mit Python: Aktualisiert auf Python 3.6, zeigt Ihnen dieses konsequent praxisbezogene Buch anhand konkreter Fallbeispiele, wie Sie eine Vielzahl von typischen Datenanalyse-Problemen effektiv lösen. Gleichzeitig lernen Sie die neuesten Versionen von pandas, NumPy, IPython und Jupyter kennen.Geschrieben von Wes McKinney, dem Begründer des pandas-Projekts, bietet Datenanalyse mit Python einen praktischen Einstieg in die Data-Science-Tools von Python. Das Buch eignet sich sowohl für Datenanalysten, für die Python Neuland ist, als auch für Python-Programmierer, die sich in Data Science und Scientific Computing einarbeiten wollen. Daten und zugehöriges Material des Buchs sind auf GitHub verfügbar.Aus dem Inhalt:Nutzen Sie die IPython-Shell und Jupyter Notebook für das explorative ComputingLernen Sie Grundfunktionen und fortgeschrittene Features von NumPy kennenSetzen Sie die Datenanalyse-Tools der pandasBibliothek einVerwenden Sie flexible Werkzeuge zum Laden, Bereinigen, Transformieren, Zusammenführen und Umformen von DatenErstellen Sie interformative Visualisierungen mit matplotlibWenden Sie die GroupBy-Mechanismen von pandas an, um Datensätzen zurechtzuschneiden, umzugestalten und zusammenzufassenAnalysieren und manipulieren Sie verschiedenste Zeitreihen-DatenFür diese aktualisierte 2. Auflage wurde der gesamte Code an Python 3.6 und die neuesten Versionen der pandas-Bibliothek angepasst. Neu in dieser Auflage: Informationen zu fortgeschrittenen pandas-Tools sowie eine kurze Einführung in statsmodels und scikit-learn.

Die Berechnung der Zukunft

Warum die meisten Prognosen falsch sind und manche trotzdem zutreffen - Der New York Times Bestseller

Author: Nate Silver

Publisher: Heyne Verlag

ISBN: 3641112702

Category: Business & Economics

Page: 656

View: 4196

Zuverlässige Vorhersagen sind doch möglich! Nate Silver ist der heimliche Gewinner der amerikanischen Präsidentschaftswahlen 2012: ein begnadeter Statistiker, als »Prognose-Popstar« und »Wundernerd« weltberühmt geworden. Er hat die Wahlergebnisse aller 50 amerikanischen Bundesstaaten absolut exakt vorausgesagt – doch damit nicht genug: Jetzt zeigt Nate Silver, wie seine Prognosen in Zukunft Terroranschläge, Umweltkatastrophen und Finanzkrisen verhindern sollen. Gelingt ihm die Abschaffung des Zufalls? Warum werden Wettervorhersagen immer besser, während die Terrorattacken vom 11.09.2001 niemand kommen sah? Warum erkennen Ökonomen eine globale Finanzkrise nicht einmal dann, wenn diese bereits begonnen hat? Das Problem ist nicht der Mangel an Informationen, sondern dass wir die verfügbaren Daten nicht richtig deuten. Zuverlässige Prognosen aber würden uns helfen, Zufälle und Ungewissheiten abzuwehren und unser Schicksal selbst zu bestimmen. Nate Silver zeigt, dass und wie das geht. Erstmals wendet er seine Wahrscheinlichkeitsrechnung nicht nur auf Wahlprognosen an, sondern auf die großen Probleme unserer Zeit: die Finanzmärkte, Ratingagenturen, Epidemien, Erdbeben, den Klimawandel, den Terrorismus. In all diesen Fällen gibt es zahlreiche Prognosen von Experten, die er überprüft – und erklärt, warum sie meist falsch sind. Gleichzeitig schildert er, wie es gelingen kann, im Rauschen der Daten die wesentlichen Informationen herauszufiltern. Ein unterhaltsamer und spannender Augenöffner!

big data @ work

Chancen erkennen, Risiken verstehen

Author: Thomas H. Davenport

Publisher: Vahlen

ISBN: 3800648156

Category: Fiction

Page: 214

View: 929

Big Data in Unternehmen. Dieses neue Buch gibt Managern ein umfassendes Verständnis dafür, welche Bedeutung Big Data für Unternehmen zukünftig haben wird und wie Big Data tatsächlich genutzt werden kann. Am Ende jedes Kapitels aktivieren Fragen, selbst nach Lösungen für eine erfolgreiche Implementierung und Nutzung von Big Data im eigenen Unternehmen zu suchen. Die Schwerpunkte - Warum Big Data für Sie und Ihr Unternehmen wichtig ist - Wie Big Data Ihre Arbeit, Ihr Unternehmen und Ihre Branche verändern - - wird - Entwicklung einer Big Data-Strategie - Der menschliche Aspekt von Big Data - Technologien für Big Data - Wie Sie erfolgreich mit Big Data arbeiten - Was Sie von Start-ups und Online-Unternehmen lernen können - Was Sie von großen Unternehmen lernen können: Big Data und Analytics 3.0 Der Experte Thomas H. Davenport ist Professor für Informationstechnologie und -management am Babson College und Forschungswissenschaftler am MIT Center for Digital Business. Zudem ist er Mitbegründer und Forschungsdirektor am International Institute for Analytics und Senior Berater von Deloitte Analytics.

Data Science für Dummies

Author: Lillian Pierson

Publisher: John Wiley & Sons

ISBN: 352780675X

Category: Mathematics

Page: 382

View: 8601

Daten, Daten, Daten? Sie haben schon Kenntnisse in Excel und Statistik, wissen aber noch nicht, wie all die Datensätze helfen sollen, bessere Entscheidungen zu treffen? Von Lillian Pierson bekommen Sie das dafür notwendige Handwerkszeug: Bauen Sie Ihre Kenntnisse in Statistik, Programmierung und Visualisierung aus. Nutzen Sie Python, R, SQL, Excel und KNIME. Zahlreiche Beispiele veranschaulichen die vorgestellten Methoden und Techniken. So können Sie die Erkenntnisse dieses Buches auf Ihre Daten übertragen und aus deren Analyse unmittelbare Schlüsse und Konsequenzen ziehen.

Data Science mit Python

Das Handbuch für den Einsatz von IPython, Jupyter, NumPy, Pandas, Matplotlib und Scikit-Learn

Author: Jake VanderPlas

Publisher: MITP-Verlags GmbH & Co. KG

ISBN: 3958456979

Category: Computers

Page: 552

View: 7641

Die wichtigsten Tools für die Datenanalyse und-bearbeitung im praktischen Einsatz Python effizient für datenintensive Berechnungen einsetzen mit IPython und Jupyter Laden, Speichern und Bearbeiten von Daten und numerischen Arrays mit NumPy und Pandas Visualisierung von Daten mit Matplotlib Python ist für viele die erste Wahl für Data Science, weil eine Vielzahl von Ressourcen und Bibliotheken zum Speichern, Bearbeiten und Auswerten von Daten verfügbar ist. In diesem Buch erläutert der Autor den Einsatz der wichtigsten Tools. Für Datenanalytiker und Wissenschaftler ist dieses umfassende Handbuch von unschätzbarem Wert für jede Art von Berechnung mit Python sowie bei der Erledigung alltäglicher Aufgaben. Dazu gehören das Bearbeiten, Umwandeln und Bereinigen von Daten, die Visualisierung verschiedener Datentypen und die Nutzung von Daten zum Erstellen von Statistiken oder Machine-Learning-Modellen. Dieses Handbuch erläutert die Verwendung der folgenden Tools: ● IPython und Jupyter für datenintensive Berechnungen ● NumPy und Pandas zum effizienten Speichern und Bearbeiten von Daten und Datenarrays in Python ● Matplotlib für vielfältige Möglichkeiten der Visualisierung von Daten ● Scikit-Learn zur effizienten und sauberen Implementierung der wichtigsten und am meisten verbreiteten Algorithmen des Machine Learnings Der Autor zeigt Ihnen, wie Sie die zum Betreiben von Data Science verfügbaren Pakete nutzen, um Daten effektiv zu speichern, zu handhaben und Einblick in diese Daten zu gewinnen. Grundlegende Kenntnisse in Python werden dabei vorausgesetzt. Leserstimme zum Buch: »Wenn Sie Data Science mit Python betreiben möchten, ist dieses Buch ein hervorragender Ausgangspunkt. Ich habe es sehr erfolgreich beim Unterrichten von Informatik- und Statistikstudenten eingesetzt. Jake geht weit über die Grundlagen der Open-Source-Tools hinaus und erläutert die grundlegenden Konzepte, Vorgehensweisen und Abstraktionen in klarer Sprache und mit verständlichen Erklärungen.« – Brian Granger, Physikprofessor, California Polytechnic State University, Mitbegründer des Jupyter-Projekts

Einführung in Apache Solr

Author: Markus Klose,Daniel Wrigley

Publisher: O'Reilly Germany

ISBN: 3955614220

Category: Computers

Page: 336

View: 5951

Eine leistungsfähige Volltextsuche ist heute auf Websites, in Online-Shops oder auch im Unternehmen nicht mehr Kür, sondern Pflicht. Gefragt ist eine flexible Suchtechnologie, die auf unterschiedlichsten Systemen genutzt werden kann. Hier kommt Apache Solr ins Spiel: Dieser Open-Source-Suchserver bietet Entwicklern auf Basis von Standard-Webtechnologien eine mächtige und dabei einfach zu integrierende und zu benutzende Search Engine. Einführung in Apache Solr bietet einen fundierten Einstieg in die Suchtechnologie: Der Leser wird in die Lage versetzt, eine individuelle Suchlösung auf Basis von Apache Solr aufzusetzen. Beschrieben wird, aus welchen Komponenten Solr sich zusammensetzt, wie die Indexierung konfiguriert und manipuliert werden kann und welche Einstellungsmöglichkeiten es für die Suche gibt. Mit zahlreichen Beispielkonfigurationen, Tipps und Pitfalls aus der Praxis der Autoren

Das DevOps-Handbuch

Teams, Tools und Infrastrukturen erfolgreich umgestalten

Author: Gene Kim,Jez Humble,Patrick Debois,John Willis

Publisher: O'Reilly

ISBN: 3960101244

Category: Computers

Page: 432

View: 1432

Mehr denn je ist das effektive Management der IT entscheidend für die Wettbewerbsfähigkeit von Organisationen. Viele Manager in softwarebasierten Unternehmen ringen damit, eine Balance zwischen Agilität, Zuverlässigkeit und Sicherheit ihrer Systeme herzustellen. Auf der anderen Seite schaffen es High-Performer wie Google, Amazon, Facebook oder Netflix, routinemäßig und zuverlässig hundertoder gar tausendmal pro Tag Code auszuliefern. Diese Unternehmen verbindet eins: Sie arbeiten nach DevOps-Prinzipien. Die Autoren dieses Handbuchs folgen den Spuren des Romans Projekt Phoenix und zeigen, wie die DevOps-Philosophie praktisch implementiert wird und Unternehmen dadurch umgestaltet werden können. Sie beschreiben konkrete Tools und Techniken, die Ihnen helfen, Software schneller und sicherer zu produzieren. Zudem stellen sie Ihnen Maßnahmen vor, die die Zusammenarbeit aller Abteilungen optimieren, die Arbeitskultur verbessern und die Profitabilität Ihres Unternehmens steigern können. Themen des Buchs sind: Die Drei Wege: Die obersten Prinzipien, von denen alle DevOps-Maßnahmen abgeleitet werden.Einen Ausgangspunkt finden: Eine Strategie für die DevOps-Transformation entwickeln, Wertketten und Veränderungsmuster kennenlernen, Teams schützen und fördern.Flow beschleunigen: Den schnellen Fluss der Arbeit von Dev hin zu Ops ermöglichen durch eine optimale Deployment-Pipeline, automatisierte Tests, Continuous Integration und Continuous Delivery.Feedback verstärken: Feedback-Schleifen verkürzen und vertiefen, Telemetriedaten erzeugen und Informationen unternehmensweit sichtbar machen.Kontinuierliches Lernen ermöglichen: Eine Just Culture aufbauen und ausreichend Zeit reservieren, um das firmenweite Lernen zu fördern.

Statistik-Workshop für Programmierer

Author: Allen B. Downey

Publisher: O'Reilly Germany

ISBN: 3868993436

Category: Computers

Page: 160

View: 8417

Wenn Sie programmieren können, beherrschen Sie bereits Techniken, um aus Daten Wissen zu extrahieren. Diese kompakte Einführung in die Statistik zeigt Ihnen, wie Sie rechnergestützt, anstatt auf mathematischem Weg Datenanalysen mit Python durchführen können. Praktischer Programmier-Workshop statt grauer Theorie: Das Buch führt Sie anhand eines durchgängigen Fallbeispiels durch eine vollständige Datenanalyse -- von der Datensammlung über die Berechnung statistischer Kennwerte und Identifikation von Mustern bis hin zum Testen statistischer Hypothesen. Gleichzeitig werden Sie mit statistischen Verteilungen, den Regeln der Wahrscheinlichkeitsrechnung, Visualisierungsmöglichkeiten und vielen anderen Arbeitstechniken und Konzepten vertraut gemacht. Statistik-Konzepte zum Ausprobieren: Entwickeln Sie über das Schreiben und Testen von Code ein Verständnis für die Grundlagen von Wahrscheinlichkeitsrechnung und Statistik: Überprüfen Sie das Verhalten statistischer Merkmale durch Zufallsexperimente, zum Beispiel indem Sie Stichproben aus unterschiedlichen Verteilungen ziehen. Nutzen Sie Simulationen, um Konzepte zu verstehen, die auf mathematischem Weg nur schwer zugänglich sind. Lernen Sie etwas über Themen, die in Einführungen üblicherweise nicht vermittelt werden, beispielsweise über die Bayessche Schätzung. Nutzen Sie Python zur Bereinigung und Aufbereitung von Rohdaten aus nahezu beliebigen Quellen. Beantworten Sie mit den Mitteln der Inferenzstatistik Fragestellungen zu realen Daten.

The Second Machine Age

Wie die nächste digitale Revolution unser aller Leben verändern wird

Author: Erik Brynjolfsson,Andrew McAfee

Publisher: Plassen Verlag

ISBN: 3864702224

Category: Political Science

Page: 368

View: 8158

Computer sind mittlerweile so intelligent geworden, dass die nächste industrielle Revolution unmittelbar bevorsteht. Wer profitiert, wer verliert? Antworten auf diese Fragen bietet das neue Buch der Technologie-Profis Erik Brynjolfsson und Andrew McAfee. Seit Jahren arbeiten wir mit Computern - und Computer für uns. Mittlerweile sind die Maschinen so intelligent geworden, dass sie zu Leistungen fähig sind, die vor Kurzem noch undenkbar waren: Sie fahren Auto, sie schreiben eigene Texte - und sie besiegen Großmeister im Schach. Dieser Entwicklungssprung ist nur der Anfang. In ihrem neuen Buch zeigen zwei renommierte Professoren, welch atemberaubende Entwicklungen uns noch bevorstehen: Die zweite industrielle Revolution kommt! Welche Auswirkungen wird das haben? Welche Chancen winken, welche Risiken drohen? Was geschieht dabei mit den Menschen, was mit der Umwelt? Und was werden Gesellschaft und Politik tun, um die Auswirkungen dieser "neuen digitalen Intelligenz" für alle bestmöglich zu gestalten? Dieses Buch nimmt Sie mit auf eine Reise in eine Zukunft, die schon längst begonnen hat.

Data mining

praktische Werkzeuge und Techniken für das maschinelle Lernen

Author: Ian H. Witten,Eibe Frank

Publisher: N.A

ISBN: 9783446215337

Category:

Page: 386

View: 4320

Hadoop Application Architectures

Designing Real-World Big Data Applications

Author: Mark Grover,Ted Malaska,Jonathan Seidman,Gwen Shapira

Publisher: "O'Reilly Media, Inc."

ISBN: 1491900059

Category: Computers

Page: 400

View: 4741

Get expert guidance on architecting end-to-end data management solutions with Apache Hadoop. While many sources explain how to use various components in the Hadoop ecosystem, this practical book takes you through architectural considerations necessary to tie those components together into a complete tailored application, based on your particular use case. To reinforce those lessons, the book’s second section provides detailed examples of architectures used in some of the most commonly found Hadoop applications. Whether you’re designing a new Hadoop application, or planning to integrate Hadoop into your existing data infrastructure, Hadoop Application Architectures will skillfully guide you through the process. This book covers: Factors to consider when using Hadoop to store and model data Best practices for moving data in and out of the system Data processing frameworks, including MapReduce, Spark, and Hive Common Hadoop processing patterns, such as removing duplicate records and using windowing analytics Giraph, GraphX, and other tools for large graph processing on Hadoop Using workflow orchestration and scheduling tools such as Apache Oozie Near-real-time stream processing with Apache Storm, Apache Spark Streaming, and Apache Flume Architecture examples for clickstream analysis, fraud detection, and data warehousing

Entwurfsmuster

Elemente wiederverwendbarer objektorientierter Software

Author: N.A

Publisher: Pearson Deutschland GmbH

ISBN: 9783827328243

Category:

Page: 479

View: 3667

Java in a nutshell

deutsche Ausgabe für Java 1.4

Author: David Flanagan

Publisher: O'Reilly Germany

ISBN: 9783897213326

Category: Java (Computer program language)

Page: 1084

View: 3599