PHP Magazin

PHP, JavaScript, Open Web Technologies

Amazon Elastic MapReduce mit DynamoDB nutzen

X

Alles zu Facebook Hack findet Ihr in unserer neuen Serie: What the Hack?!

Amazon Elastic MapReduce mit DynamoDB nutzen

Eric Herrmann

Im Blog der Amazon Web Services ist eine Schritt-für-Schritt Anleitung erschienen, mit der sich Elastic MapReduce (EMR) und DynamoDB miteinander verbinden lassen. Damit will Amazon auf die Kombination aus Apache Hadoop und NoSQL-Datenbanken antworten und eine Brücke zwischen den Technologien bauen.

In mehreren Schritten und mit Screenshots erklärt der Autor Jeff Barr, wie man zunächst eine DynamoDB-Tabelle anlegt und den maximal erlaubten Datendurchsatz von EMR reduzieren kann, um Zugriffe etwaiger weiterer Applikationen auf die DB nicht zu blockieren. Im zweiten Schritt verweist Barr auf die Dokumentation, die erklärt, wie man EMR und die DynamoDB sicher verbindet, Befehle ausführt oder Daten abfragt.

Im Hauptteil des Blogeintrags zeigt Barr, wie man externe Datenquellen zu einem Hive Cluster zusammenführt und anschließend auf einem Speicherdienst, in diesem Fall natürlich Amazon S3, ablegt. Die Daten lassen sich anschließend über herkömmliche SQL-Befehle in die neue DynamoDB importieren. Der Vollständigkeit halber zeigt Barr auch, wie Daten aus Dynamo abgefragt und exportiert werden, um sie aus dem "Low Latency Access" herauszunehmen, der mit DynamoDB relativ teuer ist.

Kommentare

Ihr Kommentar zum Thema

Als Gast kommentieren:

Gastkommentare werden nach redaktioneller Prüfung freigegeben (bitte Policy beachten).