Programmierblog von Johannes Dienst

Apache Spark 2.2.0: CSV-Dateien einlesen, bereinigen und erste Analysen durchführen

Posted by in Allgemein

Nachdem ich in meinem letzten Blog die Installation von Apache 2.2.0 unter Linux erklärt habe, will ich heute ein kleines Anwendungsbeispiel besprechen. Der Datensatz den ich verwende, enthält die Ergebnisse des Stackoverflow Developer Surveys 2017 im CSV-Format. Die Spark-Shell Verwendet man die Spark-Shell, dann brauchen die SparkSession und der SparkContext nicht initialisiert werden. Erstere wird in diesem Blog verwendet, um die Daten einzulesen, zu bereinigen und schließlich eine erste einfache Analyse durchzuführen. Die Frage, die ich mir gestellt habe, war: Was motiviert eigentlich Entwickler? Dazu habe ich den Fragenkatalog durchforstet…read more

0

Installation Apache Spark 2.2.0 (Linux)

Posted by in Allgemein, Grundlagen

Seit knapp einem Jahr will ich mit Apache Spark herumspielen. Bloß die richtige Spielwiese hat mir bisher gefehlt 😉 . Inzwischen habe ich sie gefunden, da ich für einen Blogpost die Ergebnisse des Stack Overflow Developer Survey 2017 analysieren wollte. In den nächsten Abschnitten beschreibe ich die Installation der im Moment aktuellsten Version 2.2.0 auf Linux. Sollte jemand unbedingt eine Anleitung für Windows benötigen, dann schreibt es in die Kommentare. Ich liefere sie gerne nach. JDK 8 installieren Zuerst gilt es, das Java 8 JDK zu installieren. Das bekommt man…read more

1

Vorbereitung eines Talks: Aufwendig!

Posted by in Allgemein, Konferenz, Vortrag

Auf Konferenzen sieht man Sprecher, die halten Ihren Talk mit einer Leichtigkeit und Selbstverständlichkeit, dass man neidisch werden kann. Seitdem ich selbst als Sprecher unterwegs bin, ist meine Bewunderung nur noch gestiegen. Das Lampenfieber packt mich auch nach zwei Jahren und unzähligen Vorträgen immer noch. Der Umgang damit wird aber leichter. Wer noch nie auf einer Konferenz gesprochen hat, erwartet als Teilnehmer sehr viel von den Sprechern. Und das zurecht, es wurde normalerweise viel Geld investiert, um Wissen vermittelt zu bekommen! In diesem Blogpost will ich kurz aufschlüsseln, wie lange…read more

0

Softwareentwicklung ist ein Kampf

Posted by in Allgemein, Rant, Softwarequalität

Hinweis: Dieser Post ist aus Frust entstanden und spiegelt meine subjektive Meinung wieder! Es gibt Tage und es gibt diese Tage. Und dann gibt es solche Tage wie heute. Eigentlich wollte ich etwas über eine weiteres kontrollflussorientiertes Testverfahren schreiben, aber wie eigentlich immer funktionierte die Installation eines Tools nicht! Das Entwicklerdilemma In den letzten Jahren saß ich wöchentlich mindestens 40 Stunden vor dem Rechner und sollte Arbeiten, Business value schaffen, wie man so schön sagt. Ich weiß nicht wie viele Stunden ich das tatsächlich getan habe. Ganz subjektiv war es…read more

0

Herbstcampus 2017: Erfahrungsbericht Tag 2

Posted by in Allgemein, Konferenz, Softwarequalität

Der Herbstcampus 2017 in Nürnberg ist für mich als gebürtigen Mittelfranken fast ein Heimspiel. Die Location ist bahnhofsnah und sehr einfach zu finden. Das Motto der Konferenz Wissenstransfer par excellence wurde tatsächlich gelebt und spiegelt sich vor allem in der Vortragslänge wieder. Ganze 70 Minuten hatte man als Vortragender Zeit sein Thema vorzustellen. Leider habe ich persönlich nur 60 Minuten geschafft. Ich hoffe aber, die vielen Fragen zufriedenstellend beantwortet zu haben. Auffallend war auch die Bandbreite an Themen, die im Angebot waren. Von reinen Entwicklerthemen wie dem Modulsystem von Java…read more

0

JAX 2017: Erfahrungsbericht (DI, MI)

Posted by in Allgemein, Konferenz

Die JAX 2017 war für mich mal wieder eine Premiere, da ich sie zum ersten Mal besuchen konnte. Die Rheingoldhalle an sich ist von außen schon beeindruckend und mit circa 1600 Teilnehmern ist es ein richtiges Event. Es gibt so viele Räume, Aussteller und Talks, dass die Zeit gar nicht ausreicht, um alles mitzunehmen. Trotz dieser Voraussetzungen ist alles wunderbar organisiert und es gibt keine Kritikpunkte (Abgesehen von zu kleinen Räumen bei vielen Talks). Ich konnte einige interessante Vorträge besuchen und es wären bestimmt mehr geworden, wäre ich manchmal nicht…read more

0

Software QS-Tag 2016

Posted by in Allgemein, Konferenz

Der Software QS-Tag 2016 in Nürnberg wird von der imbus AG organisiert und ist die größte Konferenz über Software-Qualität in Deutschland. Zum jetzigen Zeitpunkt ist es die am besten durchorganisierte Konferenz, an der ich teilnehmen und sogar sprechen durfte. Die Qualität der Beiträge ist hoch und die Sprecher sind offensichtlich erfahren. Ich fühle mich geehrt, dass ich ebenfalls etwas beitragen durfte. Location Das Sheraton Hotel ist eine exklusive Location direkt am Hauptbahnhof in Nürnberg. Die Räume sind stilvoll eingerichtet und die Mitarbeiter sind fast schon zu übereifrig 😉 . Auch…read more

0

BED-Con 2016

Posted by in Allgemein

Da bin ich also auf den Berlin Expert Days (bedcon.org) gelandet und das gleich mit zwei Vorträgen. Was für ein Erlebnis. Aber fangen wir von vorne an. Location Die Urania liegt mitten in Berlin. Man kann das KaDeWe sogar vom Eingang aus sehen. Das Gebäude scheint organisch gewachsen zu sein, denn die Gänge sind verwinkelt und den Raum für meinen ersten Vortrag hätte ich beinahe nicht gefunden 😉 . Ansonsten ist alles Top. Es gibt genug zu Essen und vor jedem Vortragsraum Kaffee und kalte Getränke. In jedem Raum sind…read more

0

Ausbilderqualifikation in Vollzeit bei der IHK Würzburg-Schweinfurt

Posted by in Allgemein

Seit Anfang April bin ich stolzer Besitzer einer Prüfungsurkunde laut AEVO. Damit bin ich qualifiziert, Fachinformatiker ausbilden zu können. Falls Interessse an einer Ausbildung besteht gehts hier zu der Seite meines Arbeitgebers MULTA MEDIO Informationssysteme AG. Wie der Unterricht und die Prüfungen abgelaufen sind, werde ich in den nächsten Absätzen beschreiben. 1. Woche Nach einem langgezogenen Papierkrieg und vielen Unterschriften wurden wir nach einer kurzen Vorstellungsrunde von unserer engagierten Dozentin Frau Münch in Gruppen aufgeteilt. Wir sind ein bunter Haufen bestehend aus einem Informatikkaufmann, einer Hotelfachfrau, einem Restaurantfachmann, einer Verwaltungskauffrau…read more

0

Clean Code mit PHP: Geht das?

Posted by in Allgemein

Der aufmerksame Leser wird festgestellt haben, dass ich nun schon seit längerem im zweiten Grad der Clean-Code-Developer Initiative verweile. Der erste Grund ist der, dass ich erst seit 3 Wochen wieder Vollzeitprogrammierer bin. Vorher war ich mit Continuous Integration beschäftigt, das vielleicht auch noch einen Artikel wert ist. Jetzt aber zurück zum eigentlichen Grund meines langen Verweilens im orangenen Grad: PHP. Im Moment integriere ich eine Reihe von Shortcodes in WordPress um mit Motopress anschließend Seiten zusammenklicken zu können. Dabei habe ich nicht nur oberflächlich mit PHP zu tun, sondern…read more

0