Erfahrungsbericht Giga-Data Munging: Perl als DB-Controller

By Ralf Neubauer
Datum: Dienstag März 6, 2012 13:00
Dauer: 40 Minuten
Language: Deutsch
Tags: abhangigkeitsgraph codegenerierung datenbanken make server side sql

Mehr Informationen gibt es auf der Seite des/der Vortragenden:


Zu den Kernkompetenzen von Perl gehört schon lange das Data Munging,
insbesondere das Erzeugen von Reports aus großen Datenmengen auf
Grundlage vielfältiger Parameter und Regeln. Etwas mehr als die
Kernkompetenzen braucht es aber, falls lange Builds über eine (DB-)Woche
dauern oder eine Regelgruppe von 40 auf 2.000.000 Regeln steigt.

Ist dieses "etwas mehr" der Re-Use von - DB-internen - Zwischen- und
Endprodukten, liegt eine "Duck-deterministische Lazy Production" nahe,
d.h. eine Art "make" für DB-Tabellen.

Wegen der hohen "Zeitstrafen" für unnötiges Bauen und der vielen
"Moving Targets" der Ausgangslage ist einfaches aber wasserdichtes
Vorgehen essentiell: Z.B. erfolgt ("wasserdicht") eine vollständige
Analyse des Dependency-Graphs, um entscheiden zu können, was neu
gebaut werden muss und was wiederverwendet werden kann. Oder ("einfach")
es finden Code-Gens für die primäre Ausführungsumgebung DB aus Fast-SQL-Strings
statt, die die Dependencies als einfach zu parsende Tokens enthalten.

Da der eingesetzte Produktionscode "Closed Source" ist (und extern auch
wenig nützen würde), werden im Vortrag zentrale Ideen dadurch illustriert,
dass (in aufbauenden Schritten) Proof-of-Concept-Code "entsteht", der
sich in einem Dummy-Setting beweisen darf.


Attended by: Jan Hartung (‎Egga‎), Renee Bäcker (‎reneeb‎), Wolfgang Radke, Alexander Becker, Uwe Voelker (‎Perl-Uwe.com‎), Steffen Ullrich, Boris Däppen (‎borisd‎), Bruno Escherl, Tomasz Czepiel (‎tjmc‎),