Anbindung einer Logging-Komponente an die STELLA-Infrastruktur
Im Rahmen des “STELLA - Infrastructures for Living Labs”-Projekts entwickelt die Arbeitsgruppe eine Infrastruktur zur Auswertung verschiedener Retrieval- und Recommender-Systeme. Schwerpunktmäßig soll hierbei die Evaluation der einzelnen Systeme auf Basis von realem Nutzerfeedback im Sinne des “Living lab”-Paradigmas erfolgen. Hierfür ist es notwendig, verschiedene Suchmaschinenanbieter an die Infrastruktur anzuknüpfen und die vorhandenen Suchalgorithmen mit experimentellen Systemen zu vergleichen. Diese experimentellen Systeme sollen von verschiedenen Forschergruppen (Teilnehmern) beigesteuert werden.
Eine hohe Bedeutung haben hierbei die Benutzerinteraktionen, die erfasst und anschließend zur Auswertung der experimentellen Systeme genutzt werden. Anders als bei den üblichen system-orientierten Auswertungen, die auf sorgsam erstellten Testkollektionen beruhen, können in Living Labs beispielsweise Relevanzschätzungen der Ergebnisse anhand von Klicks oder anderen Benutzerinteraktionen vorgenommen werden.
Um die Infrastruktur an bestehende Suchoberflächen anzuknüpfen, ist es deshalb notwendig eine Logging-Komponente zu implementieren. Kürzlich wurden zahlreiche solcher Logging-Werkzeuge auf internationalen Konferenzen wie ECIR und SIGIR vorgestellt. Ziel dieser Arbeit soll es sein, diese Logging-Frameworks systematisch miteinander zu vergleichen, d.h. deren Funktionalitäten, Einsatzmöglichkeiten usw. auswerten und mindestens eines von diesen in die STELLA-Infrastruktur zu integrieren und dies anhand einer Demo-Anwendung zu illustrieren.
Relevante Literatur und Links
Living Lab Infrastruktur
Logging Tools
Anforderungen
- Gute Kentnisse der Webprogrammierung (insbesondere Javascript und aktuelle Frameworks)
- Grundkenntnisse von Git, Python, Docker und Unix-basierten Betriebssystemen
- Interesse an der Auswertung von (Interaktiven) Information Retrieval Experimenten