Personalisiertes Ranking von Stellenanzeigen mithilfe eines Retrieval-Augmented-Generation-Systems im Kontext von Online-Jobplattformen

Der heutige Arbeitsmarkt wird zunehmend von Online-Jobplattformen geprägt, die von Unternehmen und Jobsuchenden genutzt werden. Dabei versuchen Online-Jobplattformen auf Basis vordefinierter Filter passende Stellenausschreibungen für den Benutzer zu empfehlen und erheben dabei nur generalisiert die Qualifikationen und Bedürfnisse des jeweiligen Benutzers. Forschungsergebnisse aufbauend auf großen Sprachmodellen zeigen neue Möglichkeiten für Empfehlungssysteme und konversationsbasierte Empfehlungssysteme auf, welche einen Mehrwert in Bezug auf die Personalisierung von Empfehlungen aufzeigen.

Ein konversationsbasiertes Jobempfehlungssystem auf Basis eines RAG-Ansatz kann durch die erweiterte Möglichkeit der Personalisierung im Kontext von Online-Jobplattformen einen Mehrwert erzielen. Darauf aufbauend beschäftigt sich die folgende Arbeit mit der Forschungsfrage: „Inwieweit kann ein konversationsbasiertes Retrieval-Augmented-Generation-System (RAG-System) in Online-Jobplattformen angewendet werden, um eine personalisierte Reihung von Stellenanzeigen zu generieren?“

Ziel der Arbeit ist es, mithilfe einer prototypischen Implementierung eines konversationsbasierten Retrieval-Augmented-Generation-Systems dessen Empfehlungsqualität und Nutzbarkeit zu evaluieren. Dazu wird eine experimentelle Evaluierung in einer Testumgebung im Kontext von Online-Jobplattformen durchgeführt.

Bei der Erhebung der Empfehlungsqualität des Prototyps wurde ein Vergleich mit anderen Empfehlungsstrategien durchgeführt. Dabei wurden Empfehlungsstrategien gewählt, welche auf Basis textueller Benutzerinformationen personalisiert Stellenausschreibungen empfehlen und in Online-Jobplatt-formen angewendet werden. Es konnte dabei festgestellt werden, dass ein Graph-RAG-Ansatz mit anschließendem Re-Ranking-Verfahren in Bezug auf die Empfehlungsqualität auf Basis der ersten fünf Empfehlungen die besten Ergebnisse im Vergleich mit termbasierten Ansätzen (BMD25, Volltextsuche) und vektorbasierten Ansätze (FAISS, RAG) liefert. Dabei wurden die ersten fünf Empfehlungen betrachtet, weil in konversationsbasierten Empfehlungssystemen nur eine limitierte Anzahl von Empfehlungen dargestellt werden kann und im Prototyp nur fünf Empfehlungen an der Benutzerstelle darstellbar sind. Der Graph-RAG-Ansatz mit anschließendem Re-Ranking erzielte auf Basis der erstellten Ground-Truth-Daten in der Testumgebung eine Precision@5-Wert von 0,6 und einen NDCG@5-Wert von 0,673. Ergebnisse in Bezug auf die Nutzbarkeit wurden mithilfe einer Benutzerstudie und einer vorgelagerten Pilotstudie erhoben. Die Umfrageergebnisse zeigten, dass die Strategie der Benutzerführung einen Einfluss auf die Qualität der erstellten Benutzerprofile hat und ein geführter Prozess für die initiale Profilbildung einen Mehrwert aufweist. Weiters konnte aufgrund der Ergebnisse aufgezeigt werden, dass auf Basis der Testumgebung ein Mehrwert durch den Einsatz des Prototyps in Bezug auf die Herausforderungen in Jobempfehlungssystemen generiert werden konnte.

Die Ergebnisse dieser Arbeit zeigen, dass ein konversationsbasiertes RAG-System als Empfehlungs-strategie einen Mehrwert für Online-Jobplattformen in Bezug auf personalisierte Empfehlungen bieten kann. Die Erkenntnisse sollen als Grundlage für weitere Forschungen in diesem Bereich dienen.

Today's labour market is increasingly characterised by online job platforms on which companies and job seekers search for suitable matches. Online job platforms try to recommend suitable job advertisements for the user on the basis of predefined filters and only collect generalised information on the qualifications and needs of the respective user. Research results based on large language models show new possibilities for recommendation systems and conversation-based recommendation systems, which show added value with regard to the personalisation of recommendations.

A conversation-based job recommendation system based on a RAG approach can generate added value through the extended possibility of personalisation in the context of online job platforms. Building on this, the following thesis deals with the research question: “To what extent can a conversation-based retrieval augmented generation system (RAG system) be used in online job platforms to generate a personalised ranking of job advertisements?”

The aim of the thesis is to analyse the quality and usability of a conversation-based Retrieval Augmented Generation system with the help of a prototype implementation. For this purpose, an experimental evaluation is carried out in a test environment in the context of online job platforms.

When analysing the recommendation quality of the prototype, a comparison was made with other recommendation strategies. Recommendation strategies were selected that recommend personalised job advertisements based on textual user information and are used in online job platforms. It was found that a graph RAG approach with a subsequent re-ranking process delivers the best results in terms of recommendation quality based on the first five recommendations in comparison with term-based approaches (BMD25, fulltext search) and vector-based approaches (FAISS, RAG). The first five recommendations were considered because only a limited number of recommendations can be displayed in conversation-based recommendation systems and only five recommendations can be displayed at the user interface in the prototype. The graph RAG approach with subsequent re-ranking achieved a Precision@5 value of 0.6 and an NDCG@5 value of 0.673 based on the ground truth data generated in the test environment. Results in terms of usability were collected with the help of a user study and an upstream pilot study. The survey results showed that the user guidance strategy has an influence on the quality of the user profiles created and that a guided process for initial profile creation has added value. Furthermore, the results showed that, based on the test environment, added value could be generated through the use of the prototype in relation to the challenges in job recommendation systems.

The results of this thesis represent that a conversation-based RAG system as a recommendation strategy can offer added value for online job platforms in terms of personalised recommendations. This thesis should be seen as a basis for further research.