FOR POLISH SEE BELOW
The data collection contains selected evidence from the quantitative workpackage of the research project Information technologies in public policy. Critical analysis of the profiling the unemployed in Poland. The project received funding from the National Science Centre (2016/23/B/HS5/00889) and was based at the Faculty of Philosophy and Sociology (now Faculty of Sociology) of University of Warsaw. The research team, led by Dr Karolina Sztandar-Sztanderska, included Dr Michał Kotnarowski, Dr Marianna Zieleńska, Alicja Palęcka, Dr Barbara Godlewska-Bujok, Dr Jędrzej Niklas, Dr Joanna Mazur. The quantitative research was carried out by the Dyspersja company: Anna Chrościcka, Tomasz Płachecki, Mikołaj Bendyk. The works on questionnaire were led by Karolina Sztandar-Sztanderska with a significant input by Michał Kotnarowski, Alicja Palęcka and the Dyspersja company. The sampling method was designed by Michał Kotnarowski.
Additionaly, we make available the results of a bivariate analysis based on this dataset, performed within the project AUTO-WELF: Automating Welfare - Algorithmic Infrastructures for Human Flourishing in Europe at Institute of Philosophy and Sociology of Polish Academy of Sciences (IFiS PAN). AUTO-WELF project is supported by National Science Centre, Poland (grant no. 2021/03/Y/HS5/00263) under CHANSE ERA-NET Co-fund programme, which has received funding from the European Union’s Horizon 2020 Research and Innovation Programme, under Grant Agreement no 101004509. The analysis was designed by Dr Karolina Sztandar-Sztanderska and performed by Dr Tomasz Żółtak.
PROJECT DESCRIPTION
The contemporary state relies increasingly on information technologies (IT) that automate decision-making. Public institutions collect data on many aspects of our lives, such as paid work, family life, or health conditions. IT enables the processing of that information on a scale not encountered before. As a result, automated decision-making systems (ADM) have become an inherent part of the policy-making process and are often believed to be scientific as they use statistical models and algorithms that are difficult for the general public to understand. No matter how sophisticated IT appears to be, the automation of the state also entails risks, which we have tried to point out in this project by analyzing a specific example of IT that was applied in the Polish public employment services (PES, in Polish: powiatowe urzędy pracy) between 2014–2019 to measure the 'employability' of unemployed people and inform decision-making on the distribution of active labour market policies by the PES.
The aim of the project was to obtain empirically grounded knowledge on the development process of the profiling algorithm, the principles of its operation (Sztandar-Sztanderska, Kotnarowski, Zieleńska 2021), values and norms underlying it (Sztandar-Sztanderska, Zieleńska 2020) and the ways in which it was used in administrative practice by frontline staff in the PES (Sztandar-Sztanderska, Zieleńska 2018, 2022; Palęcka, Sztandar-Sztanderska 2024), and the ways in which it was assessed by state control bodies (e.g. the ombudsman, audit office, data protection authority). The results of this research provided insights into the new risks emerging from the use of automated decision-making systems in public policy concerning democracy, rule of law and social and labour rights (Godlewska-Bujok 2020, 2021) .
The research was interdisciplinary, conducted by sociologists and legal scholars, combining qualitative and quantitative methods and taking into account the perspectives of different actors implicated in algorithmic profiling. In the work package concerning the development of the profiling algorithm, we conducted an analysis of regulations and formal documents (see open data repository: https://doi.org/10.18150/PRGRH1), as well as individual in-depth interviews with actors involved in the design of the algorithm and the legislative process, and with representatives of state control bodies that could assess the compliance of IT with the law. We also analysed the algorithm itself and the statistical model, comparing them with profiling models used in other countries (Sztandar-Sztanderska, Kotnarowski, Zieleńska 2021). Finally, we conducted in-depth case studies in four selected local PES (Sztandar-Sztanderska, Zieleńska 2018, 2022; Palęcka, Sztandar-Sztanderska 2024) and a representative quantitative survey of PES employees that we publish in this open data repository.
In PADS open data repository we make available:
- the data set from CAWI/CATI representative survey conducted in 190 PES (in Polish)
- the codebook containing: basic information concerning survey (in Polish), survey (in English and Polish), descriptive statistics
- results of bivariate analysis on the caseworkers oversight over profiling algorithm (in English and Polish).
TECHNOLOGIE INFORMACYJNE W POLITYCE PUBLICZNEJ. KRYTYCZNA ANALIZOWANIA PROFILOWANIA BEZROBOTNYCH W POLSCE
Zbiór zawiera wybrane materiały z ilościowego modułu projektu badawczego Technologie informacyjne w polityce publicznej. Krytyczna analiza profilowania bezrobotnych. Projekt uzyskał finansowanie Narodowego Centrum Nauki (2016/23/B/HS5/00889) i był realizowany na Uniwersytecie Warszawskim na Wydziale Filozofii i Socjologii (obecnie Wydział Socjologii). Zespół badawczy, kierowany przez dr Karolinę Sztandar-Sztanderską, współtworzyli: dr Marianna Zieleńska, dr Michał Kotnarowski, Alicja Palęcka, dr Jędrzej Niklas, dr Barbara Godlewska-Bujok, dr Joanna Mazur. Badanie ilościowe realizowała firma Dyspersja: Anna Chrościcka (kier.), Tomasz Płachecki (kier.), Mikołaj Bendyk. Pracami nad kwestionariuszem kierowała Karolina Sztandar-Sztanderska, a wkład w kwestionariusz mieli też Michał Kotnarowski, Alicja Palęcka i firma Dyspersja. Dobór próby zaprojektował Michał Kotnarowski.
Jako oddzielny plik udostępniamy powiązane ze zbiorem danych wyniki analizy dwuzmiennowej wykonanej w ramach projektu AUTO-WELF: Automatyzacja polityk społecznych - infrastruktury algorytmiczne na rzecz dobrobytu w Europie w Instytucie Filozofii i Socjologii Polskiej Akademii Nauk. Analiza została zaprojektowana przez dr Karolinę Sztandar-Sztanderską i wykonana przez dr Tomasza Żółtaka.
Opis projektu
Współczesne państwo coraz częściej wykorzystuje nowoczesne technologie informacyjne (IT) do automatyzowania procesu podejmowania decyzji. Instytucje publiczne gromadzą dane o wielu wymiarach naszego życia, a IT pozwalają przetwarzać te informacje na niespotykaną wcześniej skalę. IT są wykorzystywane przy projektowaniu polityki publicznej w oparciu o – zdawałoby się – naukowe przesłanki i metody. Z cyfryzacją państwa i automatyzacją wiążą się jednak zagrożenia, które w tym projekcie staraliśmy się uchwycić, analizując specyficzny przypadek algorytmu profilowania bezrobotnych używanego w latach 2014 -2019 do pomiaru potencjału zatrudnieniowego osób bezrobotnych i wspomagania decyzji dotyczących dystrybucji aktywnych programów rynku pracy w powiatowych urzędach pracy (PUP).
Podstawowym celem projektu było uzyskanie ugruntowanej empirycznie wiedzy o procesie tworzenia algorytmu profilowania, zasadach jego działania oraz sposobach wykorzystania w praktyce administracyjnej, a także działaniach podejmowanych przez państwowe organy kontrolne. Wyniki tego badania pozwoliły uwidocznić szereg wyzwań, jakie dla demokratycznego państwa prawa niesie wykorzystanie tego rodzaju IT w polityce publicznej.
Projekt miał charakter interdyscyplinarny, łączył podejście socjologiczne z prawnym, oraz jakościowe i ilościowe metody badawcze, a także uwzględniał perspektywę różnych aktorów. W części dotyczącej procesu tworzenia algorytmu profilowania przeprowadziliśmy analizę przepisów i dokumentów formalnych (dostępnych w innym repozytorium https://doi.org/10.18150/PRGRH1) oraz indywidualne wywiady pogłębione z aktorami zaangażowanymi w projektowanie instrumentu i proces legislacyjny oraz przedstawicielami instytucji publicznych, które mogłyby dokonywać oceny zgodności zasad działania IT z prawem (NIK, RPO, GIODO). Analizie poddaliśmy też samą technologię oraz procedury statystyczne, porównując polski wariant profilowania z modelami stosowanymi za granicą (Sztandar-Sztanderska, Kotnarowski, Zieleńska 2021). W ostatniej części przeprowadziliśmy pogłębione studia przypadku w czterech celowo dobranych powiatach oraz reprezentatywne badanie ilościowe z pracownikami PUP, którego wyniki publikujemy w tym zbiorze danych.
Zbiór danych
W Polskim Archiwum Danych Społecznych (PADS) udostępniamy następujące materiały pochodzące z reprezentatywnego badania ilościowego urzędów pracy:
- baza danych, plik SPSS .sav (w wersji polskiej)
- dokumentacja badania, zawierająca m.in. podstawowe informacje na temat badania ilościowego, ankietę (w wersji polskiej i w tłumaczeniu na angielski), rozkłady liczebności i częstości, statystyki deskryptywne
- wyniki analizy dwuzmiennowej dotyczące czynników wpływających na sprawowanie nadzoru pracowników PUP nad generowanymi przez algorytm wynikami profilowania (tzw. human oversight over ADM, human in the loop) (w wersji polskiej i w tłumaczeniu na angielski)
