United They Stand: Findings from an Escalation Prediction Competition

This article presents results and lessons learned from a prediction competition organized by ViEWS to improve collective scientific knowledge on forecasting (de-)escalation in Africa. The competition call asked participants to forecast changes in state-based violence for the true future (October 2020-March 2021) as well as for a held-out test partition. An external scoring committee, independent from both the organizers and participants, was formed to evaluate the models based on both qualitative and quantitative criteria, including performance, novelty, uniqueness, and replicability. All models contributed to advance the research frontier by providing novel methodological or theoretical insight, including new data, or adopting innovative model specifications. While we discuss several facets of the competition that could be improved moving forward, the collection passes an important test. When we build a simple ensemble prediction model-which draws on the unique insights of each contribution to differing degrees-we can measure an improvement in the prediction from the group, over and above what the average individual model can achieve. This wisdom of the crowd effect suggests that future competitions that build on both the successes and failures of ours, can contribute to scientific knowledge by incentivizing diverse contributions as well as focusing a group's attention on a common problem. Este articulo presenta los resultados y las ensenanzas extraidas en el marco de un certamen de prediccion organizado por los responsables del proyecto Sistema de Alerta Temprana de Violencia (Violence Early-Warning System, ViEWS) con el proposito de mejorar los conocimientos cientificos colectivos sobre la prevision de la (des)escalada en el continente africano. En el certamen se pidio a los participantes que desarrollaran una prevision con respecto a los cambios en la violencia estatal para el futuro real (de octubre de 2020 a marzo de 2021), asi como para una muestra de prueba que se mantendria. Se formo un comite de calificacion externo, independiente tanto de los organizadores como de los participantes, para evaluar los modelos en funcion de criterios cualitativos y cuantitativos, como el rendimiento, la novedad, la singularidad y la replicabilidad. Todos los modelos contribuyeron a avanzar en la frontera de la investigacion mediante el aporte de nuevos conocimientos metodologicos o teoricos, la inclusion de nuevos datos o la adopcion de especificaciones innovadoras del modelo. Aunque se debario sobre varios aspectos del certamen que podrian mejorarse de cara al futuro, lo que se recopilo paso una prueba importante. Cuando se construye un simple modelo de prediccion de conjunto, que se basa en los conocimientos unicos de cada contribucion en diferentes grados, se puede medir una mejora en la prediccion del grupo, por encima de lo que el modelo individual promedio puede lograr. Este efecto de la sabiduria de la multitud sugiere que los futuros certamenes que se basen tanto en los exitos como en los fracasos propios, pueden contribuir al conocimiento cientifico incentivando diversas contribuciones, asi como centrando la atencion de un grupo en un problema comun. Cet article presente les resultats et les enseignements tires d'un concours de prediction organise par ViEWS (Violence early-warning system, systeme d'alerte precoce sur la violence) pour ameliorer nos connaissances scientifiques collectives en prevision de la (des)escalade de la violence sur le continent africain. L'appel a concours demandait aux participants de prevoir les evolutions de la violence etatique pour le futur reel (octobre 2020-mars 2021) ainsi que pour une partition test retenue. Un comite de notation externe, independant a la fois des organisateurs et des participants, a ete constitue pour evaluer les modeles a la fois sur des criteres qualitatifs et quantitatifs, notamment sur leurs performances, leur nouveaute, leur unicite et leur reproductibilite. Tous les modeles ont contribue a faire avancer la frontiere des recherches en apportant un eclairage methodologique ou theorique inedit, en incluant de nouvelles donnees ou en adoptant des caracteristiques de modele innovantes. Bien que nous abordions plusieurs facettes du concours qui pourraient etre ameliorees en allant de l'avant, l'ensemble de modeles a reussi un test important. Lorsque nous concevons un modele de prediction par ensemble simple - qui s'appuie sur les renseignements uniques de chaque contribution aux differents degres -, nous pouvons mesurer une amelioration de la prediction du groupe par rapport a ce que le modele individuel moyen permet d'obtenir. Cet effet de sagesse de la foule suggere que les futurs concours, qui s'appuieront a la fois sur les reussites et les echecs du notre, pourront contribuer aux connaissances scientifiques en encourageant des contributions diverses et en concentrant l'attention d'un groupe sur un probleme commun.