Evolutionary Algorithms for Strategic Card Games

In this work, we deal with the scenario, where the fitness function is non-deterministic, and moreover its value, even for a given problem instance, is impossible to calculate exactly and can only be estimated. Such a situation occurs in popular strategy card games (e.g., Hearthstone, TES: Legends), during the ”arena” game mode, where before the match, a player has to construct his deck, choosing his cards one by one from the previously unknown options. We evolve a card-choice strategy for the programming game Legends of Code and Magic that learns to make a successful choice regardless of the available options, calculating the fitness value is estimated via the simulation-based method. We investigate the performances of various approaches and propose a variant of the evolutionary algorithm that uses a concept of an ”active gene” to reduce the range of the operators only to generation-specific subsequences of the genotype. Performed experiments show the behavior of this type of algorithms, and points out the variants that tend to learn faster and produce statistically better strategies. W tej pracy rozpatrujemy przypadek niedeterministycznej funkcji celu, której wartość, nawet w pojedynczym przypadku, jest nieobliczalna i może być tylko szacowana. Takie sytuacje mają miejsce w popularnych strategicznych grach karcianych (np. Hearthstone, TES: Legends) w trybie gry zwanym „areną”, gdzie przed meczem gracz musi ułożyć swoją talię, wybierając karty po jednej z nieznanych mu wcześniej propozycji. Ewoluujemy strategię wyboru kart dla programistycznej gry Legends of Code and Magic w celu wyboru najlepszej, niezależnie od możliwych wyborów, poprzez estymowanie funkcji celu metodą symulacji. Analizujemy wyniki różnych podejść i proponujemy wariant algorytmu ewolucyjnego, który wykorzystuje koncepcję „aktywnego genu” w celu zmniejszenia zakresu operatorów do zależnych od generacji fragmentów genotypu. Wykonane eksperymenty ukazują zachowanie tego typów algorytmów i wskazują, które warianty uczą się szybciej i prowadzą do statystycznie lepszych strategii.