Unserere Arbeit über die Evaluation von Fuzzern wurde auf dem 26th European Symposium on Research in Computer Security (ESORICS) 2021 angenommen. In unserer Forschungsarbeit My Fuzzer Beats Them All! Developing a Framework for Fair Evaluation and Comparison of Fuzzers (David Paaßen, Sebastian Surminski, Michael Rodler, Lucas Davi) stellen wir unser eigenes Setup zur Evaluierung von Fuzzern vor.

Fuzzer werden sehr erfolgreich dazu genutzt automatisiert Fehler und Sicherheitslücken in Programmen zu finden. Viele Forschungsprojekte beschäftigen sich daher damit, Fuzzer zu verbessern und zu testen. Jedoch ist es alles andere als trivial unterschiedliche Fuzzer miteinander zu vergleichen. Aktuelle Forschungsarbeiten nutzen viele unterschiedliche Methoden und befolgen dabei nicht immer vollumfänglich existierende Empfehlungen.

Unsere Arbeit überprüft systematisch welchen Einfluss unterschiedliche Parameter auf die Evaluation von Fuzzern haben. Dazu haben wir Experimente mit einer Laufzeit von über 280 Tausend CPU-Stunden durchgeführt. So konnten wir unter anderem zeigen, dass die Nutzung unterschiedlicher Testprogramme einen entscheidenen Einfluss auf die Ergebnisse hat. Um zukünftige Forschungsarbeiten zu unterstützen und weitere Forschung im selben Themenbereich zu ermöglichen, veröffentlichen wir unser Evaluations-Framework SENF (Statistical EvaluatioN of Fuzzers) und alle dazugehörigen Datensätze auf Github. Eine Vorabversion des ESORICS Papers ist bereits auf arXiv verfügbar.