>b's weblog

Deep Neural Networks (DNNs) are known to make highly overconfident predictions on Out-of-Distribution data. Recent research has shown that uncertainty-aware models, such as, Bayesian Neural Network (BNNs) and Deep Ensembles, are less susceptible to this issue. However research in this area has been largely confined to the big data setting. In this work, we show that even state-of-the-art BNNs and Ensemble models tend to make overconfident predictions when the amount of training data is insufficient. This is especially concerning for emerging applications in physical sciences and healthcare where over-confident and inaccurate predictions can lead to disastrous consequences. To address the issue of accurate uncertainty (or confidence) estimation in the small-data regime, we propose a probabilistic generalization of the popular sample-efficient non-parametric kNN approach. We demonstrate the usefulness of the proposed approach on a real-world application of COVID-19 diagnosis from chest X-Rays by (a) highlighting surprising failures of existing techniques, and (b) achieving superior uncertainty quantification as compared to state-of-the-art.

Deep Neural Networks (DNNs) sind dafür bekannt, dass sie äußerst übertrieben zuversichtliche Vorhersagen zu Out-of-Distribution-Daten machen. Jüngste Forschungen haben gezeigt, dass Modelle, die sich der Unsicherheit bewusst sind, wie z.B. Bayesian Neural Network (BNNs) und Deep Ensembles, weniger anfällig für dieses Problem sind. Allerdings hat sich die Forschung in diesem Bereich weitgehend auf den großen Datenbestand beschränkt. In dieser Arbeit zeigen wir, dass selbst hochmoderne BNNs und Ensemble-Modelle dazu neigen, zu zuversichtliche Vorhersagen zu machen, wenn die Menge der Trainingsdaten nicht ausreicht. Dies gilt insbesondere für neu aufkommende Anwendungen in den Naturwissenschaften und im Gesundheitswesen, wo zu zuversichtliche und ungenaue Vorhersagen zu katastrophalen Folgen führen können. Um das Problem der genauen Schätzung der Unsicherheit (oder des Vertrauens) bei der Schätzung kleiner Datenmengen anzugehen, schlagen wir eine probabilistische Verallgemeinerung des populären stichprobeneffizienten nichtparametrischen kNN-Ansatzes vor. Wir demonstrieren die Nützlichkeit des vorgeschlagenen Ansatzes für eine reale Anwendung der COVID-19-Diagnose anhand von Thorax-Röntgenbildern, indem wir (a) überraschende Misserfolge bestehender Techniken aufzeigen und (b) eine überlegene Unsicherheitsquantifizierung im Vergleich zum Stand der Technik erreichen.

Das Paper gibt's hier.