Große digitale Archivprojekte, die die Vergangenheit des Internets bewahren, sind aufgrund steigender Speicherkosten in einen ernsthaften Engpass geraten. Insbesondere der enorme Datenbedarf der KI-Branche hat die weltweite Nachfrage nach Festplatten (HDDs) mit hoher Kapazität in die Höhe getrieben und die Preise auf das bis zu Dreifache ansteigen lassen. Diese Situation macht Internet-Archivierungsaktivitäten teurer und schwieriger als je zuvor.
KI-Bots stören auch die Archivierungsprozesse
Das gemeinnützige Internet Archive verwaltet einen Datenpool von etwa 210 Petabyte und benötigt allein für den Wayback Machine-Dienst täglich rund 100 Terabyte neuen Speicherplatz. Dass jedoch Festplatten mit einer Kapazität von 28 bis 30 TB entweder nicht auf dem Markt erhältlich sind oder zu extrem hohen Preisen verkauft werden, erschwert die Arbeit der Organisation. Die Wikimedia Foundation kämpft ebenfalls mit steigenden Hardwarekosten, um Millionen von Artikeln und Medieninhalten pflegen zu können.
Das Problem beschränkt sich nicht nur auf die Hardwarekosten. Da große Sprachmodelle Internetdaten aggressiv sammeln, haben viele Websites begonnen, Data-Crawling-Bots zu blockieren. Diese Blockaden betreffen jedoch auch legitime Dienste, die für Bildungs- und Archivierungszwecke arbeiten. Infolgedessen stehen Organisationen, die die Geschichte des Internets dokumentieren, unter doppeltem Druck: sowohl beim Datenzugriff als auch bei der Speicherinfrastruktur.
