Tony Thorne war einer der Offiziere des Apollo-Projekts und beriet das Team bei der Aufgabe, große Datenmengen zusammenzuführen. Thorne, ein ehemaliger Anti-Terror-Beamter der Wales Extremism and Counter Terrorism Unit, sagte, er sei schockiert über das, was er in Schottland gesehen habe. „Wir haben Schottland mit einem Prozess verlassen, der in keiner Weise vollständig oder angemessen war“, sagte er.
Die wichtigsten Probleme, die während des Testlaufs hervorgehoben wurden, tauchten laut E-Mails und internen Memos aus den Jahren 2014 und 2015, die von BuzzFeed News überprüft wurden, sofort wieder auf.
Beamte beschrieben ein System, das „routinemäßig abstürzte“ und „nach 10 Minuten abbrach“, mit so schwerwiegenden Störungen, dass sie „die für die Ausführung einer einfachen Aufgabe erforderliche Zeit“ dramatisch verlängerten.
Selbst einfache Suchen verursachten Probleme. Ein Beamter hatte beschrieben, wie er einen Suchbegriff eingab und ein zu breites Ergebnis erhielt. Er fing an, die Dokumente manuell zu sichten, um herauszufinden, welche er tatsächlich brauchte – aber dabei stürzte das System ab. Als er sich wieder anmeldete, tippte er dieselben Suchbegriffe ein und stellte fest, dass „das Suchergebnis nicht dasselbe war“.
Beamte, die die neuen Systeme verwendeten, berichteten auch von ernsthaften Schwierigkeiten mit genau dem Problem, das die NCIA lösen wollte: der Kommunikation mit anderen Streitkräften und Behörden. Nachdem eine verdächtige Person mit dem Flugzeug nach Großbritannien eingereist war, berichtete ein Beamter, dass sie einen wichtigen Geheimdienstbericht von Beamten am Flughafen in einem nicht lesbaren Format erhalten hatte. Ein anderer sagte einem Mitglied des Apollo-Teams, dass die Unfähigkeit der NCIA, Informationen mit den anderen Regionen auszutauschen, die noch das alte System verwenden, ein kritisches Risiko sei, das „zu einem Ausfall der Geheimdienste führen kann“.
Die Qualität der Informationen, die es in das System geschafft haben, war oft schlecht. In einigen Fällen wurde die NCIA mit irrelevanten Informationen überschwemmt; in anderen tauchten wichtige Informationen überhaupt nicht bei der NCIA auf. Ein Beamter beschwerte sich, dass das System Dokumente, die nichts mit Terrorismus zu tun hätten, „automatisch einfügt“. „Über dieses Problem wurde immer gesprochen“, schrieb der Beamte, „aber jetzt, wo wir live sind, scheint nichts mehr dagegen unternommen worden zu sein.“
Die NCIA wurde auf der Vorlage eines bereits bestehenden Systems namens Home Office Large Major Inquiry System (HOLMES) aufgebaut, sagten vier Quellen gegenüber BuzzFeed News. Das Problem, sagte einer, sei, dass HOLMES verwendet werde, um bereits aufgetretene Vorfälle zu untersuchen, während die NCIA Angriffe verhindern solle. Ein anderer Beamter sagte BuzzFeed News, dass der Aufbau der NCIA auf dem HOLMES-System Mängel verursachte, die es schwierig machten, große Mengen an Informationen zu finden.
Die Beamten wiederholten diese Bedenken in ihren E-Mails und offiziellen Berichten. Eine der Schlüsselfunktionen des HOLMES-Systems war ein Suchwerkzeug, ähnlich wie Google, das es den Beamten ermöglichen sollte, schnell Dokumente zu finden, die ein bestimmtes Wort enthielten, unabhängig davon, wo in der Akte das bestimmte Wort vorkam. Wenn es funktionierte, würde dies es viel einfacher machen, spezifische Informationen über potenzielle Terroristen aus Hunderttausenden von Dateien zu finden.
Aber die Suchfunktion funktionierte nicht. Die Beamten stellten fest, dass sie jedes Mal, wenn sie denselben Suchbegriff mehrmals eingaben, jedes Mal ein anderes Ergebnis erhielten. Das Suchtool war auch nicht in der Lage, nach Geburtsdaten zu suchen, was es viel schwieriger machte, das richtige Dokument zu finden.
Dieser Mangel ging mit einem anderen großen Problem einher. Schon früh wurde klar, dass viele doppelte Aufzeichnungen ihren Weg zur NCIA finden würden – da sie Daten von mehreren Streitkräften zusammenstellte, die oft die gleiche Akte über eine bestimmte Person besaßen. Ein interner Bericht von BuzzFeed News räumt ein, dass dies einen „Knock-on“-Effekt verursachen würde, der Analysten behinderte. Aber höhere Stellen entschieden schließlich, dass „keine Deduplizierung stattfinden würde“, bis das gesamte Vereinigte Königreich die NCIA nutzte.
Ein in Manchester ansässiger Beamter, der später anfing, die NCIA zu nutzen, sagte gegenüber BuzzFeed News, dass Duplizierungen das Finden dessen, wonach man suchte, wie „den Versuch, eine Nadel im Heuhaufen zu finden“ machten – ein solcher Kampf, dass „man wichtige nachrichtendienstliche Hinweise verpassen könnte“.
Thorne, der Anti-Terror-Detective, der für die NCIA arbeitete, wurde zunehmend besorgt. „Leider“, schrieb er in einer E-Mail vom Februar 2014 an Kollegen, „wie wir uns alle voll und ganz bewusst sind, hat die NCIA Schwierigkeiten, das zu liefern, was versprochen wurde, und war nicht zweckmäßig.“
Der Rollout der NCIA schritt voran.