El domingo 21 de febrero de 2021, Manutan, un gran distribuidor de equipos de oficina, descubrió que dos tercios de sus 1.200 servidores habían sucumbido a un ciberataque del equipo de ransomware DoppelPaymer.
La actividad comercial de la empresa con sede en Francia, que tiene 25 filiales repartidas por Europa, se congelaría durante 10 días y no se reanudaría por completo hasta mayo. Esto ahora ha llevado a una revisión total de sus sistemas de TI, que comenzó en septiembre y se prevé que demore 18 meses.
Manutan no puede revelar la magnitud de las pérdidas económicas que sufrió en el ciberataque, y cuando se le hizo esa pregunta exacta, Jérôme Marchandiau, director de operaciones de TI del grupo, dice que el impacto más profundo fue en los propios empleados.
“El impacto psicológico es lo más terrible: nada funciona”, dice. “Es como si hubiera habido un incendio, pero sin la destrucción de ninguna propiedad física. Es incomprensible: 2.400 personas se encontraron incapaces de trabajar durante la noche, sin saber cuándo regresarán al trabajo o incluso si regresarán.
“Cuando te sometes a un ataque de este tipo por parte de un enemigo invisible, te paraliza la idea de no saber de dónde vendrá el próximo golpe, por lo que en realidad no se lo dices a nadie. Simplemente pida a su personal que espere ”, dice.
Nos encontramos a principios de noviembre en un restaurante de los suburbios de París, lejos del bullicio de la ciudad. Marchandiau cree que ha llegado el momento de contar la historia de cómo Microsoft dejó caer la pelota, cómo Rubrik intervino para salvar su tocino, cómo y por qué Manutan decidió resistir el intento de chantaje de la pandilla y cómo tuvo que reconstruir quirúrgicamente todos sus elementos. ESO.
Acumulando pavor
“Era un domingo por la mañana”, dice Marchandiau. “El gerente de servicios generales me llamó a las 8:30 am porque los sistemas de credenciales ya no funcionaban. Fue un incidente que pudo impedir el acceso a nuestras instalaciones, pero no hasta el lunes. Bien, esperé a ver cómo evolucionaba la situación.
“A las 10 am, recibí otra llamada telefónica de un desarrollador, que me llamó para contarme algo extraño: ya no podía acceder a un servidor en particular. Eso es extraño. Diez minutos después, otro desarrollador llamó con un problema similar. Fue entonces cuando pensé para mí mismo que algo estaba pasando “.
Marchandiau llamó a su gerente de sistemas, quien miró primero la curva de entrada-salida en los racks de servidores y luego los registros del sistema de respaldo. Tuvieron ‘suerte’: algo andaba mal tanto con el acceso a las bahías de la máquina como con las alertas del sistema de respaldo.
“Por lo tanto, lanzamos encuestas en nuestras máquinas. Esto tardó hasta el lunes por la mañana. Poco a poco, nos dimos cuenta de que todos nuestros servidores de Windows estaban bloqueados por cifrado y, con ellos, los arreglos de Pure Storage que estaban usando. De nuestros 1200 servidores, solo los 400 servidores Linux y Unix estaban intactos, así como los pocos servidores muy antiguos que aún funcionaban con Windows 2000 y 2003 ”.
En ese momento, solo los sitios web de comercio electrónico de Manutan seguían funcionando. “Podríamos seguir vendiendo, pero no pudimos cobrar los pedidos porque las aplicaciones ya no respondían”, dice Marchandiau. “En este caso, sus servidores solo hicieron una cosa: mostrar una pantalla azul. Arriba estaba escrito una demanda de rescate, no sabíamos cuánto, y cómo contactar a los delincuentes “.
Marchandiau y su administrador de sistemas se pusieron manos a la obra para cerrar todo para evitar que el malware se propague más. Además de los servidores restantes que no se vieron afectados, apagaron las puertas de enlace de la red y deshabilitaron las comunicaciones con las subsidiarias, pero el daño ya estaba hecho.
“¡Que irónico! Tenemos dos centros de datos para redundancia, pero en esta situación no tenía sentido; desde que trabajaban juntos, su sincronización solo había servido para contaminarse unos a otros ”, agrega.
Dejado por Microsoft
Un equipo de crisis se puso en pie rápidamente, en medio de un creciente aire de paranoia. ¿Y si el ataque venía desde adentro? ¿Qué pasa si un empleado empeora las cosas por torpeza? Decidieron que hasta nuevo aviso nadie puede tocar los sistemas de información e informar al personal solo de las acciones tomadas y el alcance del daño, con la excepción del comité ejecutivo, Marchandiau y el gerente de seguridad. La prioridad más urgente es pedir ayuda.
“El lunes temprano, llamamos a Microsoft porque teníamos un contrato de soporte Premium con ellos”. Marchandiau se pone visiblemente tenso. “¡No estaban a la altura del trabajo!”
“Era el 22 de febreroDakota del Norte y descubrimos que nuestro contrato de soporte finalizaba el 28th. Su prioridad era renovar el contrato antes de que acudieran en nuestra ayuda ”, dice, pálido de rabia.
Y la ayuda que ofrecía Microsoft era espantosa: indicó que podría intervenir en una quincena, o tal vez en tres semanas, y presentó una cita para investigar el origen del ataque.
“Protestamos [but] nos dijeron que nada de esto habría sucedido si hubiéramos actualizado sus sistemas con regularidad ”, dice Marchandiau. “¡Pero con ellos, las actualizaciones llegan todas las semanas! ¿Cómo quieren que actualicemos 800 servidores cada semana? El esfuerzo necesario es colosal, ¡es completamente inconsistente! “
No pagues, hazte el muerto
Mientras tanto, el proveedor de seguros de Manutan había sido contactado y dirigido a la empresa a un proveedor de servicios especializado en respuesta y soporte a incidentes cibernéticos. Regresaron en una hora y por un precio tres veces menor que el de Microsoft.
“Nos proporcionaron un plan de batalla, los elementos de comunicación y los procedimientos para notificar a la CNIL [Commission Nationale de l’Informatique et des Libertés, the French data protection authority]”, Dice Marchandiau.
El proveedor de servicios no tardó en llegar al fondo de las cosas. Rápidamente se enteró de que el ataque comenzó hace tres meses, a través de un correo electrónico de phishing, aunque la identidad del empleado que fue engañado para que hiciera clic en el enlace contaminado se mantuvo en secreto y ni siquiera se comunicó a Marchandiau.
Como es común en los ataques de ransomware, el phish inicial se utilizó para implementar un bot y establecer la persistencia. Posteriormente, la banda de ransomware regresó, aparentemente por casualidad, enraizada en la red de Manutan y determinó que el objetivo era interesante para ellos.
“Nuestras máquinas con Windows estaban protegidas por Microsoft Advanced Threat Protection, Windows Defender y BluVector Cortex. Estas herramientas habían generado alertas correctamente. Pero, en ese momento, salíamos de una auditoría de seguridad.
“Entonces, ya sabes cómo va: hicimos un plan de tres años para asegurar lo que era necesario asegurar, eso era una cuestión de rutina. En resumen, teníamos los medios para identificar el ataque, pero ya no teníamos la vigilancia necesaria ”, dice Marchandiau.
En cuanto a la propia demanda de rescate, el prestador del servicio advirtió que era importante que Manutan no respondiera, más aún para que no pagara. En el caso de esta pandilla en particular, tan pronto como la víctima se presenta a negociar, los delincuentes activan un temporizador de tres semanas al final del cual, si no hay una resolución, cumplen una serie de amenazas, revelando la situación de la víctima. información sensible y la destrucción irreparable de los datos.
Por lo tanto, fingir que Manutan aún no se había dado cuenta de que había sido atacado, de hecho, hacerse el muerto, serviría para ganar un tiempo valioso. En términos de pagar realmente, esto podría hacer que la pandilla pida más y no brindaría ninguna garantía de que los datos se recuperarán.
“Dedicamos tiempo a determinar qué datos habían recuperado y el riesgo que representaban. Concluimos que no era crítico; por ejemplo, no accedieron a nuestros contratos con proveedores. Luego evaluamos nuestra capacidad para volver a armar un sistema de TI que funcionara, lo que podíamos hacer, y decidimos que no pagaríamos ”, dice Marchandiau.
Una salida de emergencia, cortesía de Rubrik
En caso de emergencia, la reconstrucción de un sistema de TI en funcionamiento se basa en copias de seguridad, de las cuales Manutan había implementado tres: Rubrik para sus servidores, Veeam para Exchange y NetBackup para bases de datos.
“Ninguna de las copias de seguridad estaba cifrada, pero por otro lado, los datos de Veeam y NetBackup no se podían utilizar porque los servidores ejecutaban Windows. Solo Rubrik, con sus electrodomésticos independientes, era utilizable. Pero eso significó que pudimos restaurar todos nuestros servidores Windows ”, dice Marchandiau.
La solución Rubrik utiliza un dispositivo que está destinado a ser impenetrable y se dice que sus copias de seguridad son inmutables, es decir, que están bloqueadas por el firmware del dispositivo para excluir la posibilidad de desbloqueo externo, ya sea por un administrador de TI o el propio fabricante. , hasta una fecha de caducidad predefinida en la que la copia de seguridad vuelve a ser grabable. En última instancia, esta copia de seguridad se borra, ya que ha pasado suficiente tiempo para que se realicen más copias de seguridad y se bloqueen a su vez.
“Incluso pensamos en proteger el reloj del sistema host, para evitar que los delincuentes hicieran trampa cambiando la fecha actual a la fecha de vencimiento”, dice Pierre-François Guglielmi, director técnico de Rubrik, quien dice LeMagIT que la protección del aparato se prueba tres veces al día en la sede de Rubrik. Además, Rubrik invita a los piratas informáticos éticos a probar la solución con sus últimas técnicas de ataque mensualmente.
Marchandiau recuerda que Manutan había invertido en Rubrik luego de un bake-off con Commvault por varias razones, que van desde la autonomía hasta la facilidad de administración y, sobre todo, la capacidad del sistema para navegar a través de los datos respaldados sin tener que restaurarlos.
“Fue esta característica la que nos permitió saber hasta dónde llegar a través de las copias de seguridad para restaurar los datos y los sistemas de servidor en buen estado de cualquier infección. Es bastante sencillo: recorres los directorios como si ya estuvieran restaurados y ves si los archivos tienen nombres extraños, lo cual es una característica de los crypto-lockers ”, explica.
Retroceder a las imágenes de los sistemas guardados tres meses antes resultó suficiente. Pero en caso de que Manutan hubiera necesitado datos más recientes, el proveedor de servicios le ofreció algunas herramientas para intentar descifrar qué había sido exactamente afectado por el ransomware.
“Nos sorprendió ver que estas herramientas funcionaban bastante bien para recuperar documentos de servidores de archivos. Sin embargo, no se podían utilizar para bases de datos ”, dice Marchandiau. Por cierto, estas herramientas se pueden descargar de forma gratuita de empresas como Avast y Kaspersky.
10 días y noches, trabajo ininterrumpido
La restauración operativa de los servidores fue un trabajo a largo plazo, uno por uno, servidor por servidor. Antes de lanzarlos en vivo, Manutan adquirió e instaló una nueva solución de detección y respuesta de endpoints (EDR) en ellos para escanear los discos en busca de malware conocido.
“Nuestra aseguradora nos animó encarecidamente a tomar una solución que no habíamos usado antes, en este caso, el EDR de SentinelOne”, dice Marchandiau. “Entonces, para cada uno de los 800 servidores corruptos, funcionó así: lo restauramos, lo iniciamos, verificamos que funciona, instalamos SentinelOne en él, lo escaneamos completamente, luego lo conectamos a la red y pasamos al siguiente servidor.
“Solo éramos tres para hacer este trabajo. Después de 10 días y 10 noches, habíamos vuelto a poner en servicio el 80% de los servidores. El 20% restante, el más complejo, todavía nos llevó casi tres meses ”.
El primero en restaurarse fue el servidor de Active Directory (AD), en el que se identifican todos los demás sistemas de Manutan. “Así es”, dice Marchandiau, “Nuestro Active Directory estuvo soportando ese peso durante años [and] habría que limpiarlo para asegurarse de que no tuviera puertas traseras. Pero, obviamente, no teníamos tiempo, así que apostamos a que proteger el EDR y cortar las comunicaciones con otras subsidiarias garantizaría la protección suficiente para relanzar nuestra TI lo antes posible ”.
Pero Marchandiau descubrió rápidamente otro problema: el EDR estaba ralentizando considerablemente las aplicaciones.
“La solución fue limpiar manualmente todos nuestros servidores para eliminar las debilidades estructurales y aliviar la carga del EDR. Pero, una vez más, embarcarnos en esta aventura nos habría costado un tiempo infinito. Hemos decidido posponer este trabajo ”, dice.
Pero las cosas aún no estaban hechas. Todos los servidores recién restaurados fueron completamente respaldados nuevamente, pero estos respaldos no sobrescribieron los anteriores, ya que son inmutables. “¡Nuestros dispositivos de respaldo se llenaron de repente! Tuve que llamar a Rubrik para obtener más ayuda con la limpieza ”, dice Marchandiau.
LeMagIT no pudo obtener una descripción detallada de cómo Rubrik eliminó a Manutan de sus antiguas copias de seguridad, pero parece probable que el proveedor no haya tenido más remedio que traer nuevos discos duros en blanco. Si estos reemplazaron a los anteriores o se agregaron a ellos, parece ser un servicio gratuito que quizás comprensiblemente al proveedor no le importa mucho anunciar.
Cuatro lecciones aprendidas
Los sistemas de TI ahora podrían reiniciarse, pero en general, Manutan ya no juzgó su enfoque anterior para …