Cómo las operaciones de seguridad de Google enriquecen los datos de eventos y entidades

En este documento, se describe cómo las operaciones de seguridad de Google enriquecen los datos y los campos del Modelo de datos unificado (UDM) en los que se almacenan los datos.

Para permitir una investigación de seguridad, las operaciones de seguridad de Google transfieren datos contextuales de diferentes fuentes, realizan análisis de los datos y proporcionan contexto adicional sobre los artefactos en el entorno de un cliente. Los analistas pueden usar datos enriquecidos contextualmente en reglas de Detection Engine, búsquedas de investigación o informes.

Las operaciones de seguridad de Google realizan los siguientes tipos de enriquecimiento:

• Enriquece las entidades mediante la combinación y el gráfico de entidades.
• Calcula y enriquece cada entidad con una estadística de prevalencia que indica su popularidad en el entorno.
• Calcula la primera vez que se observaron ciertos tipos de entidades en el entorno o la hora más reciente.
• Enriquece las entidades con información de las listas de amenazas de Navegación segura.
• Enriquece los eventos con datos de ubicación geográfica.
• Enriquece las entidades con datos de WHOIS.
• Enriquece los eventos con metadatos de archivos de VirusTotal.
• Enriquece las entidades con datos de relación de VirusTotal.
• Transfiere y almacena datos de Google Cloud Threat Intelligence.

event_type, product_name y vendor_name identifican los datos enriquecidos de WHOIS, Navegación segura, GCTI Threat Intelligence, los metadatos de VirusTotal y la relación de VirusTotal. Cuando crees una regla que use estos datos enriquecidos, te recomendamos que incluyas un filtro en la regla que identifique el tipo de enriquecimiento específico que se debe incluir. Este filtro ayuda a mejorar el rendimiento de la regla. Por ejemplo, incluye los siguientes campos de filtro en la sección events de la regla que une los datos de WHOIS.

$enrichment.graph.metadata.entity_type = "DOMAIN_NAME"
$enrichment.graph.metadata.product_name = "WHOISXMLAPI Simple Whois"
$enrichment.graph.metadata.vendor_name = "WHOIS"

Enriquece las entidades con el gráfico de entidades y combinándolas

El gráfico de entidades identifica relaciones entre las entidades y los recursos de tu entorno. Cuando las entidades de diferentes fuentes se transfieren a las operaciones de seguridad de Google, el gráfico de entidades mantiene una lista de adyacentes basada en la relación entre las entidades. El gráfico de entidades realiza un enriquecimiento de contexto mediante la anulación de duplicación y la combinación.

Durante la anulación de duplicación, se eliminan los datos redundantes y se forman intervalos para crear una entidad común. Por ejemplo, considera dos entidades, e1 y e2, con marcas de tiempo t1 y t2, respectivamente. Se anula la duplicación de las entidades e1 y e2, y las marcas de tiempo que son diferentes no se usan durante la anulación de duplicación. Los siguientes campos no se usan durante la anulación de duplicación:

• collected_timestamp
• creation_timestamp
• interval

Durante la combinación, las relaciones entre las entidades se forman durante un intervalo de tiempo de un día. Por ejemplo, considera un registro de entidad de user A que tiene acceso a un bucket de Cloud Storage. Existe otro registro de entidad de user A que es propietario de un dispositivo. Después de la combinación, estas dos entidades dan como resultado una sola entidad user A que tiene dos relaciones. Una relación es que user A tiene acceso al bucket de Cloud Storage y la otra es que user A es propietario del dispositivo. Las operaciones de seguridad de Google realizan una visualización de cinco días cuando crean datos del contexto de la entidad. Esto controla los datos tardíos y crea un tiempo implícito de actividad en los datos del contexto de la entidad.

Las operaciones de seguridad de Google usan la asignación de alias para enriquecer los datos de telemetría y usan gráficos de entidades para enriquecer las entidades. Las reglas del motor de detección unen las entidades combinadas con los datos de telemetría enriquecidos para proporcionar estadísticas contextuales.

Un evento que contiene un sustantivo de entidad se considera una entidad. Estos son algunos tipos de eventos y sus tipos de entidades correspondientes:

• ASSET_CONTEXT corresponde a ASSET.
• RESOURCE_CONTEXT corresponde a RESOURCE.
• USER_CONTEXT corresponde a USER.
• GROUP_CONTEXT corresponde a GROUP.

El gráfico de entidad distingue entre datos contextuales e indicadores de compromiso (IOC) mediante la información de amenaza.

Cuando uses datos enriquecidos contextualmente, considera el siguiente comportamiento del gráfico de entidades:

• No agregues intervalos en la entidad. En su lugar, deja que el gráfico de entidades cree intervalos. Esto se debe a que los intervalos se generan durante la anulación de duplicación, a menos que se especifique lo contrario.
• Si se especifican los intervalos, solo se anula la duplicación de los mismos eventos y se conserva la entidad más reciente.
• Para garantizar que las reglas en tiempo real y las cazas retroactivas funcionen como se espera, las entidades deben transferirse al menos una vez al día.
• Si las entidades no se transfieren a diario y se transfieren solo una vez cada dos o más días, las reglas en tiempo real podrían funcionar como se espera; sin embargo, las cazas retrospectivas podrían perder el contexto del evento.
• Si las entidades se transfieren más de una vez al día, se anula la duplicación de la entidad en una sola entidad.
• Si faltan datos del evento para un día, los datos del último día se utilizan de forma temporal para garantizar que las reglas en tiempo real funcionen correctamente.

En el gráfico de entidades, también se combinan eventos que tienen identificadores similares para obtener una vista consolidada de los datos. Esta combinación se realiza según la siguiente lista de identificadores:

• Asset
  • entity.asset.product_object_id
  • entity.asset.hostname
  • entity.asset.asset_id
  • entity.asset.mac
• User
  • entity.user.product_object_id
  • entity.user.userid
  • entity.user.windows_sid
  • entity.user.email_addresses
  • entity.user.employee_id
• Resource
  • entity.resource.product_object_id
  • entity.resource.name
• Group
  • entity.group.product_object_id
  • entity.group.email_addresses
  • entity.group.windows_sid

Calcular estadísticas de prevalencia

Las operaciones de seguridad de Google realizan análisis estadísticos de los datos existentes y entrantes, y enriquecen los registros de contexto de la entidad con métricas relacionadas con la prevalencia.

La prevalencia es un valor numérico que indica qué tan popular es una entidad. La popularidad se define según la cantidad de recursos que acceden a un artefacto, como un dominio, un hash de archivo o una dirección IP. Mientras más alto sea el número, más popular será la entidad. Por ejemplo, google.com tiene valores de prevalencia altos porque se accede a él con frecuencia. Si se accede a un dominio con poca frecuencia, tendrá valores de prevalencia más bajos. Por lo general, las entidades más populares tienen menos probabilidades de ser maliciosas.

Estos valores enriquecidos son compatibles con dominio, IP y archivo (hash). Los valores se calculan y almacenan en los siguientes campos.

Las estadísticas de prevalencia de cada entidad se actualizan todos los días. Los valores se almacenan en un contexto de entidad separado que Detection Engine puede usar, pero no se muestran en las vistas de investigación de las operaciones de seguridad de Google ni en la búsqueda de UDM.

Los siguientes campos se pueden usar cuando se crean reglas de Detection Engine.

Tipo de entidad	Campos de UDM
Dominio	entity.domain.prevalence.day_count entity.domain.prevalence.day_max entity.domain.prevalence.day_max_sub_domains entity.domain.prevalence.rolling_max entity.domain.prevalence.rolling_max_sub_domains
Archivo (hash)	entity.file.prevalence.day_count entity.file.prevalence.day_max entity.file.prevalence.rolling_max
Dirección IP	entity.artifact.prevalence.day_count entity.artifact.prevalence.day_max entity.artifact.prevalence.rolling_max

Los valores day_max y Rolling_max se calculan de manera diferente. Los campos se calculan de la siguiente manera:

• day_max se calcula como la puntuación de prevalencia máxima del artefacto durante el día, en la que un día se define como de 12:00:00 a.m. a 11:59:59 p.m. UTC.
• rolling_max se calcula como la puntuación de prevalencia por día máxima (es decir, day_max) del artefacto durante el período de 10 días anterior.
• day_count se usa para calcular rolling_max y siempre es el valor 10.

Cuando se calcula para un dominio, la diferencia entre day_max frente a day_max_sub_domains (y rolling_max frente a rolling_max_sub_domains) es la siguiente:

• rolling_max y day_max representan la cantidad de direcciones IP internas únicas diarias que acceden a un dominio determinado (excepto los subdominios).
• rolling_max_sub_domains y day_max_sub_domains representan la cantidad de direcciones IP internas únicas que acceden a un dominio determinado (incluidos los subdominios).

Las estadísticas de prevalencia se calculan a partir de datos de entidades recién transferidos. Los cálculos no se realizan de forma retroactiva sobre los datos transferidos con anterioridad. El cálculo y el almacenamiento de las estadísticas tardan alrededor de 36 horas.

Calcular la hora de primera y última visualización de entidades

Las operaciones de seguridad de Google realizan análisis estadísticos sobre los datos entrantes y enriquecen los registros del contexto de la entidad según la primera y la última vez que se ve una entidad. El campo first_seen_time almacena la fecha y hora en que la entidad se vio por primera vez en el entorno del cliente. El campo last_seen_time almacena la fecha y hora de la observación más reciente.

Debido a que varios indicadores (campos UDM) pueden identificar un recurso o un usuario, la primera vez que se ve cualquiera de los indicadores que identifican al usuario o recurso se vio en el entorno del cliente

Todos los campos del UDM que describen un recurso son los siguientes:

• entity.asset.hostname
• entity.asset.ip
• entity.asset.mac
• entity.asset.asset_id
• entity.asset.product_object_id

Todos los campos del UDM que describen a un usuario son los siguientes:

• entity.user.windows_sid
• entity.user.product_object_id
• entity.user.userid
• entity.user.employee_id
• entity.user.email_addresses

La hora de la primera visualización y la última visualización permiten a un analista correlacionar cierta actividad que se produjo después de que un dominio, un archivo (hash), un recurso, un usuario o una dirección IP se vieron por primera vez, o que dejaron de producirse después de que el dominio, el archivo (hash) o la dirección IP se vieron por última vez.

Los campos first_seen_time y last_seen_time se propagan con entidades que describen un dominio, una dirección IP y un archivo (hash). En el caso de las entidades que describen a un usuario o un recurso, solo se propaga el campo first_seen_time. Estos valores no se calculan para entidades que describen otros tipos, como un grupo o un recurso.

Las estadísticas se calculan para cada entidad en todos los espacios de nombres. Las operaciones de seguridad de Google no calculan las estadísticas para cada entidad dentro de los espacios de nombres individuales. Por el momento, estas estadísticas no se exportan al esquema events de operaciones de seguridad de Google en BigQuery.

Los valores enriquecidos se calculan y almacenan en los siguientes campos de la UDM:

Tipo de entidad	Campos de UDM
Dominio	entity.domain.first_seen_time entity.domain.last_seen_time
Archivo (hash)	entity.file.first_seen_time entity.file.last_seen_time
Dirección IP	entity.artifact.first_seen_time entity.artifact.last_seen_time
Recurso	entity.asset.first_seen_time
Usuario	entity.user.first_seen_time

Enriquece los eventos con datos de ubicación geográfica

Los datos de registro entrantes pueden incluir direcciones IP externas sin la información de ubicación correspondiente. Esto es común cuando un evento registra información sobre la actividad del dispositivo que no está en una red empresarial. Por ejemplo, un evento de acceso a un servicio en la nube contendría una dirección IP de cliente o de origen basada en la dirección IP externa de un dispositivo que muestra la NAT del proveedor.

Las operaciones de seguridad de Google proporcionan datos enriquecidos por la ubicación geográfica para direcciones IP externas a fin de permitir detecciones de reglas más potentes y un mayor contexto para las investigaciones. Por ejemplo, las operaciones de seguridad de Google pueden usar una dirección IP externa para enriquecer el evento con información sobre el país (como Estados Unidos), un estado específico (como Alaska) y la red en la que se encuentra la dirección IP (como el ASN y el nombre del operador).

Las operaciones de seguridad de Google usan datos de ubicación que proporciona Google para proporcionar una ubicación geográfica aproximada y la información de red de una dirección IP. Puedes escribir reglas de Detection Engine en estos campos en los eventos. Los datos de eventos enriquecidos también se exportan a BigQuery, donde se pueden usar en los paneles y los informes de las operaciones de seguridad de Google.

Las siguientes direcciones IP no están enriquecidas:

• a espacios de direcciones IP privadas RFC 1918, ya que son internos de la red empresarial.
• Espacio de direcciones IP de multicast RFC 5771 porque las direcciones multicast no pertenecen a una sola ubicación.
• Direcciones locales únicas IPv6.
• Direcciones IP del servicio de Google Cloud. Las excepciones son las direcciones IP externas de Google Cloud Compute Engine, que están enriquecidas.

Las operaciones de seguridad de Google enriquecen los siguientes campos de UDM con datos de ubicación geográfica:

• principal
• target
• src
• observer

Tipo de datos	Campo de UDM
Ubicación (por ejemplo, Estados Unidos)	( principal | target | src | observer ).ip_geo_artifact.location.country_or_region
Estado (por ejemplo, Nueva York)	( principal | target | src | observer ).ip_geo_artifact.location.state
Longitud	( principal | target | src | observer ).ip_geo_artifact.location.region_coordinates.longitude
Latitud	( principal | target | src | observer ).ip_geo_artifact.location.region_coordinates.latitude
ASN (número de sistema autónomo)	( principal | target | src | observer ).ip_geo_artifact.network.asn
Nombre de la empresa de transporte	( principal | target | src | observer ).ip_geo_artifact.network.carrier_name
Dominio DNS	( principal | target | src | observer ).ip_geo_artifact.network.dns_domain
Nombre de la organización	( principal | target | src | observer ).ip_geo_artifact.network.organization_name

En el siguiente ejemplo, se muestra el tipo de información geográfica que se agregaría a un evento de UDM con una dirección IP etiquetada para los Países Bajos:

Campo de UDM	Valor
principal.ip_geo_artifact.location.country_or_region	Netherlands
principal.ip_geo_artifact.location.region_coordinates.latitude	52.132633
principal.ip_geo_artifact.location.region_coordinates.longitude	5.291266
principal.ip_geo_artifact.network.asn	8455
principal.ip_geo_artifact.network.carrier_name	schuberg philis

Inconsistencias

La tecnología de ubicación geográfica de IP, propiedad de Google, usa una combinación de datos de red y otras entradas y métodos para proporcionar la ubicación de la dirección IP y la resolución de red a nuestros usuarios. Otras organizaciones pueden usar distintos indicadores o métodos, que a veces pueden generar resultados diferentes.

Si surgen casos en los que encuentras una inconsistencia en los resultados de la ubicación geográfica de IP que proporciona Google, abre un caso de asistencia al cliente para que podamos investigar y, si corresponde, corregir nuestros registros en el futuro.

Enriquece las entidades con información de las listas de amenazas de Navegación segura

Las operaciones de seguridad de Google transfieren datos de la Navegación segura relacionados con los hash de los archivos. Los datos de cada archivo se almacenan como una entidad y proporcionan contexto adicional sobre el archivo. Los analistas pueden crear reglas de Detection Engine que consulten los datos del contexto de esta entidad para compilar estadísticas contextuales.

La siguiente información se almacena con el registro del contexto de la entidad.

Campo de UDM	Descripción
entity.metadata.product_entity_id	Es un identificador único para la entidad.
entity.metadata.entity_type	Este valor es FILE, lo que indica que la entidad describe un archivo.
entity.metadata.collected_timestamp	La fecha y hora en que se observó la entidad o en que ocurrió el evento.
entity.metadata.interval	Almacena las horas de inicio y finalización en las que son válidos estos datos. Debido a que el contenido de la lista de amenazas cambia con el tiempo, start_time y end_time reflejan el intervalo de tiempo durante el cual los datos de la entidad son válidos. Por ejemplo, se observó que un hash de archivo es malicioso o sospechoso entre start_time and end_time.
entity.metadata.threat.category	Esta es la SecurityCategory de las operaciones de seguridad de Google. Se establece en uno o más de los siguientes valores: SOFTWARE_MALICIOUS: Indica que la amenaza está relacionada con software malicioso. SOFTWARE_PUA: Indica que la amenaza está relacionada con software no deseado.
entity.metadata.threat.severity	Esta es la ProductSeverity de las operaciones de seguridad de Google. Si el valor es CRITICAL, significa que el artefacto parece ser malicioso. Si no se especifica el valor, no hay suficiente confianza para indicar que el artefacto es malicioso.
entity.metadata.product_name	Almacena el valor Google Safe Browsing.
entity.file.sha256	El valor de hash SHA256 del archivo.

Enriquece las entidades con datos de WHOIS

Las operaciones de seguridad de Google transfieren datos de WHOIS a diario. Durante la transferencia de datos entrantes de los dispositivos de los clientes, el equipo de operaciones de seguridad de Google evalúa los dominios de los datos del cliente en comparación con los datos de WHOIS. Cuando hay una coincidencia, las operaciones de seguridad de Google almacenan los datos de WHOIS relacionados con el registro de entidad del dominio. Para cada entidad, en la que entity.metadata.entity_type = DOMAIN_NAME, las operaciones de seguridad de Google enriquecen la entidad con información de WHOIS.

Las operaciones de seguridad de Google propaga los datos de WHOIS enriquecidos en los siguientes campos del registro de la entidad:

• entity.domain.admin.attribute.labels
• entity.domain.audit_update_time
• entity.domain.billing.attribute.labels
• entity.domain.billing.office_address.country_or_region
• entity.domain.contact_email
• entity.domain.creation_time
• entity.domain.expiration_time
• entity.domain.iana_registrar_id
• entity.domain.name_server
• entity.domain.private_registration
• entity.domain.registrant.company_name
• entity.domain.registrant.office_address.state
• entity.domain.registrant.office_address.country_or_region
• entity.domain.registrant.email_addresses
• entity.domain.registrant.user_display_name
• entity.domain.registrar
• entity.domain.registry_data_raw_text
• entity.domain.status
• entity.domain.tech.attribute.labels
• entity.domain.update_time
• entity.domain.whois_record_raw_text
• entity.domain.whois_server
• entity.domain.zone

Para obtener una descripción de estos campos, consulta el documento de lista de campos del Modelo de datos unificado.

Transfiera y almacene datos de Google Cloud Threat Intelligence

Las operaciones de seguridad de Google transfieren datos de fuentes de datos de Google Cloud Threat Intelligence (GCTI) que te proporcionan información contextual que puedes usar cuando investigas actividades en tu entorno. Puedes consultar las siguientes fuentes de datos:

• Nodos de salida de GCTI Tor: direcciones IP conocidas como nodos de salida Tor.
• Objetos binarios benignos de GCTI: Archivos que forman parte de la distribución original del sistema operativo o que se actualizaron mediante un parche oficial del sistema operativo Algunos objetos binarios oficiales del sistema operativo que fueron abusados por un adversario a través de actividades comunes en los ataques del tipo "vivir de la tierra" están excluidos de esta fuente de datos, como los que se centran en vectores de entrada inicial.

• Herramientas de acceso remoto GCTI: archivos que utilizan con frecuencia actores maliciosos. Por lo general, estas herramientas son aplicaciones legítimas que a veces se usan de forma abusiva para conectarse de forma remota a sistemas comprometidos.

  Estos datos contextuales se almacenan de forma global como entidades. Puedes consultar los datos con las reglas del motor de detección. Incluye los siguientes campos y valores de UDM en la regla para consultar estas entidades globales:

• graph.metadata.vendor_name = Google Cloud Threat Intelligence

• graph.metadata.product_name = GCTI Feed

En este documento, el marcador de posición <variable_name> representa el nombre único de la variable que se usa en una regla para identificar un registro de UDM.

Fuentes de datos de Google Cloud Threat Intelligence cronológicas frente a atemporales

Las fuentes de datos de Google Cloud Threat Intelligence pueden ser temporizadas o intemporales.

Las fuentes de datos temporizadas tienen un intervalo de tiempo asociado con cada entrada. Esto significa que, si se genera una detección el día 1, en cualquier día del futuro, se espera que se genere la misma detección el día 1 durante una búsqueda retro.

Las fuentes de datos atemporales no tienen ningún intervalo de tiempo asociado. Esto se debe a que solo se debe considerar el último conjunto de datos. Las fuentes de datos atemporales se usan con frecuencia para datos como hashes de archivos que no se espera que cambien. Si no se genera ninguna detección el día 1, el día 2 se podría generar una detección para el día 1 durante una caza retroactiva porque se agregó una entrada nueva.

Datos sobre las direcciones IP del nodo de salida de Tor

Las operaciones de seguridad de Google transfieren y almacenan las direcciones IP que son nodos de salida Tor conocidos. Los nodos de salida Tor son puntos por los que el tráfico sale de la red Tor. La información transferida desde esta fuente de datos se almacena en los siguientes campos de UDM. Los datos de esta fuente están cronometrados.

Campo de UDM	Descripción
<variable_name>.graph.metadata.vendor_name	Almacena el valor Google Cloud Threat Intelligence.
<variable_name>.graph.metadata.product_name	Almacena el valor GCTI Feed.
<variable_name>.graph.metadata.threat.threat_feed_name	Almacena el valor Tor Exit Nodes.
<variable_name>.graph.entity.artifact.ip	Almacena la dirección IP transferida desde la fuente de datos de GCTI.

Datos sobre archivos benignos del sistema operativo

Las operaciones de seguridad de Google transfieren y almacenan hashes de archivos de la fuente de datos de objetos binarios benignos de GCTI. La información que se transfiere desde esta fuente de datos se almacena en los siguientes campos de la UDM. Los datos de esta fuente son atemporales.

Campo de UDM	Descripción
<variable_name>.graph.metadata.vendor_name	Almacena el valor Google Cloud Threat Intelligence.
<variable_name>.graph.metadata.product_name	Almacena el valor GCTI Feed.
<variable_name>.graph.metadata.threat.threat_feed_name	Almacena el valor Benign Binaries.
<variable_name>.graph.entity.file.sha256	Almacena el valor de hash SHA256 del archivo.
<variable_name>.graph.entity.file.sha1	Almacena el valor de hash SHA1 del archivo.
<variable_name>.graph.entity.file.md5	Almacena el valor de hash MD5 del archivo.

Datos sobre herramientas de acceso remoto

Las herramientas de acceso remoto incluyen hashes de archivos para herramientas de acceso remoto conocidas, como los clientes VNC que utilizan con frecuencia actores maliciosos. Por lo general, estas herramientas son aplicaciones legítimas que a veces se abusan para conectarse de forma remota a sistemas comprometidos. La información transferida desde esta fuente de datos se almacena en los siguientes campos de UDM. Los datos de esta fuente son atemporales.

Campo de UDM	Descripción
.graph.metadata.vendor_name	Almacena el valor Google Cloud Threat Intelligence.
.graph.metadata.product_name	Almacena el valor GCTI Feed.
.graph.metadata.threat.threat_feed_name	Almacena el valor Remote Access Tools.
.graph.entity.file.sha256	Almacena el valor de hash SHA256 del archivo.
.graph.entity.file.sha1	Almacena el valor de hash SHA1 del archivo.
.graph.entity.file.md5	Almacena el valor de hash MD5 del archivo.

Enriquece eventos con metadatos de archivos de VirusTotal

Las operaciones de seguridad de Google enriquecen los hashes de archivos en eventos de UDM y proporcionan contexto adicional durante una investigación. Los eventos de UDM se enriquecen con alias de hash en el entorno de un cliente. La asignación de alias de hash combina todos los tipos de hash de archivo y proporciona información sobre el hash de un archivo durante una búsqueda.

La integración de metadatos de archivos de VirusTotal y el enriquecimiento de relaciones con Google SecOps se puede usar para identificar patrones de actividad maliciosa y para hacer un seguimiento de los movimientos de software malicioso en una red.

Un registro sin procesar proporciona información limitada sobre el archivo. VirusTotal enriquece el evento con metadatos de archivos para proporcionar un volcado de hashes incorrectos junto con metadatos sobre el archivo incorrecto. Los metadatos incluyen información como nombres de archivos, tipos, funciones importadas y etiquetas. Puedes usar esta información en el motor de búsqueda y detección de UDM con YARA-L para comprender los eventos de archivos incorrectos y, en general, durante la búsqueda de amenazas. Un ejemplo de caso de uso es detectar cualquier modificación en el archivo original que, a su vez, importaría los metadatos del archivo para detectar amenazas.

La siguiente información se almacena con el registro. Para obtener una lista de todos los campos de UDM, consulta la lista de campos del Modelo de datos unificado.