Glossário de machine learning

Neste glossário, definimos os termos gerais de machine learning, além de termos específicos do TensorFlow.

R

ablação

Uma técnica para avaliar a importância de um recurso ou componente por meio da remoção temporária dele de um modelo. Em seguida, treina novamente o modelo sem esse recurso ou componente e, se o modelo retreinado tiver um desempenho significativamente pior, é provavelmente importante que o recurso ou componente removido seja importante.

Por exemplo, suponha que você treine um modelo de classificação em 10 recursos e atinja 88% de precisão no conjunto de teste. Para verificar a importância do primeiro recurso, treine novamente o modelo usando apenas os outros nove recursos. Se o modelo treinado novamente apresentar um desempenho significativamente pior (por exemplo, precisão de 55%), o atributo removido provavelmente foi importante. Por outro lado, se o modelo treinado novamente tiver um desempenho igualmente bom, esse atributo provavelmente não era tão importante.

A ablação também pode ajudar a determinar a importância de:

• componentes maiores, como um subsistema inteiro de um sistema de ML maior
• Processos ou técnicas, como uma etapa de pré-processamento de dados.

Nos dois casos, você observaria como o desempenho do sistema muda (ou não muda) depois da remoção do componente.

Teste A/B

É uma maneira estatística de comparar duas (ou mais) técnicas: A e B. Normalmente, A é uma técnica existente e a B é uma nova. O teste A/B não só determina qual técnica tem melhor performance, mas também se a diferença é estatisticamente significativa.

O teste A/B geralmente compara uma única métrica em duas técnicas. Por exemplo, como a precisão do modelo se compara a duas técnicas? No entanto, o teste A/B também pode comparar qualquer número finito de métricas.

chip de acelerador

Uma categoria de componentes de hardware especializados projetada para executar os principais cálculos necessários para algoritmos de aprendizado profundo.

Os chips de aceleradores, ou apenas aceleradores, podem aumentar significativamente a velocidade e a eficiência das tarefas de treinamento e inferência em comparação com uma CPU de uso geral. Elas são ideais para o treinamento de redes neurais e tarefas semelhantes com uso intensivo de computação.

Estes são alguns exemplos de chips de aceleração:

• Unidades de Processamento de Tensor do Google (TPUs) com hardware dedicado para aprendizado profundo.
• As GPUs da NVIDIA, embora inicialmente projetadas para processamento gráfico, são projetadas para permitir o processamento paralelo, o que pode aumentar significativamente a velocidade de processamento.

accuracy

O número de previsões de classificação corretas dividido pelo número total de previsões. Ou seja:

Por exemplo, um modelo que fizesse 40 previsões corretas e 10 incorretas teria uma acurácia de:

A classificação binária fornece nomes específicos para as diferentes categorias de previsões corretas e previsões incorretas. Assim, a fórmula de precisão para classificação binária é a seguinte:

onde:

• VP é o número de verdadeiros positivos (previsões corretas).
• TN é o número de verdadeiros negativos (previsões corretas).
• FP é o número de falsos positivos (previsões incorretas).
• FN é o número de falsos negativos (previsões incorretas).

Compare e contraste a precisão com precisão e recall.

accuracy = (TP + TN) / (TP + TN + FP + FN)
accuracy = (0 + 36500) / (0 + 36500 + 25 + 0) = 0.9993 = 99.93%

ação

No aprendizado por reforço, o mecanismo pelo qual o agente faz a transição entre estados do ambiente. O agente escolhe a ação usando uma política.

função de ativação

Uma função que permite que as redes neurais aprendam relações não lineares (complexas) entre os atributos e o rótulo.

Funções de ativação conhecidas incluem:

• ReLU
• Sigmoide

Os gráficos das funções de ativação nunca são linhas retas únicas. Por exemplo, o gráfico da função de ativação ReLU consiste em duas linhas retas:

Um gráfico da função de ativação sigmoide é semelhante a este:

weighted sum = (2)(-1.3) + (-1)(0.6) + (3)(0.4) = -2.0

aprendizado ativo

Uma abordagem de treinamento em que o algoritmo escolhe alguns dos dados com os quais aprende. O aprendizado ativo é particularmente valioso quando os exemplos rotulados são escassos ou caros de obter. Em vez de procurar cegamente uma gama diversificada de exemplos rotulados, um algoritmo de aprendizado ativo procura seletivamente o intervalo específico de exemplos de que precisa para aprender.

AdaGrad

Um sofisticado algoritmo de gradiente descendente que redimensiona os gradientes de cada parâmetro, fornecendo efetivamente a cada parâmetro uma taxa de aprendizado independente. Para uma explicação completa, consulte este documento do AdaGrad.

agente

No aprendizado por reforço, a entidade que usa uma política para maximizar o retorno esperado recebido da transição entre estados do ambiente.

De modo mais geral, um agente é um software que planeja e executa de maneira autônoma uma série de ações em busca de uma meta, com capacidade de se adaptar às mudanças no ambiente. Por exemplo, agentes baseados em LLM podem usar o LLM para gerar um plano em vez de aplicar uma política de aprendizado por reforço.

agrupamento aglomerativo

Consulte clustering hierárquico.

detecção de anomalias

Processo de identificação de outliers. Por exemplo, se a média de um determinado recurso for 100 com desvio padrão de 10, a Detecção de anomalias sinalizará o valor 200 como suspeito.

AR

Abreviação de realidade aumentada.

área sob a curva PR

Consulte PR AUC (área sob a curva PR).

área sob a curva ROC

Consulte AUC (área sob a curva ROC).

inteligência geral artificial

Um mecanismo não humano que demonstra uma ampla variedade de resolução de problemas, criatividade e adaptabilidade. Por exemplo, um programa que demonstre inteligência geral artificial pode traduzir textos, compor sinfonias e se destacar em jogos que ainda não foram inventados.

inteligência artificial

Um programa ou model não humano que pode resolver tarefas sofisticadas. Por exemplo, programas ou modelos que traduzem textos ou que identificam doenças com base em imagens radiológicas usam inteligência artificial.

Formalmente, o machine learning é um subcampo da inteligência artificial. No entanto, nos últimos anos, algumas organizações começaram a usar os termos inteligência artificial e machine learning de forma intercambiável.

Attention,

Um mecanismo usado em uma rede neural que indica a importância de uma determinada palavra ou parte de uma palavra. A atenção compacta a quantidade de informações que um modelo precisa para prever o próximo token/palavra. Um mecanismo de atenção típico pode consistir em uma soma ponderada sobre um conjunto de entradas, em que o peso de cada entrada é calculado por outra parte da rede neural.

Consulte também a autoatenção e a autoatenção de várias cabeças, que são os elementos básicos dos Transformers.

atributo

Sinônimo de feature.

Na imparcialidade de machine learning, os atributos geralmente se referem a características pertencentes a indivíduos.

amostragem de atributos

Uma tática para treinar uma floresta de decisão em que cada árvore de decisão considera apenas um subconjunto aleatório de atributos possíveis ao aprender a condição. Geralmente, um subconjunto diferente de recursos é amostrado para cada nó. Por outro lado, ao treinar uma árvore de decisão sem amostragem de atributos, todos os atributos possíveis são considerados para cada nó.

AUC (área sob a curva ROC)

Um número entre 0,0 e 1,0 que representa a capacidade de um modelo de classificação binária de separar classes positivas de classes negativas. Quanto mais próxima a AUC estiver de 1, melhor será a capacidade do modelo de separar as classes umas das outras.

Por exemplo, a ilustração a seguir mostra um modelo de classificador que separa perfeitamente as classes positivas (ovais verdes) das classes negativas (retângulos roxos). Esse modelo irrealista tem uma AUC de 1,0:

Por outro lado, a ilustração a seguir mostra os resultados de um modelo de classificador que gerou resultados aleatórios. Este modelo tem uma AUC de 0,5:

Sim, o modelo anterior tem uma AUC de 0,5, não 0,0.

A maioria dos modelos está entre os dois extremos. Por exemplo, o modelo a seguir separa um pouco os positivos dos negativos e, portanto, tem uma AUC entre 0,5 e 1,0:

A AUC ignora qualquer valor definido como limite de classificação. Em vez disso, a AUC considera todos os limiares de classificação possíveis.

realidade aumentada

Uma tecnologia que sobrepõe uma imagem gerada por computador à visão do usuário do mundo real, oferecendo assim uma visão composta.

codificador automático

Um sistema que aprende a extrair as informações mais importantes da entrada. Os codificadores automáticos são uma combinação de codificador e decodificador. Os codificadores automáticos usam o seguinte processo de duas etapas:

1. O codificador mapeia a entrada para um formato de dimensão inferior (intermediário) com perdas (normalmente) com perda.
2. O decodificador cria uma versão com perda da entrada original mapeando o formato de dimensão inferior para o formato de entrada original de dimensão superior.

Os codificadores automáticos são treinados de ponta a ponta fazendo com que o decodificador tente reconstruir o mais próximo possível a entrada original a partir do formato intermediário do codificador. Como o formato intermediário é menor (menor dimensão) que o formato original, o codificador automático é forçado a aprender quais informações na entrada são essenciais, e a saída não será perfeitamente idêntica à entrada.

Exemplo:

• Se os dados de entrada forem um gráfico, a cópia não exata será semelhante ao gráfico original, mas um pouco modificada. Talvez a cópia não exata remova o ruído da imagem original ou preencha alguns pixels ausentes.
• Se os dados de entrada forem texto, um codificador automático vai gerar um novo texto que imita o texto original, mas não é idêntico.

Consulte também codificadores automáticos variáveis.

viés de automação

Quando um tomador de decisões humano favorece recomendações feitas por um sistema automatizado de tomada de decisão em vez de informações feitas sem automação, mesmo quando o sistema automatizado comete erros.

AutoML

Qualquer processo automatizado para criar modelos de machine learning. O AutoML pode realizar automaticamente tarefas como as seguintes:

• Procure o modelo mais adequado.
• Ajuste os hiperparâmetros.
• Preparar os dados, incluindo a execução da engenharia de atributos.
• Implante o modelo resultante.

O AutoML é útil para os cientistas de dados porque pode economizar tempo e esforço no desenvolvimento de pipelines de machine learning e melhorar a precisão da previsão. Ele também é útil para não especialistas, porque torna as tarefas complicadas de machine learning mais acessíveis a eles.

modelo autoregressivo

Um model que infere uma previsão com base nas próprias previsões anteriores. Por exemplo, os modelos de linguagem autorregressivos preveem o próximo token com base nos tokens previstos anteriormente. Todos os modelos de linguagem grandes baseados em Transformer são regressivos.

Por outro lado, os modelos de imagem com base em GAN geralmente não são automáticos, já que geram uma imagem em uma única passagem direta, e não de maneira iterativa em etapas. No entanto, alguns modelos de geração de imagem são autoregressivos porque geram uma imagem em etapas.

perda auxiliar

Uma função de perda, usada em conjunto com a função de perda principal de uma rede neural do modelo, que ajuda a acelerar o treinamento durante as iterações iniciais, quando os pesos são inicializados aleatoriamente.

As funções de perda auxiliares enviam gradientes eficazes para as camadas anteriores. Isso facilita a convergência durante o treinamento ao combater o problema de sumiço do gradiente (em inglês).

precisão média

Uma métrica para resumir o desempenho de uma sequência classificada de resultados. A precisão média é calculada usando a média dos valores de precisão para cada resultado relevante (cada resultado na lista de classificação em que o recall aumenta em relação ao resultado anterior).

Consulte também Área sob a curva PR.

condição alinhada ao eixo

Em uma árvore de decisão, uma condição que envolve apenas um único recurso. Por exemplo, se a área for um elemento, o seguinte será uma condição alinhada ao eixo:

area > 200

Contraste com a condição oblíqua.

B

retropropagação

O algoritmo que implementa o gradiente descendente em redes neurais.

O treinamento de uma rede neural envolve muitas iterações do seguinte ciclo de duas etapas:

1. Durante a passagem para frente, o sistema processa um lote de exemplos para gerar previsões. O sistema compara cada previsão com cada valor de rótulo. A diferença entre a previsão e o valor do rótulo é a perda desse exemplo. O sistema agrega as perdas de todos os exemplos para calcular a perda total do lote atual.
2. Durante o passe para trás (backpropagação), o sistema reduz a perda ajustando os pesos de todos os neurônios em todas as camadas escondidas.

As redes neurais costumam conter muitos neurônios em muitas camadas escondidas. Cada um desses neurônios contribui para a perda geral de maneiras diferentes. A retropropagação determina se é necessário aumentar ou diminuir os pesos aplicados a determinados neurônios.

A taxa de aprendizado é um multiplicador que controla o grau em que cada passagem para trás aumenta ou diminui cada peso. Uma taxa de aprendizado grande aumentará ou diminuirá cada peso mais do que uma taxa de aprendizado pequena.

Em termos de cálculo, a retropropagação implementa a regra da cadeia do cálculo. Ou seja, a retropropagação calcula a derivada parcial do erro em relação a cada parâmetro.

Anos atrás, profissionais de ML precisavam escrever código para implementar a retropropagação. APIs modernas de ML, como o TensorFlow, agora implementam a retropropagação para você. Ufa.

ensabo

Um método para treinar um ensemble em que cada modelo constituinte é treinado em um subconjunto aleatório de exemplos de treinamento amostrados com substituição. Por exemplo, uma floresta aleatória é uma coleção de árvores de decisão treinadas com bagging.

O termo bagging é uma abreviação de botstrap aggregating.

pacote de palavras

Uma representação das palavras em uma frase ou passagem, independentemente da ordem. Por exemplo, "saco of words" representa as três frases a seguir de maneira idêntica:

• O cachorro pula
• pula o cachorro
• cachorro pula

Cada palavra é mapeada para um índice em um vetor esparso, em que o vetor tem um índice para cada palavra no vocabulário. Por exemplo, a frase o cachorro pula é mapeada em um vetor de recurso com valores diferentes de zero nos três índices correspondentes às palavras o, cachorro e saltos. O valor diferente de zero pode ser qualquer um destes:

• O número 1 indica a presença de uma palavra.
• Contagem do número de vezes que uma palavra aparece na bolsa. Por exemplo, se a frase fosse o cachorro marrom é um cachorro com pelo marrom, marrom e cão seriam representados como 2, enquanto as outras palavras seriam representadas como 1.
• Algum outro valor, como o logaritmo da contagem do número de vezes que uma palavra aparece no saco.

baseline

Um model usado como ponto de referência para comparar o desempenho de outro modelo (normalmente, um mais complexo). Por exemplo, um modelo de regressão logística pode servir como um bom valor de referência para um modelo profundo.

Para um problema específico, o valor de referência ajuda os desenvolvedores de modelos a quantificar o desempenho mínimo esperado que um novo modelo precisa alcançar para que ele seja útil.

lote

O conjunto de exemplos usado em uma iteração de treinamento. O tamanho do lote determina o número de exemplos em um lote.

Consulte época para uma explicação de como um lote se relaciona a uma época.

inferência em lote

O processo de inferência de previsões em vários exemplos não rotulados divididos em subconjuntos menores ("lotes").

A inferência em lote pode aproveitar os recursos de carregamento em paralelo dos ícones de acelerador. Ou seja, vários aceleradores podem inferir previsões simultaneamente em diferentes lotes de exemplos não rotulados, aumentando drasticamente o número de inferências por segundo.

normalização em lote

Normalização da entrada ou saída das funções de ativação em uma camada escondida. A normalização em lote pode oferecer os seguintes benefícios:

• Torne as redes neurais mais estáveis protegendo-se contra pesos outlier.
• Ative taxas de aprendizado mais altas, o que pode acelerar o treinamento.
• Reduza o overfitting.

tamanho do lote

O número de exemplos em um lote. Por exemplo, se o tamanho do lote for 100, o modelo processará 100 exemplos por iteração.

Confira a seguir estratégias conhecidas de tamanho de lote:

• Gradiente descendente estocástico (SGD, na sigla em inglês), em que o tamanho do lote é 1.
• Lote completo, em que o tamanho do lote é o número de exemplos em todo o conjunto de treinamento. Por exemplo, se o conjunto de treinamento tiver um milhão de exemplos, o tamanho do lote será de um milhão de exemplos. Em geral, o lote completo é uma estratégia ineficiente.
• minilote, em que o tamanho do lote geralmente fica entre 10 e 1.000. Em geral, o minilote é a estratégia mais eficiente.

Rede neural bayesiana

Uma rede neural probabilística que considera a incerteza em pesos e saídas. Um modelo de regressão de rede neural padrão normalmente prevê um valor escalar. Por exemplo, um modelo padrão prevê um preço de casa de 853.000. Por outro lado, uma rede neural bayesiana prevê uma distribuição de valores. Por exemplo, um modelo bayesiano prevê um preço de casa de 853.000 com um desvio padrão de 67.200.

Uma rede neural bayesiana se baseia no Teorema de Bayes para calcular incertezas em pesos e previsões. Uma rede neural bayesiana pode ser útil quando é importante quantificar a incerteza, como em modelos relacionados a produtos farmacêuticos. As redes neurais bayesianas também podem ajudar a evitar o overfitting.

Otimização bayesiana

Uma técnica do modelo de regressão probabilística para otimizar funções de objetivo computacionalmente caras, otimizando um alternativo que quantifica a incerteza usando uma técnica de aprendizado bayesiana. Como a otimização bayesiana é muito cara, ela geralmente é usada para otimizar tarefas caras para avaliar que têm um pequeno número de parâmetros, como a seleção de hiperparâmetros.

Equação de Bellman

No aprendizado por reforço, a seguinte identidade é atendida pela função Q ideal:

\[Q(s, a) = r(s, a) + \gamma \mathbb{E}_{s'|s,a} \max_{a'} Q(s', a')\]

Os algoritmos de aprendizado por reforço aplicam essa identidade para criar um aprendizado Q usando a seguinte regra de atualização:

\[Q(s,a) \gets Q(s,a) + \alpha \left[r(s,a) + \gamma \displaystyle\max_{\substack{a_1}} Q(s',a') - Q(s,a) \right] \]

Além do aprendizado por reforço, a equação de Bellman tem aplicações à programação dinâmica. Consulte o artigo da Wikipédia para a equação de Bellman (em inglês).

BERT (Bidirectional Encoder Representations from Transformers)

Um modelo de arquitetura para representação de textos. Um modelo BERT treinado pode atuar como parte de um modelo maior de classificação de texto ou outras tarefas de ML.

O BERT tem as seguintes características:

• Usa a arquitetura Transformer e, portanto, depende da autoatenção.
• Usa a parte codificador do transformador. A função do codificador é produzir boas representações de texto, em vez de realizar uma tarefa específica, como a classificação.
• É bidirecional.
• Usa mascaramento no treinamento não supervisionado.

As variantes do BERT incluem:

• ALBERT, que é um acrônimo para A Light BERT (em inglês).
• LaBSE (em inglês).

Consulte Open Sourcing BERT: State-of-the-Art Pre-training for Natural Language Processing (em inglês) para ter uma visão geral do BERT.

viés (ética/imparcialidade)

1. Estereótipos, preconceito ou favoritismo em relação a algumas coisas, pessoas ou grupos em detrimento de outras. Esses vieses podem afetar a coleta e a interpretação de dados, o design de um sistema e como os usuários interagem com ele. Formas desse tipo de viés incluem:

• viés de automação
• viés de confirmação
• viés do experimentador
• viés de atribuição a grupos
• viés implícito
• viés de grupo
• viés de homogeneidade externa ao grupo

2. Erro sistemático introduzido por um procedimento de amostragem ou relatório. Formas desse tipo de viés incluem:

• viés de cobertura
• viés de não resposta
• viés de participação
• viés de relatório
• viés de amostragem
• viés de seleção

Não confunda com o termo de viés em modelos de machine learning ou com o viés de previsão.

viés (matemática) ou termo de viés

Uma interceptação ou deslocamento de uma origem. O viés é um parâmetro em modelos de machine learning, simbolizado por um dos seguintes:

• b
• w₀

Por exemplo, viés é o valor b na seguinte fórmula:

Em uma linha bidimensional simples, viés significa apenas "interceptação em y". Por exemplo, a tendência da linha na ilustração a seguir é 2.

O viés existe porque nem todos os modelos começam na origem (0,0). Por exemplo, imagine que um parque de diversões custa 2 euros para entrar e mais 0,5 euro por hora de estadia de um cliente. Portanto, um modelo que mapeia o custo total tem um viés de 2, porque o menor custo é de 2 euros.

O viés não deve ser confundido com viés na ética e imparcialidade ou com viés de previsão.

bidirecional

Um termo usado para descrever um sistema que avalia o texto que antes e segue uma seção de destino. Por outro lado, um sistema unidirecional avalia apenas o texto que antecede uma seção de destino.

Por exemplo, considere um modelo de linguagem mascarada que precisa determinar probabilidades de uma ou mais palavras que representem o sublinhado na seguinte pergunta:

Como está _____ com você?

Um modelo de linguagem unidirecional precisaria basear as probabilidades apenas no contexto fornecido pelas palavras "o quê", "é" e "o". Por outro lado, um modelo de linguagem bidirecional também pode receber contexto de "com" e "você", o que pode ajudar o modelo a gerar previsões melhores.

modelo de linguagem bidirecional

Um modelo de linguagem que determina a probabilidade de um determinado token estar presente em um determinado local em um trecho de texto com base no texto anterior e seguinte.

bigrama

Um N-grama em que N=2.

classificação binária

Um tipo de tarefa de classificação que prevê uma das duas classes mutuamente exclusivas:

• a classe positiva
• a classe negativa

Por exemplo, cada um dos dois modelos de machine learning a seguir realiza a classificação binária:

• Um modelo que determina se as mensagens de e-mail são spam (a classe positiva) ou não são spam (a classe negativa).
• Um modelo que avalia sintomas médicos para determinar se uma pessoa tem uma doença específica (a classe positiva) ou não tem essa doença (a classe negativa).

Diferente da classificação multiclasse,

Consulte também regressão logística e limite de classificação.

condição binária

Em uma árvore de decisão, uma condição que tem apenas dois resultados possíveis, normalmente yes ou no. Por exemplo, esta é uma condição binária:

temperature >= 100

Contraste com a condição não binária.

agrupamento por classes

Sinônimo de agrupamento por classes.

BLEU (Subestudo de avaliação bilíngue)

Uma pontuação entre 0,0 e 1,0, inclusive, indicando a qualidade de uma tradução entre dois idiomas humanos (por exemplo, entre inglês e russo). Uma pontuação BLEU de 1,0 indica uma tradução perfeita. Uma pontuação BLEU de 0,0 indica uma tradução terrível.

impulsionando

Uma técnica de aprendizado de máquina que combina iterativamente um conjunto de classificadores simples e não muito precisos (conhecidos como classificadores "fracos") em um classificador com alta precisão (um classificador "forte") ao pesar melhor os exemplos que o modelo está classificando incorretamente no momento.

caixa delimitadora

Em uma imagem, as coordenadas (x, y) de um retângulo em torno de uma área de interesse, como o cachorro na imagem abaixo.

fazer o broadcast

expandir a forma de um operando em uma operação matemática de matriz para dimensões compatíveis com essa operação; Por exemplo, a álgebra linear exige que os dois operandos em uma operação de adição de matriz tenham as mesmas dimensões. Consequentemente, não é possível adicionar uma matriz de forma (m, n) a um vetor de comprimento n. A transmissão permite essa operação expandindo virtualmente o vetor de comprimento n para uma matriz de forma (m, n) replicando os mesmos valores para cada coluna.

Por exemplo, considerando as definições a seguir, a álgebra linear proíbe A+B porque A e B têm dimensões diferentes:

A = [[7, 10, 4],
     [13, 5, 9]]
B = [2]

No entanto, a transmissão permite a operação A+B expandindo virtualmente B para:

 [[2, 2, 2],
  [2, 2, 2]]

Portanto, A+B agora é uma operação válida:

[[7, 10, 4],  +  [[2, 2, 2],  =  [[ 9, 12, 6],
 [13, 5, 9]]      [2, 2, 2]]      [15, 7, 11]]

Consulte a descrição a seguir sobre transmissão em numpy para saber mais.

agrupamento por classes

Converter um único recurso em vários atributos binários chamados buckets ou classes, normalmente com base em um intervalo de valores. Normalmente, o recurso cortado é contínuo.

Por exemplo, em vez de representar a temperatura como um único recurso de ponto flutuante contínuo, você pode cortar intervalos de temperatura em buckets discretos, como:

• <= 10 graus Celsius seria o bucket "frio".
• 11 a 24 graus Celsius seria o bucket "temperado".
• >= 25 graus Celsius seria o bucket "morno".

O modelo vai tratar todos os valores no mesmo bucket de forma idêntica. Por exemplo, os valores 13 e 22 estão no bucket temperado. Portanto, o modelo trata os dois valores de maneira idêntica.

C

camada de calibragem

Um ajuste pós-previsão, normalmente para explicar o viés de previsão. As previsões e probabilidades ajustadas precisam corresponder à distribuição de um conjunto observado de rótulos.

geração de candidatos

O conjunto inicial de recomendações escolhidas por um sistema de recomendação. Por exemplo, considere uma livraria que oferece 100 mil títulos. A fase de geração de candidatos cria uma lista muito menor de livros adequados para um determinado usuário, digamos 500. Mas até 500 livros é demais para recomendar a um usuário. As fases subsequentes e mais caras de um sistema de recomendação (como pontuação e reclassificação) reduzem esses 500 a um conjunto muito menor e mais útil de recomendações.

amostragem de candidatos

Uma otimização do tempo de treinamento que calcula uma probabilidade para todos os rótulos positivos, usando, por exemplo, softmax, mas somente para uma amostra aleatória de rótulos negativos. Por exemplo, considerando um exemplo rotulados como beagle e dog, a amostragem de candidatos calcula as probabilidades previstas e os termos de perda correspondentes para:

• beagle (link em inglês)
• cachorro
• um subconjunto aleatório das classes negativas restantes (por exemplo, cat, lollipop, fence).

A ideia é que as classes negativas possam aprender com o reforço negativo menos frequente, desde que as classes positivas sempre recebam o reforço positivo adequado, e isso é observado empiricamente.

A amostragem de candidatos é mais eficiente em termos computacionais do que algoritmos de treinamento que calculam previsões para todas as classes negativas, especialmente quando o número de classes negativas é muito grande.

dados categóricos

Atributos com um conjunto específico de valores possíveis. Por exemplo, considere um recurso categórico chamado traffic-light-state, que só pode ter um dos três valores possíveis a seguir:

• red
• yellow
• green

Ao representar traffic-light-state como um recurso categórico, um modelo pode aprender os diferentes impactos de red, green e yellow no comportamento do motorista.

Os atributos categóricos às vezes são chamados de recursos discretos.

Contraste com dados numéricos.

modelo de linguagem causal

Sinônimo de modelo de linguagem unidirecional.

Consulte o modelo de linguagem bidirecional para contrastar diferentes abordagens direcionais na modelagem de linguagem.

centroid

O centro de um cluster, conforme determinado por um algoritmo k-means ou k-median. Por exemplo, se k for 3, o algoritmo k-means ou k-median encontrará três centroides.

cluster baseado em centroide

Uma categoria de algoritmos de clustering que organiza os dados em clusters não hierárquicos. k-means é o algoritmo de agrupamento baseado em centroides mais usado.

Contraste com algoritmos de clustering hierárquico.

comandos de cadeia de pensamento

Uma técnica de engenharia de comando que incentiva um modelo de linguagem grande (LLM) para explicar o raciocínio, etapa por etapa. Por exemplo, considere o comando a seguir, prestando atenção na segunda frase:

Quantas forças g um motorista experimentaria em um carro que varia de 0 a 90 quilômetros por hora em 7 segundos? Na resposta, mostre todos os cálculos relevantes.

A resposta do LLM provavelmente:

• Mostre uma sequência de fórmulas da física, conectando os valores 0, 60 e 7 nos locais adequados.
• Explique por que ele escolheu essas fórmulas e o que as diversas variáveis significam.

A solicitação de cadeia de pensamento força o LLM a executar todos os cálculos, o que pode levar a uma resposta mais correta. Além disso, os comandos de cadeia de pensamento permitem que o usuário examine as etapas do LLM para determinar se a resposta faz sentido.

chat

O conteúdo de uma conversa com um sistema de ML, normalmente um modelo de linguagem grande. A interação anterior em um chat (o que você digitou e como o modelo de linguagem grande respondeu) se torna o contexto das próximas partes do chat.

Um chatbot é um aplicativo de um modelo de linguagem grande.

checkpoint

Dados que capturam o estado dos parâmetros de um modelo em uma iteração de treinamento específica. Os checkpoints permitem exportar pesos de modelo ou executar treinamento em várias sessões. Eles também permitem que o treinamento continue com os erros passados (por exemplo, preempção do job).

Com o ajuste, o ponto de partida do treinamento do novo modelo será um checkpoint específico do modelo pré-treinado.

classe

Uma categoria à qual um rótulo pode pertencer. Exemplo:

• Em um modelo de classificação binária que detecta spam, as duas classes podem ser spam e não spam.
• Em um modelo de classificação multiclasse que identifica raças de cães, as classes podem ser poodle, beagle, pug e assim por diante.

Um modelo de classificação prevê uma classe. Por outro lado, um modelo de regressão prevê um número em vez de uma classe.

modelo de classificação

Um model cuja previsão é uma model. Por exemplo, estes são todos modelos de classificação:

• Um modelo que prevê o idioma de uma frase de entrada (francês? Espanhol? italiano?).
• Um modelo que prevê espécies de árvores (Maple? Oak? Baobá?).
• Um modelo que prevê a classe positiva ou negativa para uma condição médica específica.

Por outro lado, os modelos de regressão preveem números em vez de classes.

Dois tipos comuns de modelos de classificação são:

• classificação binária
• classificação multiclasse

limiar de classificação

Em uma classificação binária, um número entre 0 e 1 que converte a saída bruta de um modelo de regressão logística em uma previsão da classe positiva ou da classe negativa. O limiar de classificação é um valor escolhido por um ser humano, não pelo treinamento do modelo.

Um modelo de regressão logística gera um valor bruto entre 0 e 1. Depois, siga estas instruções:

• Se esse valor bruto for maior que o limiar de classificação, a classe positiva será prevista.
• Se esse valor bruto for menor que o limiar de classificação, a classe negativa será prevista.

Por exemplo, suponha que o limiar de classificação seja 0,8. Se o valor bruto for 0,9, o modelo vai prever a classe positiva. Se o valor bruto for 0,7, o modelo vai prever a classe negativa.

A escolha do limiar de classificação influencia muito o número de falsos positivos e falsos negativos.

conjunto de dados com desequilíbrio de classes

Um conjunto de dados para um problema de classificação em que o número total de rótulos de cada classe tem uma diferença significativa. Por exemplo, considere um conjunto de dados de classificação binária com dois rótulos divididos da seguinte maneira:

• 1.000.000 de rótulos negativos
• 10 rótulos positivos

A proporção de rótulos negativos para positivos é de 100.000 para 1,portanto, esse é um conjunto de dados desbalanceado.

Em contraste, o conjunto de dados a seguir não apresenta desequilíbrio entre as classes porque a proporção de rótulos negativos para rótulos positivos é relativamente próxima de 1:

• 517 rótulos negativos
• 483 rótulos positivos

Conjuntos de dados multiclasse também podem apresentar desequilíbrio de classes. Por exemplo, o seguinte conjunto de dados de classificação multiclasse também apresenta desequilíbrio de classes porque um rótulo tem muito mais exemplos do que os outros dois:

• 1.000.000 de rótulos com a classe "green"
• 200 marcadores com a classe "roxo"
• 350 marcadores com a classe "laranja"

Consulte também entropia, classe maior e classe minoritária.

recorte

Uma técnica para lidar com outliers realizando uma ou ambas as ações a seguir:

• Redução de valores de feature que são maiores que um limite máximo até esse limite máximo.
• aumentar valores de atributos menores que um limite mínimo até esse limite mínimo;

Por exemplo, suponha que <0,5% dos valores de um recurso específico estejam fora do intervalo de 40 a 60. Nesse caso, faça o seguinte:

• Recorte todos os valores acima de 60 (o limite máximo) para que fiquem exatamente 60.
• Recorte todos os valores abaixo de 40 (o limite mínimo) para que fiquem exatamente 40.

Outliers podem danificar os modelos, às vezes fazendo com que pesos transfiram durante o treinamento. Alguns valores atípicos também podem prejudicar drasticamente métricas como acurácia. O corte é uma técnica comum para limitar os danos.

O recorte de gradiente força os valores de gradiente dentro de um intervalo designado durante o treinamento.

Cloud TPU

Um acelerador de hardware especializado projetado para acelerar cargas de trabalho de machine learning no Google Cloud.

clustering

Agrupamento de exemplos relacionados, especialmente durante o aprendizado não supervisionado. Depois que todos os exemplos forem agrupados, uma pessoa poderá fornecer significado a cada cluster.

Existem muitos algoritmos de clustering. Por exemplo, os exemplos de clusters de algoritmo k-means se baseiam na proximidade de um centroide, como no diagrama a seguir:

Um pesquisador humano poderá então revisar os clusters e, por exemplo, rotular o cluster 1 como “árvores anãs” e o cluster 2 como “árvores em tamanho original”.

Como outro exemplo, considere um algoritmo de clustering com base na distância de um exemplo de um ponto central, ilustrado da seguinte maneira:

coadaptação

Quando os neurônios preveem padrões nos dados de treinamento, dependendo quase exclusivamente das saídas de outros neurônios específicos, em vez de no comportamento da rede como um todo. Quando os padrões que causam a coadaptação não estão presentes nos dados de validação, ela causa um overfitting. A regularização de dropout reduz a coadaptação porque o dropout garante que os neurônios não podem depender apenas de outros neurônios específicos.

filtragem colaborativa

Fazer previsões sobre os interesses de um usuário com base nos interesses de muitos outros usuários. A filtragem colaborativa é frequentemente usada em sistemas de recomendação.

deslocamento de conceito

Uma mudança na relação entre os atributos e o rótulo. Com o tempo, o deslocamento de conceito reduz a qualidade de um modelo.

Durante o treinamento, o modelo aprende a relação entre os recursos e os rótulos no conjunto de treinamento. Se os rótulos no conjunto de treinamento forem bons proxies para o mundo real, o modelo deverá fazer boas previsões do mundo real. No entanto, devido ao deslocamento de conceito, as previsões do modelo tendem a se degradar com o tempo.

Por exemplo, considere um modelo de classificação binária que prevê se um determinado modelo de carro é "eficiente em termos de combustível". Ou seja, os recursos podem ser:

• peso do carro
• compressão do mecanismo
• tipo de transmissão

enquanto o rótulo for:

• eficiência de combustível
• não eficiente em termos de combustível

No entanto, o conceito de "carro econômico" continua mudando. Um modelo de carro rotulado como econômico em 1994 provavelmente seria rotulado como não eficiente em termos de combustível em 2024. Um modelo que sofre de deslocamento de conceito tende a fazer previsões cada vez menos úteis ao longo do tempo.

Compare e veja as diferenças com a não estacionário.

transição

Em uma árvore de decisão, qualquer nó que avalie uma expressão. Por exemplo, a parte a seguir de uma árvore de decisão contém duas condições:

Uma condição também é chamada de divisão ou teste.

Contraste a condição com leaf.

Consulte também:

• condição binária
• condição não binária.
• eixo-alinhado-condição
• condição oblíqua

confabulação

Sinônimo de alucinação artificial.

"Confabulação" é provavelmente um termo tecnicamente mais preciso do que alucinação. No entanto, a alucinação ficou conhecida primeiro.

configuração

O processo de atribuição dos valores de propriedade iniciais usados para treinar um modelo, incluindo:

• as camadas de composição do modelo
• a localização dos dados
• hiperparâmetros, como:
  • taxa de aprendizado
  • iterações
  • otimizador
  • função de perda

Em projetos de machine learning, a configuração pode ser feita por meio de um arquivo de configuração especial ou usando bibliotecas de configuração, como as seguintes:

• HParam
• Gin (em inglês)
• Violão

viés de confirmação

a tendência de procurar, interpretar, favorecer e lembrar informações de uma maneira que confirme crenças ou hipóteses pré-existentes. Desenvolvedores de machine learning podem coletar ou rotular dados inadvertidamente de maneiras que influenciam um resultado que apoia essas crenças. O viés de confirmação é uma forma de viés implícito.

O viés do experimentador é uma forma de viés de confirmação em que um experimentador continua treinando os modelos até que uma hipótese pré-existente seja confirmada.

matriz de confusão

Uma tabela NxN que resume o número de previsões corretas e incorretas feitas por um modelo de classificação. Por exemplo, considere a seguinte matriz de confusão para um modelo de classificação binária:

A matriz de confusão anterior mostra o seguinte:

• Das 19 previsões em que as informações empíricas eram Tumor, o modelo classificou corretamente 18 e 1 incorretamente.
• Das 458 previsões em que as informações empíricas eram não tumor, o modelo classificou corretamente 452 e 6 incorretamente.

A matriz de confusão para um problema de classificação multiclasse pode ajudar a identificar padrões de erros. Por exemplo, considere a seguinte matriz de confusão para um modelo de classificação multiclasse de três classes que categoriza três tipos diferentes de íris (Virgínia, Versicolor e Setosa). Quando as informações empíricas eram a Virgínia, a matriz de confusão mostra que o modelo era muito mais propenso a prever incorretamente Versicolor do que Setosa:

Como outro exemplo, uma matriz de confusão pode revelar que um modelo treinado para reconhecer dígitos escritos à mão tende a prever erroneamente 9 em vez de 4 ou prever erroneamente 1 em vez de 7.

As matrizes de confusão contêm informações suficientes para calcular uma variedade de métricas de desempenho, incluindo precisão e recall.

análise de distrito eleitoral

Dividir uma sentença em estruturas gramaticais menores ("constituintes"). Uma parte posterior do sistema de ML, como um modelo de compreensão de linguagem natural, pode analisar os constituintes mais facilmente do que a frase original. Por exemplo, considere a seguinte frase:

Meu amigo adotou dois gatos.

Um analisador de distrito eleitoral pode dividir essa frase nos dois constituintes a seguir:

• Myfriend é um sintagma nominal.
• adopted two cats (em inglês) é um sintagma verbal.

Esses constituintes podem ser subdivididos em partes menores. Por exemplo, a frase verbal

adotou dois gatos

poderia ser subdividida em:

• adopted é um verbo.
• two cats é outro sintagma nominal.

incorporação de linguagem contextualizada

Uma incorporação que se aproxima de "entender" palavras e frases de maneiras que os falantes humanos nativos conseguem. Os embeddings de linguagem contextualizados podem entender sintaxe, semântica e contexto complexos.

Por exemplo, considere embeddings da palavra em inglês cow. Embeddings mais antigos, como word2vec, podem representar palavras em inglês, de forma que a distância no espaço de embedding de vaca para touro é semelhante à distância de ewe (ovelha fêmea) até ramo (ovelha macho) ou de fêmea para macho. As incorporações de linguagem contextualizadas podem ir além, reconhecendo que os falantes de inglês às vezes usam a palavra vaca para significar vaca ou touro.

janela de contexto

O número de tokens que um modelo pode processar em um determinado comando. Quanto maior a janela de contexto, mais informações o modelo pode usar para fornecer respostas coerentes e consistentes ao comando.

atributo contínuo

Um recurso de ponto flutuante com um intervalo infinito de valores possíveis, como temperatura ou peso.

Não use recursos discretos.

amostragem por conveniência

Usar um conjunto de dados não reunido cientificamente para executar experimentos rápidos. Mais tarde, é essencial mudar para um conjunto de dados cientificamente reunido.

convergência

Um estado atingido quando os valores de loss mudam muito pouco ou não a cada iteração. Por exemplo, a curva de perda a seguir sugere a convergência em cerca de 700 iterações:

Um modelo convergente quando um treinamento adicional não o aprimora.

No aprendizado profundo, os valores de perda às vezes permanecem constantes ou quase assim por muitas iterações antes de finalmente descerem. Durante um longo período de valores de perda constantes, você pode ter temporariamente uma falsa sensação de convergência.

Consulte também parada antecipada.

função convexa

Uma função em que a região acima do gráfico é um conjunto convexo (em inglês). A função convexa prototípica tem um formato parecido com a letra U. Por exemplo, veja a seguir todas as funções convexas:

Por outro lado, a função a seguir não é convexa. Observe como a região acima do gráfico não é um conjunto convexo:

Uma função estritamente convexa tem exatamente um ponto mínimo local, que também é o ponto mínimo global. As funções clássicas em forma de U são funções estritamente convexas. No entanto, algumas funções convexas (por exemplo, linhas retas) não têm formato de U.

otimização convexa

É o processo de usar técnicas matemáticas, como o gradiente descendente, para encontrar o mínimo de uma função convexa. Grande parte da pesquisa em machine learning se concentrou na formulação de vários problemas como problemas de otimização convexo e na resolução desses problemas com mais eficiência.

Para detalhes completos, consulte Boyd e Vandenberghe, Otimização convex (link em inglês).

conjunto convexo

Um subconjunto do espaço euclidiano em que uma linha desenhada entre dois pontos quaisquer no subconjunto permanece completamente dentro do subconjunto. Por exemplo, estas duas formas são conjuntos convexos:

Por outro lado, as duas formas a seguir não são conjuntos convexos:

convolução

Em matemática, casualmente, uma combinação de duas funções. No machine learning, uma convolução mistura o filtro convolucional e a matriz de entrada para treinar pesos.

O termo "convolução" em machine learning geralmente é uma forma abreviada de se referir a operação convolucional ou camada convolucional.

Sem as convoluções, um algoritmo de machine learning precisaria aprender um peso separado para cada célula em um tensor grande. Por exemplo, um treinamento de algoritmo de machine learning em imagens 2.000 x 2.000 seria forçado a encontrar 4 milhões de pesos separados. Graças às convoluções, um algoritmo de machine learning só precisa encontrar pesos para cada célula no filtro convolucional, reduzindo drasticamente a memória necessária para treinar o modelo. Quando o filtro convolucional é aplicado, ele é simplesmente replicado nas células, de modo que cada uma é multiplicada pelo filtro.

filtro convolucional

Um dos dois atores em uma operação convolucional. O outro agente é uma fração de uma matriz de entrada. Um filtro convolucional é uma matriz que tem a mesma classificação da matriz de entrada, mas uma forma menor. Por exemplo, considerando uma matriz de entrada de 28x28, o filtro pode ser qualquer matriz 2D menor que 28x28.

Na manipulação fotográfica, todas as células em um filtro convolucional são normalmente definidas para um padrão constante de 1 e 0. Em machine learning, os filtros convolucionais costumam incluir números aleatórios e, em seguida, a rede treina os valores ideais.

camada convolucional

Uma camada de uma rede neural profunda em que um filtro convolucional passa ao longo de uma matriz de entrada. Por exemplo, considere o seguinte filtro convolucional de 3x3:

A animação a seguir mostra uma camada convolucional composta de 9 operações convolucionais que envolvem a matriz de entrada 5x5. Observe que cada operação convolucional funciona em uma fração diferente de 3x3 da matriz de entrada. A matriz 3x3 resultante (à direita) consiste nos resultados das nove operações convolucionais:

rede neural convolucional

Uma rede neural em que pelo menos uma camada é uma camada convolucional. Uma rede neural convolucional típica consiste em alguma combinação das seguintes camadas:

• camadas convolucionais
• em pooling
• camadas densas

As redes neurais convolucionais tiveram grande sucesso em certos tipos de problemas, como o reconhecimento de imagens.

operação convolucional

A seguinte operação matemática de duas etapas:

1. Multiplicação por elemento do filtro convolucional e uma fração de uma matriz de entrada. A fração da matriz de entrada tem a mesma classificação e tamanho que o filtro convolucional.
2. Soma de todos os valores na matriz de produtos resultante.

Por exemplo, considere a seguinte matriz de entrada de 5x5:

Agora imagine o seguinte filtro convolucional 2x2:

Cada operação convolucional envolve uma única fração de 2x2 da matriz de entrada. Por exemplo, suponha que usemos a fatia 2x2 no canto superior esquerdo da matriz de entrada. Assim, a operação de convolução nessa fração é semelhante à seguinte:

Uma camada convolucional consiste em uma série de operações convolucionais, cada uma atuando em uma fração diferente da matriz de entrada.

custo

Sinônimo de loss.

treinamento conjunto

Uma abordagem de aprendizado semi-supervisionado é particularmente útil quando todas as condições a seguir são verdadeiras:

• A proporção de exemplos não rotulados para exemplos rotulados no conjunto de dados é alta.
• Isso é um problema de classificação (binário ou multiclasse).
• O conjunto de dados contém dois conjuntos diferentes de recursos preditivos independentes e complementares.

O treinamento em conjunto amplia os indicadores independentes e as transforma em um indicador mais forte. Por exemplo, considere um modelo de classificação que categoriza carros usados individuais como Bom ou Ruim. Um conjunto de recursos preditivos pode se concentrar em características agregadas, como ano, marca e modelo do carro. Outro conjunto de recursos preditivos pode se concentrar no registro de habilitação do proprietário anterior e no histórico de manutenção do carro.

O artigo fundamental sobre treinamento conjunto é Como combinar dados rotulados e não rotulados com treinamento conjunto, de Blum e Mitchell.

imparcialidade contrafactual

Uma métrica de imparcialidade que verifica se um classificador produz o mesmo resultado para um indivíduo e para outro indivíduo idêntico ao primeiro, exceto no que diz respeito a um ou mais atributos sensíveis. Avaliar a imparcialidade contrafactual em um classificador é um método para descobrir possíveis fontes de viés em um modelo.

Consulte Quando os mundos colidem: como integrar diferentes suposições contrafactual com imparcialidade para uma discussão mais detalhada sobre imparcialidade contrafactual.

viés de cobertura

Consulte o viés de seleção.

flor esmagadora

Uma sentença com um significado ambíguo. As floreiras apresentam um problema significativo no compreensão de linguagem natural (link em inglês). Por exemplo, o título A Red Tape Holds Up Skyscraper é um sucesso porque um modelo PLN poderia interpretar o título literalmente ou figurativamente.

crítico

Sinônimo de Deep Q-Network.

entropia cruzada

Uma generalização de Perda de registros para problemas de classificação multiclasse. A entropia cruzada quantifica a diferença entre duas distribuições de probabilidade. Consulte também perplexidade.

validação cruzada

Um mecanismo para estimar a eficácia de um model na generalização de novos dados, testando-o em relação a um ou mais subconjuntos de dados não sobrepostos do model.

função de distribuição cumulativa (CDF, na sigla em inglês)

Uma função que define a frequência das amostras menor ou igual a um valor desejado. Por exemplo, considere uma distribuição normal de valores contínuos. Uma CDF informa que aproximadamente 50% das amostras precisam ser menores ou iguais à média e que cerca de 84% das amostras precisam ser menores ou iguais a um desvio padrão acima da média.

D

análise de dados

entender os dados considerando amostras, medição e visualização. A análise de dados pode ser útil principalmente quando um conjunto de dados é recebido pela primeira vez, antes de criar o primeiro model. Ele também é crucial para entender os experimentos e depurar problemas no sistema.

aumento de dados

Aumentando artificialmente o intervalo e o número de exemplos de treinamento transformando exemplos atuais para criar outros exemplos. Por exemplo, suponha que as imagens sejam um dos seus recursos, mas seu conjunto de dados não contenha exemplos de imagens suficientes para que o modelo aprenda associações úteis. O ideal é adicionar imagens rotuladas suficientes ao conjunto de dados para permitir que o modelo seja treinado corretamente. Se isso não for possível, o aumento de dados poderá girar, esticar e refletir cada imagem para produzir muitas variantes da imagem original, possivelmente produzindo dados rotulados suficientes para permitir um treinamento excelente.

DataFrame

Um tipo de dados pandas conhecido para representar conjuntos de dados na memória.

O DataFrame é análogo a uma tabela ou planilha. Cada coluna de um DataFrame tem um nome (um cabeçalho) e cada linha é identificada por um número exclusivo.

Cada coluna em um DataFrame é estruturada como uma matriz 2D, mas é possível atribuir o próprio tipo de dados a cada coluna.

Consulte também a página de referência oficial do pandas.DataFrame (em inglês).

paralelismo de dados

Uma maneira de escalonar treinamento ou inferência que replica um modelo inteiro em vários dispositivos e transmite um subconjunto dos dados de entrada para cada um deles. O paralelismo de dados pode permitir treinamento e inferência em tamanhos de lote muito grandes. No entanto, o paralelismo de dados exige que o modelo seja pequeno o suficiente para caber em todos os dispositivos.

O paralelismo de dados normalmente acelera o treinamento e a inferência.

Consulte também paralelismo de modelos.

conjunto de dados ou conjunto de dados

Uma coleção de dados brutos, geralmente (mas não exclusivamente) organizados em um dos seguintes formatos:

• uma planilha
• um arquivo em formato CSV (valores separados por vírgula)

API Dataset (tf.data)

Uma API do TensorFlow de alto nível para ler dados e transformá-los em um formato exigido por um algoritmo de machine learning. Um objeto tf.data.Dataset representa uma sequência de elementos em que cada elemento contém um ou mais Tensors. Um objeto tf.data.Iterator fornece acesso aos elementos de um Dataset.

Para detalhes sobre a API Dataset, consulte tf.data: criar pipelines de entrada do TensorFlow no Guia do programador do TensorFlow.

fronteira de decisão

O separador entre classes aprendidas por um modelo em uma classe binária ou problemas de classificação multiclasse. Por exemplo, na imagem a seguir, que representa um problema de classificação binária, a fronteira de decisão é a fronteira entre a classe laranja e a azul:

floresta de decisão

Um modelo criado a partir de várias árvores de decisão. Uma floresta de decisão faz uma previsão agregando as previsões das árvores de decisão. Os tipos conhecidos de florestas de decisão incluem florestas aleatórias e árvores otimizadas com gradiente.

limite de decisão

Sinônimo de limite de classificação.

árvore de decisão

Um modelo de aprendizado supervisionado composto por um conjunto de conditions e conditions organizadas hierarquicamente. Por exemplo, veja a seguir uma árvore de decisão:

decodificador

Em geral, qualquer sistema de ML que converte uma representação processada, densa ou interna em uma representação mais bruta, esparsa ou externa.

Geralmente, os decodificadores são um componente de um modelo maior, em que são frequentemente pareados com um codificador.

Em tarefas sequência para sequência, um decodificador começa com o estado interno gerado pelo codificador para prever a próxima sequência.

Consulte Transformer para a definição de um decodificador na arquitetura de transformador.

modelo profundo

Uma rede neural que contém mais de uma camada escondida.

Um modelo profunda também é chamado de rede neural profunda.

Contraste com o modelo amplo.

de rede neural profunda, amplamente utilizado

Sinônimo de modelo profundo.

Rede Q profunda (DQN, na sigla em inglês)

No aprendizado Q, uma rede neural profunda que prevê funções Q.

Critic é um sinônimo de Deep Q-Network.

paridade demográfica

Uma métrica de imparcialidade que é satisfeita se os resultados da classificação de um modelo não dependem de um determinado atributo sensível.

Por exemplo, se tanto liliputianos quanto brobdingnagians se inscreverem na universidade Glubbdubdrib, a paridade demográfica será alcançada se a porcentagem de liliputianos admitida for a mesma, independentemente de um grupo ser, em média, mais qualificado que o outro.

Contraste com as probabilidades equalizadas e a igualdade de oportunidade, que permitem que os resultados da classificação dependam de atributos confidenciais, mas não permitem que os resultados de classificação de determinados rótulos de informações empíricas especificados dependam de atributos sensíveis. Consulte "Como atacar a discriminação com um aprendizado de máquina mais inteligente" (em inglês) para uma visualização que explora as vantagens e desvantagens da otimização da paridade demográfica.

remover ruído

Uma abordagem comum de aprendizado autossupervisionado em que:

1. Ruído é adicionado artificialmente ao conjunto de dados.
2. O model tenta remover o ruído.

A remoção de ruído permite aprender com exemplos não rotulados. O conjunto de dados original serve como destino ou rótulo e os dados com ruído como entrada.

Alguns modelos de linguagem mascarada usam a remoção de ruído da seguinte maneira:

1. O ruído é adicionado artificialmente a uma frase não rotulada mascarando alguns dos tokens.
2. O modelo tenta prever os tokens originais.

atributo denso

Um recurso em que a maioria ou todos os valores são diferentes de zero, normalmente um Tensor de valores de ponto flutuante. Por exemplo, o Tensor de 10 elementos a seguir é denso porque 9 dos valores dele são diferentes de zero:

Diferente do recurso esparso.

camada densa

Sinônimo de camada totalmente conectada.

profundidade

A soma dos itens a seguir em uma rede neural:

• o número de camadas escondidas
• o número de camadas de saída, que normalmente é 1
• o número de camadas de incorporação

Por exemplo, uma rede neural com cinco camadas escondidas e uma camada final tem uma profundidade de 6.

Observe que a camada de entrada não influencia a profundidade.

rede neural convolucional separável em profundidade (sepCNN)

Uma arquitetura de rede neural convolucional baseada em Inception, mas em que os módulos Inception são substituídos por convoluções separáveis em profundidade. Também conhecido como Xception.

Uma convolução separável em profundidade (também abreviada como convolução separável) fatora uma convolução 3D padrão em duas operações de convolução separadas que são mais eficientes em termos computacionais: primeiro, uma convolução em profundidade, com profundidade de 1 (n ✕ n ✕ 1) e, depois, convolução pontual, com comprimento e largura 1 (1 ✕ 1).

Para saber mais, consulte Xception: aprendizado profundo com convoluções separáveis por profundidade (em inglês).

rótulo derivado

Sinônimo de marcador de proxy.

dispositivo

Um termo sobrecarregado com as duas definições possíveis a seguir:

1. Uma categoria de hardware que pode executar uma sessão do TensorFlow, incluindo CPUs, GPUs e TPUs.
2. Ao treinar um modelo de ML em chips de acelerador (GPUs ou TPUs), a parte do sistema que realmente manipula tensores e embeddings. O dispositivo é executado em chips de acelerador. Por outro lado, o host geralmente é executado em uma CPU.

privacidade diferencial

Em machine learning, uma abordagem de anonimização para evitar que dados sensíveis (por exemplo, informações pessoais de um indivíduo) incluídos no conjunto de treinamento de um modelo sejam expostos. Essa abordagem garante que o model não aprenda ou se lembre muito de um indivíduo específico. Isso é feito por meio da amostragem e da adição de ruído durante o treinamento do modelo para ocultar pontos de dados individuais, reduzindo o risco de exposição de dados de treinamento confidenciais.

A privacidade diferencial também é usada fora do machine learning. Por exemplo, os cientistas de dados às vezes usam a privacidade diferencial para proteger a privacidade individual ao calcular estatísticas de uso do produto para diferentes informações demográficas.

redução de dimensão

Diminuir o número de dimensões usadas para representar um recurso específico em um vetor de recurso, normalmente convertendo em um vetor de embedding.

dimensões

Termo sobrecarregado com qualquer uma das seguintes definições:

• O número de níveis de coordenadas em um Tensor. Exemplo:

  • Um escalar tem dimensões zero, por exemplo, ["Hello"].
  • Um vetor tem uma dimensão, por exemplo, [3, 5, 7, 11].
  • Uma matriz tem duas dimensões. Por exemplo, [[2, 4, 18], [5, 7, 14]].

  É possível especificar exclusivamente uma célula específica em um vetor unidimensional com uma coordenada. São necessárias duas coordenadas para especificar com exclusividade uma determinada célula em uma matriz bidimensional.

• O número de entradas em um vetor de recurso.

• O número de elementos em uma camada de incorporação.

comandos diretos

Sinônimo de comando zero-shot.

atributo discreto

Um recurso com um conjunto finito de valores possíveis. Por exemplo, um atributo com valores que só podem ser animal, vegetal ou mineral é um atributo discreto (ou categórico).

Contraste com o recurso contínuo.

modelo discriminativo

Um model que prevê model de um conjunto de um ou mais model. Mais formalmente, os modelos discriminativos definem a probabilidade condicional de uma saída, de acordo com os recursos e pesos, ou seja:

p(output | features, weights)

Por exemplo, um modelo que prevê se um e-mail é spam a partir de atributos e pesos é um modelo discriminativo.

A grande maioria dos modelos de aprendizado supervisionado, incluindo os de classificação e regressão, é discriminativa.

Compare com o modelo generativo.

discriminador

Um sistema que determina se os exemplos são reais ou falsos.

Como alternativa, o subsistema dentro de uma rede adversária generativa que determina se os exemplos criados pelo gerador são reais ou falsos.

impacto diferente

Tomar decisões sobre pessoas que afetam diferentes subgrupos populacionais de maneira desproporcional. Isso geralmente se refere a situações em que um processo de tomada de decisão algorítmico prejudica ou beneficia alguns subgrupos mais do que outros.

Por exemplo, suponha que um algoritmo que determina a qualificação de um Lilliputian para um empréstimo imobiliário em miniatura tem mais probabilidade de classificá-lo como "não qualificado" se o endereço de correspondência dele contiver um determinado código postal. Se os Lilliputians de Big-Endian tiverem mais probabilidade de ter endereços de correspondência com esse código postal do que Little-Endian Lilliputians, esse algoritmo poderá resultar em impacto diferente.

Contraste com o tratamento de disparidade, que se concentra em disparidades que resultam quando as características de um subgrupo são entradas explícitas em um processo de tomada de decisões algorítmico.

tratamento desigual

Considerar os atributos sensíveis dos participantes em um processo de tomada de decisão algorítmico, de modo que diferentes subgrupos de pessoas sejam tratados de maneira diferente.

Por exemplo, considere um algoritmo que determina a qualificação de Lilliputians para um empréstimo imobiliário em miniatura com base nos dados fornecidos no pedido de empréstimo. Se o algoritmo usa a afiliação de um Lilliputian como Big-Endian ou Little-Endian como entrada, ele está aplicando um tratamento diferente nessa dimensão.

Contraste com o impacto desigual, que se concentra em disparidades nos impactos sociais das decisões algorítmicas em subgrupos, independentemente de esses subgrupos serem entradas do modelo.

destilação

O processo de reduzir o tamanho de um model (conhecido como model) em um modelo menor (conhecido como model) que emula as previsões do modelo original da maneira mais fiel possível. Ela é útil porque o modelo menor tem dois benefícios principais em relação ao modelo maior (o professor):

• Tempo de inferência mais rápido
• Redução do uso de memória e energia

No entanto, as previsões do aluno geralmente não são tão boas quanto as do professor.

A extração treina o modelo estudante para minimizar uma função de perda com base na diferença entre os resultados das previsões dos modelos estudante e professor.

Compare e compare a destilação com os seguintes termos:

• ajustes
• aprendizado baseado em comandos

Distribuição

A frequência e o intervalo de valores diferentes para um determinado recurso ou rótulo. Uma distribuição captura a probabilidade de um valor específico.

A imagem a seguir mostra histogramas de duas distribuições diferentes:

• À esquerda, a distribuição da lei de poder em relação ao número de pessoas que têm essa riqueza.
• À direita, uma distribuição normal da altura em relação ao número de pessoas que têm essa altura.

Entender a distribuição de cada recurso e rótulo pode ajudar a determinar como normalizar valores e detectar outliers.

A frase fora da distribuição refere-se a um valor que não aparece no conjunto de dados ou é muito raro. Por exemplo, uma imagem do planeta Saturno seria considerada fora de distribuição em um conjunto de dados composto de imagens de gatos.

clustering dividido

Consulte clustering hierárquico.

redução de amostragem

Termo sobrecarregado que pode significar:

• Reduzir a quantidade de informações em um recurso para treinar um modelo com mais eficiência. Por exemplo, antes de treinar um modelo de reconhecimento de imagem, é necessário reduzir a amostragem de imagens de alta resolução para um formato de resolução menor.
• Treinamento em uma porcentagem desproporcionalmente baixa de exemplos de classe super-representados para melhorar o treinamento de modelos em classes sub-representadas. Por exemplo, em um conjunto de dados com desequilíbrio de classe, os modelos tendem a aprender muito sobre a classe principal e não o suficiente sobre a classe minoritária. A redução de amostragem ajuda a equilibrar a quantidade de treinamento nas classes de maioria e minoria.

DQN

Abreviação de Deep Q-Network.

regularização de dropout

Uma forma de regularização útil no treinamento de redes neurais. A regularização de dropout remove uma seleção aleatória de um número fixo de unidades em uma camada de rede para uma única etapa de gradiente. Quanto mais unidades forem descartadas, mais forte será a regularização. Isso é análogo ao treinamento da rede para emular um ensemble exponencialmente grande de redes menores. Para detalhes completos, consulte Dropout: uma maneira simples de evitar o overfitting das redes neurais.

dinâmico

Algo feito com frequência ou continuamente. Os termos dinâmico e on-line são sinônimos em machine learning. Veja a seguir usos comuns de dinâmico e on-line no machine learning:

• Um modelo dinâmico (ou modelo on-line) é um modelo que é treinado de novo com frequência ou continuamente.
• O treinamento dinâmico (ou treinamento on-line) é o processo de treinamento frequente ou contínuo.
• A inferência dinâmica (ou inferência on-line) é o processo de geração de previsões sob demanda.

modelo dinâmico

Um model que é retreinado com frequência (talvez até continuamente). Um modelo dinâmico é um "aprendizado ao longo da vida" que se adapta constantemente à evolução dos dados. Um modelo dinâmico também é conhecido como modelo on-line.

Contraste com o modelo estático.

E

execução rápida

Um ambiente de programação do TensorFlow em que as operations são executadas imediatamente. Por outro lado, as operações chamadas na execução de gráfico não são executadas até que sejam explicitamente avaliadas. A execução antecipada é uma interface imperativa, parecida com o código na maioria das linguagens de programação. Programas de execução áspera geralmente são muito mais fáceis de depurar do que programas de execução de gráfico.

parada antecipada

Um método de regularização que envolve o encerramento do treinamento antes da perda do treinamento terminar. Na parada antecipada, você para intencionalmente o treinamento do modelo quando a perda em um conjunto de dados de validação começa a aumentar, ou seja, quando o desempenho da generalização piora.

distância da movimentação da Terra (EMD)

Uma medida da semelhança relativa de duas distribuições. Quanto menor a distância da movimentação da Terra, mais semelhantes são as distribuições.

editar distância

Uma medida da semelhança entre duas strings de texto. Em machine learning, a edição da distância é útil porque é simples de calcular e é uma maneira eficaz de comparar duas strings conhecidas por serem semelhantes ou de encontrar strings semelhantes a uma determinada string.

Há várias definições para a distância de edição, cada uma usando operações de string diferentes. Por exemplo, a Distância de Levenshtein (link em inglês) considera o menor número de operações de exclusão, inserção e substituição.

Por exemplo, a distância de Levenshtein entre as palavras "coração" e "dardos" é 3 porque as três edições a seguir são as menos alterações para transformar uma palavra em outra:

1. coração → deart (substitua "h" por "d")
2. deart → dart (excluir "e")
3. dart → darts (insert "s")

Notação Einsum

Uma notação eficiente para descrever como dois tensores são combinados. Os tensores são combinados ao multiplicar os elementos de um tensor pelos elementos do outro e, em seguida, somando os produtos. A notação Einsum usa símbolos para identificar os eixos de cada tensor. Esses mesmos símbolos são reorganizados para especificar a forma do novo tensor resultante.

NumPy fornece uma implementação comum de Einsum.

camada de embedding

Uma camada escondida especial que treina um recurso categórico de alta dimensão para aprender gradualmente um vetor de embedding de dimensão menor. Uma camada de incorporação permite que uma rede neural treine com muito mais eficiência do que o treinamento apenas com o atributo categórico de alta dimensão.

Por exemplo, a Terra atualmente suporta cerca de 73.000 espécies de árvores. Suponha que as espécies de árvores sejam um recurso no modelo. Portanto, a camada de entrada dele inclui um vetor one-hot com 73.000 elementos. Por exemplo, talvez baobab fosse representado algo assim:

Uma matriz de 73.000 elementos é muito longa. Se você não adicionar uma camada de embedding ao modelo, o treinamento será muito demorado,devido à multiplicação de 72.999 zeros. Talvez você escolha a camada de embedding para consistir em 12 dimensões. Consequentemente, a camada de embedding aprende gradualmente um novo vetor de embedding para cada espécie de árvore.

Em determinadas situações, o hash é uma alternativa razoável a uma camada de embedding.

espaço de embedding

O espaço vetorial d-dimensional que contém um espaço vetorial de dimensão mais alta é mapeado para ele. O ideal é que o espaço de embedding contenha uma estrutura que produza resultados matemáticos significativos. Por exemplo, em um espaço de embedding ideal, a adição e subtração de embeddings pode resolver tarefas de analogia de palavras.

O produto de pontos de dois embeddings é uma medida da semelhança entre eles.

vetor de embedding

De modo geral, uma matriz de números de ponto flutuante retirados de qualquer camada escondida que descreva as entradas dessa camada. Muitas vezes, um vetor de embedding é a matriz de números de ponto flutuante treinados em uma camada de embedding. Por exemplo, suponha que uma camada de embedding precise aprender um vetor de incorporação para cada uma das 73.000 espécies de árvores na Terra. Talvez a matriz a seguir seja o vetor de embedding de um baobá:

Um vetor de embedding não é um monte de números aleatórios. Uma camada de embedding determina esses valores por meio do treinamento, semelhante à maneira como uma rede neural aprende outros pesos durante o treinamento. Cada elemento da matriz é uma classificação, além de alguma característica de uma espécie de árvore. Qual elemento representa a característica de qual espécie de árvore? Isso é muito difícil para os humanos determinarem.

A parte matematicamente notável de um vetor de embedding é que itens semelhantes têm conjuntos semelhantes de números de ponto flutuante. Por exemplo, espécies de árvores semelhantes têm um conjunto mais semelhante de números de ponto flutuante do que espécies de árvores diferentes. As sequoias e as sequoias são espécies de árvores relacionadas, por isso têm um conjunto mais semelhante de números flutuantes do que as sequoias e coqueiros. Os números no vetor de embedding mudarão sempre que você treinar novamente o modelo, mesmo se ele for treinado outra vez com uma entrada idêntica.

função de distribuição cumulativa empírica (eCDF ou EDF)

Uma função de distribuição cumulativa com base em medições empíricas de um conjunto de dados real. O valor da função em qualquer ponto ao longo do eixo x é a fração de observações no conjunto de dados que são menores ou iguais ao valor especificado.

minimização do risco empírico (ERM)

Escolher a função que minimiza a perda no conjunto de treinamento. Compare a minimização do risco estrutural.

codificador

Em geral, qualquer sistema de ML que converte de uma representação bruta, esparsa ou externa em uma representação mais processada, densa ou mais interna.

Codificadores são geralmente um componente de um modelo maior, em que frequentemente são pareados com um decodificador. Alguns Transformers emparelham codificadores com decodificadores, embora outros transformadores usem apenas o codificador ou apenas o decodificador.

Alguns sistemas usam a saída do codificador como entrada para uma rede de classificação ou regressão.

Em tarefas sequência para sequência, um codificador usa uma sequência de entrada e retorna um estado interno (um vetor). Em seguida, o decodificador usa esse estado interno para prever a próxima sequência.

Consulte Transformer para a definição de um codificador na arquitetura de transformador.

conjunto

Uma coleção de modelos treinados de forma independente, cujas previsões são calculadas ou agregadas. Em muitos casos, um ensemble produz previsões melhores do que um único modelo. Por exemplo, uma floresta aleatória é um ensemble criado a partir de várias árvores de decisão. Observe que nem todas as florestas de decisão são conjuntos.

entropia

Em teoria da informação, é uma descrição da imprevisibilidade da distribuição de probabilidade. Por outro lado, a entropia também é definida pela quantidade de informações que cada exemplo contém. Uma distribuição tem a maior entropia possível quando todos os valores de uma variável aleatória são igualmente prováveis.

A entropia de um conjunto com dois valores possíveis "0" e "1" (por exemplo, os rótulos em um problema de classificação binária) tem a seguinte fórmula:

  H = -p log p - q log q = -p log p - (1-p) * log (1-p)

onde:

• H é a entropia.
• p é a fração de exemplos "1".
• q é a fração de exemplos "0". Observe que q = (1 - p)
• log geralmente é log₂. Nesse caso, a unidade de entropia é um pouco.

Por exemplo, suponha que:

• 100 exemplos contêm o valor "1"
• 300 exemplos contêm o valor "0"

Portanto, o valor de entropia é:

• p = 0,25
• q = 0,75
• H = (-0,25)log₂(0,25) - (0,75)log₂(0,75) = 0,81 bits por exemplo

Um conjunto que é perfeitamente equilibrado (por exemplo, 200 "0" e 200 "1"s) teria uma entropia de 1,0 bit por exemplo. À medida que um conjunto se torna mais desequilibrado, a entropia dele se move em direção a 0,0.

Em árvores de decisão, a entropia ajuda a formular ganho de informações para ajudar o divisor a selecionar as condições durante o crescimento de uma árvore de decisão de classificação.

Comparar a entropia com:

• impureza de gini
• Função de perda de entropia cruzada

A entropia é frequentemente chamada de entropia de Shannon.

de produção

No aprendizado por reforço, o mundo que contém o agente e permite que ele observe o estado desse mundo. Por exemplo, o mundo representado pode ser um jogo como o xadrez ou um mundo físico como um labirinto. Quando o agente aplica uma ação ao ambiente, o ambiente transita entre os estados.

episódio

No aprendizado por reforço, cada uma das tentativas repetidas do agente de aprender um ambiente.

época

Um treinamento completo passa por todo o conjunto de treinamento, de modo que cada exemplo seja processado uma vez.

Um período representa as iterações de treinamento de N/tamanho do lote, em que N é o número total de exemplos.

Por exemplo, suponha que:

• O conjunto de dados é composto por 1.000 exemplos.
• O tamanho do lote é de 50 exemplos.

Portanto, um único período requer 20 iterações:

1 epoch = (N/batch size) = (1,000 / 50) = 20 iterations

política épsilon greedy

No aprendizado por reforço, uma política que segue uma política aleatória com probabilidade de épsilon ou uma política gananciosa. Por exemplo, se épsilon for 0,9, a política seguirá uma política aleatória 90% das vezes e uma política gananciosa 10% das vezes.

Ao longo de episódios sucessivos, o algoritmo reduz o valor de épsilon para mudar de uma política aleatória para uma gananciosa. Ao alterar a política, o agente primeiro explora aleatoriamente o ambiente e, em seguida, explora gananciosamente os resultados da exploração aleatória.

igualdade de oportunidade

Uma métrica de imparcialidade para avaliar se um modelo está prevendo o resultado desejável igualmente bem para todos os valores de um atributo sensível. Em outras palavras, se o resultado desejado de um modelo for a classe positiva, a meta será que a taxa de verdadeiro positivo seja a mesma para todos os grupos.

A igualdade de oportunidade está relacionada à probabilidade igualitária, o que exige que ambos as taxas de verdadeiros positivos e as taxas de falsos positivos sejam as mesmas para todos os grupos.

Suponha que a Glubbdubdrib University admita liliputianos e brobdingnagians em um rigoroso programa de matemática. As escolas secundárias de Lilliputians oferecem um currículo robusto com aulas de matemática, e a grande maioria dos alunos se qualifica para o programa universitário. As escolas secundárias dos Brobdingnagians não oferecem aulas de matemática e, como resultado, muito menos alunos são qualificados. A igualdade de oportunidade é cumprida para o rótulo preferencial de "aceito" em relação à nacionalidade (liliputiano ou brobdingnagiano) se os alunos qualificados tiverem a mesma probabilidade de serem admitidos, independentemente de serem liliputianos ou brobdingnagianos.

Por exemplo, suponha que 100 Lilliputians e 100 Brobdingnagians se inscrevam na Glubbdubdrib University, e as decisões de admissão são tomadas da seguinte maneira:

Tabela 1. Candidatos liliputianos (90% são qualificados)

Tabela 2. Candidatos a Brobdingnagian (10% qualificados):

Os exemplos anteriores atendem à igualdade de oportunidade de aceitação de estudantes qualificados, porque Liliputians e Brobdingnagians qualificados têm 50% de chance de serem admitidos.

Embora a igualdade de oportunidade seja satisfatória, as duas métricas de imparcialidade a seguir não são:

• Paridade demográfica: a admissão na universidade é de 48% dos liliputianos, mas apenas 14% dos brobdingnagias são aceitos.
• Chances iguais: embora os estudantes Liliputianos e Brobdingnagianos qualificados tenham a mesma chance de serem admitidos, a restrição extra de que Liliputianos e Brobdingnagians não qualificados têm a mesma chance de serem rejeitados não é satisfeita. Os liliputianos não qualificados têm uma taxa de rejeição de 70%, enquanto os não qualificados têm uma taxa de rejeição de 90%.

Consulte "Igualdade de oportunidade no aprendizado supervisionado" para uma discussão mais detalhada sobre a igualdade de oportunidade. Consulte também "Como atacar a discriminação com um machine learning mais inteligente" (em inglês) para uma visualização que explora as vantagens e desvantagens da otimização voltada à igualdade de oportunidade.

probabilidades iguais

Uma métrica de imparcialidade para avaliar se um modelo está prevendo resultados igualmente bem para todos os valores de um atributo sensível em relação à classe positiva e à classe negativa, não apenas a uma ou a outra exclusivamente. Em outras palavras, a taxa de verdadeiro positivo e a taxa de falso negativo precisam ser as mesmas para todos os grupos.

A probabilidade igualitária está relacionada à igualdade de oportunidade, que se concentra apenas nas taxas de erro de uma única classe (positiva ou negativa).

Por exemplo, suponha que a Universidade Glubbdubdrib admita liliputianos e pinadores em um rigoroso programa de matemática. As escolas secundárias de Lilliputians oferecem um currículo robusto de aulas de matemática, e a grande maioria dos alunos está qualificada para o programa universitário. As escolas de ensino médio dos Brobdingnagians não oferecem aulas de matemática e, como resultado, muito menos alunos são qualificados. As probabilidades iguais são satisfeitas, desde que não importe se um candidato é liliputiano ou brobdingnagian, se ele for qualificado, a probabilidade de ser admitido no programa é igual e, se ele não for qualificado, também terá a mesma probabilidade de ser rejeitado.

Suponha que 100 Liliputianos e 100 Brobdingnagians se inscrevam na Universidade Glubbdubdrib, e as decisões de admissão são tomadas da seguinte maneira:

Tabela 3. Candidatos liliputianos (90% são qualificados)

Tabela 4. Candidatos a Brobdingnagian (10% qualificados):

As probabilidades equalizadas são satisfeitas porque os estudantes qualificados de Lilliputian e Brobdingnagian têm 50% de chance de serem aceitos, e Lilliputian e Brobdingnagian não qualificados têm 80% de chance de serem rejeitados.

As probabilidades igualitárias são definidas formalmente em "Igualdade de oportunidade no aprendizado supervisionado" da seguinte forma: "previsor eval atende a probabilidades equalizadas em relação ao atributo protegido A e resultado Y se ø e A são independentes, condicionais em Y".

Estimator

Uma API TensorFlow obsoleta. Use tf.keras em vez dos estimadores.

Avaliação

O processo de medição da qualidade das previsões de um modelo de machine learning. Ao desenvolver um modelo, você normalmente aplica métricas de avaliação não apenas no conjunto de treinamento, mas também em um conjunto de validação e um conjunto de teste. Também é possível usar métricas de avaliação para comparar modelos diferentes.

exemplo.

Os valores de uma linha de features e possivelmente um label. Os exemplos no aprendizado supervisionado se enquadram em duas categorias gerais:

• Um exemplo rotulado consiste em um ou mais recursos e um rótulo. Os exemplos rotulados são usados durante o treinamento.
• Um exemplo não rotulado consiste em um ou mais recursos, mas nenhum rótulo. Exemplos não rotulados são usados durante a inferência.

Por exemplo, suponha que você esteja treinando um modelo para determinar a influência das condições climáticas nos resultados das avaliações dos alunos. Aqui estão três exemplos rotulados:

Aqui estão três exemplos sem rótulos:

A linha de um conjunto de dados é normalmente a origem bruta de um exemplo. Ou seja, um exemplo normalmente consiste em um subconjunto das colunas no conjunto de dados. Além disso, os atributos em um exemplo também podem incluir atributos sintéticos, como cruzamentos de atributos.

repetição da experiência

No aprendizado por reforço, uma técnica de DQN (em inglês) usada para reduzir correlações temporais nos dados de treinamento. O agente armazena as transições de estado em um buffer de repetição e, em seguida, faz amostragem de transições do buffer de repetição para criar dados de treinamento.

viés do experimentador

Consulte o viés de confirmação.

problema de gradiente em explosão

A tendência dos gradientes em redes neurais profundas (especialmente as redes neurais recorrentes) de se tornarem surpreendentemente íngremes (altas). Gradientes íngremes geralmente causam atualizações muito grandes nos pesos de cada nó em uma rede neural profunda.

É difícil ou impossível treinar os modelos que sofrem do problema de gradiente em explosão. O recorte de gradiente (link em inglês) pode mitigar esse problema.

Compare com o problema de extinção do gradiente.

F

F₁

Uma métrica de classificação binária "de visualização completa" que depende de precisão e recall. Aqui está a fórmula:

Por exemplo, considerando o seguinte:

• precisão = 0,6
• recall = 0,4

Quando a precisão e o recall são bastante semelhantes (como no exemplo anterior), F₁ é próximo da média. Quando a precisão e o recall são significativamente diferentes, F₁ está mais próximo do valor mais baixo. Exemplo:

• precisão = 0,9
• recall = 0,1

restrição de imparcialidade

• Pós-processamento da saída do modelo.
• Alterar a função de perda para incorporar uma penalidade por violar uma métrica de imparcialidade.
• Adicionar diretamente uma restrição matemática a um problema de otimização.

métrica de imparcialidade

Uma definição matemática de "imparcialidade" que é mensurável. Estas são algumas métricas de imparcialidade mais usadas:

• chances iguais
• paridade preditiva
• imparcialidade contrafactual
• paridade demográfica

Muitas métricas de imparcialidade são mutuamente exclusivas. Consulte incompatibilidade de métricas de imparcialidade.

falso negativo (FN)

Um exemplo em que o modelo prevê por engano a classe negativa. Por exemplo, o modelo prevê que uma mensagem de e-mail específica não é spam (a classe negativa), mas essa mensagem é, na verdade, spam.

taxa de falso negativo

A proporção de exemplos positivos reais para os quais o modelo previu erroneamente a classe negativa. A fórmula a seguir calcula a taxa de falso negativo:

falso positivo (FP)

Um exemplo em que o modelo prevê por engano a classe positiva. Por exemplo, o modelo prevê que uma determinada mensagem de e-mail é spam (a classe positiva), mas que ela não é spam.

taxa de falsos positivos (FPR)

A proporção de exemplos negativos reais para os quais o modelo previu erroneamente a classe positiva. A fórmula a seguir calcula a taxa de falso positivo:

A taxa de falsos positivos é o eixo X em uma curva ROC.

recurso

Uma variável de entrada para um modelo de machine learning. Um exemplo consiste em um ou mais recursos. Por exemplo, suponha que você esteja treinando um modelo para determinar a influência das condições climáticas nas notas dos alunos. A tabela a seguir mostra três exemplos, cada um contendo três recursos e um rótulo:

Contraste com rótulo.

cruzamento de atributos

Um atributo sintético formado pelo "cruzamento" de atributos categóricos ou agrupados.

Por exemplo, considere um modelo de "previsão de humor" que representa a temperatura em um dos quatro buckets a seguir:

• freezing
• chilly
• temperate
• warm

E representa a velocidade do vento em um dos três buckets a seguir:

• still
• light
• windy

Sem cruzamentos de atributos, o modelo linear é treinado de forma independente em cada um dos sete vários buckets anteriores. Assim, o modelo é treinado em freezing, por exemplo, independentemente do treinamento em windy.

Como alternativa, você pode criar um cruzamento de atributos de temperatura e velocidade do vento. Esse recurso sintético teria os 12 valores possíveis abaixo:

• freezing-still
• freezing-light
• freezing-windy
• chilly-still
• chilly-light
• chilly-windy
• temperate-still
• temperate-light
• temperate-windy
• warm-still
• warm-light
• warm-windy

Graças aos cruzamentos de atributos, o modelo pode aprender diferenças de humor entre um dia freezing-windy e um dia freezing-still.

Se você criar um atributo sintético a partir de dois atributos que tenham muitos buckets diferentes, o cruzamento de atributos resultante terá um grande número de combinações possíveis. Por exemplo, se um atributo tiver 1.000 buckets e o outro recurso tiver 2.000 buckets, o cruzamento de atributos resultante terá 2.000.000 buckets.

Formalmente, um cruzamento é um produto cartesiano.

Os cruzamentos de atributos são usados principalmente com modelos lineares e raramente com redes neurais.

e engenharia de atributos.

Um processo que envolve as seguintes etapas:

1. Determinar quais recursos podem ser úteis no treinamento de um modelo.
2. Converter dados brutos do conjunto de dados em versões eficientes desses atributos.

Por exemplo, você pode determinar que temperature pode ser um recurso útil. Em seguida, teste o agrupamento por classes para otimizar o que o modelo pode aprender com diferentes intervalos de temperature.

A engenharia de atributos às vezes é chamada de extração de atributos ou recursos.

extração de atributos

Termo sobrecarregado com uma das seguintes definições:

• Recuperar representações de atributos intermediárias calculadas por um modelo não supervisionado ou pré-treinado (por exemplo, valores de camada escondida em uma rede neural) para uso em outro modelo como entrada.
• Sinônimo de engenharia de atributos.

importâncias dos atributos

Sinônimo de importâncias de variáveis.

conjunto de atributos

O grupo de atributos em que o modelo de machine learning é treinado. Por exemplo, CEP, tamanho e condição da propriedade podem incluir um conjunto de atributos simples para um modelo que prevê preços de imóveis.

especificação de atributos

Descreve as informações necessárias para extrair dados de recursos do buffer de protocolo tf.Example. Como o buffer de protocolo tf.Example é apenas um contêiner de dados, é preciso especificar o seguinte:

• Os dados a serem extraídos (ou seja, as chaves dos atributos)
• O tipo de dados (por exemplo, float ou int)
• O tamanho (fixo ou variável)

vetor de recurso

A matriz de valores de feature que compreende um exemplo. O vetor de recurso é inserido durante o treinamento e a inferência. Por exemplo, o vetor de recurso de um modelo com dois recursos discretos pode ser:

[0.92, 0.56]

Cada exemplo fornece valores diferentes para o vetor de atributo. Portanto, o vetor de atributos do próximo exemplo pode ser semelhante a:

[0.73, 0.49]

A engenharia de atributos determina como representar os atributos no vetor. Por exemplo, um recurso categórico binário com cinco valores possíveis pode ser representado com codificação one-hot. Nesse caso, a parte do vetor de atributo de um exemplo específico consistiria em quatro zeros e um único 1,0 na terceira posição, da seguinte maneira:

[0.0, 0.0, 1.0, 0.0, 0.0]

Como outro exemplo, suponha que seu modelo tenha três atributos:

• Um recurso categórico binário com cinco valores possíveis representados com codificação one-hot. Por exemplo: [0.0, 1.0, 0.0, 0.0, 0.0]
• outro recurso categórico binário com três valores possíveis representados com codificação one-hot. Por exemplo: [0.0, 0.0, 1.0]
• um recurso de ponto flutuante. Por exemplo: 8.3.

Nesse caso, o vetor de recurso de cada exemplo seria representado por nove valores. Considerando os valores de exemplo na lista anterior, o vetor de atributo seria:

0.0
1.0
0.0
0.0
0.0
0.0
0.0
1.0
8.3

funcionalidades

O processo de extração de recursos de uma fonte de entrada, como um documento ou vídeo, e mapeamento deles em um vetor de atributos.

Alguns especialistas em ML usam funcionalidades como sinônimo de engenharia de atributos ou extração de atributos.

federated learning

Uma abordagem de machine learning distribuído que treina modelos de machine learning usando exemplos descentralizados que residem em dispositivos como smartphones. No aprendizado federado, um subconjunto de dispositivos faz o download do modelo atual de um servidor de coordenação central. Os dispositivos usam os exemplos armazenados para fazer melhorias no modelo. Em seguida, os dispositivos fazem upload das melhorias do modelo, mas não dos exemplos de treinamento, para o servidor de coordenação, onde são agregados a outras atualizações para produzir um modelo global aprimorado. Após a agregação, as atualizações do modelo computadas pelos dispositivos não são mais necessárias e podem ser descartadas.

Como os exemplos de treinamento nunca são enviados, o aprendizado federado segue os princípios de privacidade da coleta e minimização de dados com foco.

Para mais informações sobre o aprendizado federado, consulte este tutorial.

ciclo de feedback

No machine learning, uma situação em que as previsões de um modelo influenciam os dados de treinamento para o mesmo modelo ou outro. Por exemplo, um modelo que recomenda filmes influenciará os filmes que as pessoas veem, o que, por sua vez, influenciará os modelos subsequentes de recomendação de filmes.

rede neural feedforward (FFN, na sigla em inglês)

Uma rede neural sem conexões cíclicas ou recursivas. Por exemplo, as redes neurais profundas tradicionais são redes neurais feedforward. Compare com as redes neurais recorrentes, que são cíclicas.

aprendizado few-shot

Uma abordagem de machine learning, geralmente usada para classificação de objetos, projetada para treinar classificadores eficazes de apenas um pequeno número de exemplos de treinamento.

Consulte também aprendizado one-shot e zero-shot.

comandos few-shot

Um comando que contém mais de um exemplo ("alguns") demonstrando como o modelo de linguagem grande precisa responder. Por exemplo, o prompt longo a seguir contém dois exemplos que mostram um modelo de linguagem grande como responder a uma consulta.

Os comandos few-shot geralmente produzem resultados mais desejáveis do que os comandos zero-shot e one-shot. No entanto, os comandos few-shot requerem um comando mais longo.

Os comandos few-shot são uma forma de aprendizado few-shot aplicada ao aprendizado baseado em comandos.

Violino

Uma biblioteca de configuração que prioriza o Python e define os valores de funções e classes sem código ou infraestrutura invasivos. No caso de Pax (e outras bases de código de ML), essas funções e classes representam modelos e hiperparâmetros de treinamento.

O Fiddle pressupõe que as bases de código de machine learning são normalmente divididas em:

• Código da biblioteca, que define as camadas e os otimizadores.
• O código "cola" do conjunto de dados, que chama as bibliotecas e conecta tudo.

O Fiddle captura a estrutura de chamada do código agrupador de forma não avaliada e mutável.

ajuste

Uma segunda passagem de treinamento específica para uma tarefa realizada em um modelo pré-treinado para refinar os parâmetros dele para um caso de uso específico. Por exemplo, a sequência de treinamento completa de alguns modelos de linguagem grandes é a seguinte:

1. Pré-treinamento:treine um modelo de linguagem grande em um conjunto de dados geral amplo, como todas as páginas da Wikipédia em inglês.
2. Ajuste:treine o modelo pré-treinado para executar uma tarefa específica, como responder a consultas médicas. O ajuste fino normalmente envolve centenas ou milhares de exemplos focados na tarefa específica.

Como outro exemplo, a sequência de treinamento completa para um modelo de imagem grande é esta:

1. Pré-treinamento:treine um modelo de imagem grande em um amplo conjunto de dados geral, como todas as imagens no Wikimedia commons.
2. Ajuste: treine o modelo pré-treinado para executar uma tarefa específica, como gerar imagens de orcas.

O ajuste fino pode envolver qualquer combinação das seguintes estratégias:

• Modificar todos os parâmetros atuais do modelo pré-treinado Às vezes, isso é chamado de ajuste total.
• Modificar apenas alguns dos parâmetros atuais do modelo pré-treinado (normalmente, as camadas mais próximas da camada de saída), mantendo os outros parâmetros atuais inalterados (normalmente, as camadas mais próximas da camada de entrada). Consulte ajuste com eficiência de parâmetros.
• Adicionar mais camadas, normalmente sobre as camadas mais próximas da camada de saída.

O ajuste é uma forma de aprendizado por transferência. Assim, o ajuste pode usar uma função de perda diferente ou um tipo de modelo diferente daqueles usados para treinar o modelo pré-treinado. Por exemplo, é possível ajustar um modelo de imagem grande pré-treinado para produzir um modelo de regressão que retorne o número de pássaros em uma imagem de entrada.

Compare os ajustes com os seguintes termos:

• destilação
• aprendizado baseado em comandos

Flax

Uma biblioteca de código aberto de alto desempenho para aprendizado profundo criada com base no JAX. O Flax oferece funções para treinamento de redes neurais, bem como métodos para avaliar o desempenho delas.

Formador de linho

Uma biblioteca de código aberto Transformer, criada no Flax, projetada principalmente para processamento de linguagem natural e pesquisa multimodal.

esquecer portão

A parte de uma célula de memória de curto prazo longa que regula o fluxo de informações pela célula. As portas de esquecimento mantêm o contexto decidindo quais informações serão descartadas do estado da célula.

softmax completa

Sinônimo de softmax.

Compare com a amostragem de candidatos.

camada totalmente conectada

Uma camada escondida em que cada nó está conectado a todos os na camada escondida subsequente.

Uma camada totalmente conectada também é conhecida como camada densa.

transformação de função

Uma função que usa uma função como entrada e retorna uma função transformada como saída. O JAX usa transformações de função.

G

GAN (na sigla em inglês)

Abreviação de rede adversária generativa.

generalização

A capacidade de um modelo de fazer previsões corretas sobre dados novos que não foram analisados. Um modelo que pode generalizar é o oposto de um modelo com overfitting.

curva de generalização

Um gráfico de perda de treinamento e perda de validação como uma função do número de iterações.

Uma curva de generalização pode ajudar a detectar um possível overfitting. Por exemplo, a curva de generalização a seguir sugere overfitting porque a perda de validação se torna significativamente maior do que a perda de treinamento.

modelo linear generalizado

Uma generalização de modelos de regressão de mínimos quadrados, baseados em ruído gaussiano, para outros tipos de modelos baseados em outros tipos de ruído, como ruído de Poisson ou ruído categórico. Exemplos de modelos lineares generalizados incluem:

• regressão logística
• regressão multiclasse
• regressão dos mínimos quadrados

Os parâmetros de um modelo linear generalizado podem ser encontrados por meio da otimização convexa.

Os modelos lineares generalizados exibem as seguintes propriedades:

• A previsão média do modelo de regressão de mínimos quadrados ideal é igual ao rótulo médio nos dados de treinamento.
• A probabilidade média prevista pelo modelo de regressão logística ideal é igual ao rótulo médio nos dados de treinamento.

A potência de um modelo linear generalizado é limitada pelos atributos. Ao contrário de um modelo profundo, um modelo linear generalizado não pode "aprender novos atributos".

rede adversária generativa (GAN, na sigla em inglês)

Um sistema para criar novos dados em que um gerador cria dados e um discriminador determina se esses dados criados são válidos ou inválidos.

IA generativa

Um campo transformador emergente sem definição formal. Dito isso, a maioria dos especialistas concorda que os modelos de IA generativa podem criar ("gerar") conteúdo que é:

• complexo
• coerentes
• original

Por exemplo, um modelo de IA generativa pode criar ensaios ou imagens sofisticados.

Algumas tecnologias anteriores, como LSTMs e RNNs, também podem gerar conteúdo original e coerente. Alguns especialistas veem essas tecnologias anteriores como IA generativa, enquanto outros sentem que a verdadeira IA generativa requer resultados mais complexos do que as tecnologias anteriores podem produzir.

Compare com o ML preditivo.

modelo generativo

Na prática, um modelo que realiza uma das seguintes ações:

• Cria (gera) novos exemplos do conjunto de dados de treinamento. Por exemplo, um modelo generativo pode criar poesias após o treinamento em um conjunto de dados de poemas. A parte gerador de uma rede adversária generativa se encaixa nessa categoria.
• Determina a probabilidade de um novo exemplo vir do conjunto de treinamento ou ter sido criado com o mesmo mecanismo que criou o conjunto de treinamento. Por exemplo, após o treinamento em um conjunto de dados composto por frases em inglês, um modelo generativo poderia determinar a probabilidade de que a nova entrada seja uma frase válida em inglês.

Um modelo generativo pode, teoricamente, discernir a distribuição de exemplos ou atributos específicos em um conjunto de dados. Ou seja:

p(examples)

Os modelos de aprendizado não supervisionados são generativos.

Compare os modelos discriminativos.

generator

O subsistema dentro de uma rede adversária generativa que cria novos exemplos.

Compare com o modelo discriminativo.

impureza de gini

Uma métrica semelhante à entropia. Os divisores usam valores derivados da impureza do gini ou da entropia para compor condições de classificação de árvores de decisão. O ganho de informação é derivado da entropia. Não há um termo equivalente universalmente aceito para a métrica derivada da impureza de gini. No entanto, essa métrica sem nome é tão importante quanto o ganho de informações.

A impureza de Gini também é chamada de índice de gini ou simplesmente gini.

conjunto de dados de ouro

Um conjunto de dados selecionados manualmente que captura informações empíricas. As equipes podem usar um ou mais conjuntos de dados de ouro para avaliar a qualidade de um modelo.

Alguns conjuntos de dados dourados capturam subdomínios diferentes de informações empíricas. Por exemplo, um conjunto de dados dourado para classificação de imagens pode capturar condições de iluminação e resolução de imagens.

GPT (Transformer Generative Pre-trained)

Uma família de modelos de linguagem grandes baseados em Transformer desenvolvidos pela OpenAI.

As variantes da GPT podem ser aplicadas a várias modalidades, incluindo:

• geração de imagens (por exemplo, ImageGPT)
• de texto para imagem (por exemplo, DALL-E).

gradient

O vetor de derivadas parciais em relação a todas as variáveis independentes. Em machine learning, o gradiente é o vetor de derivadas parciais da função de modelo. O gradiente aponta na direção da subida mais íngreme.

acúmulo de gradiente

Uma técnica de backpropagação que atualiza os parâmetros apenas uma vez por época, e não uma vez por iteração. Após o processamento de cada minilote, a acumulação de gradiente simplesmente atualiza um total contínuo de gradientes. Em seguida, após processar o último minilote na época, o sistema finalmente atualiza os parâmetros com base no total de todas as mudanças do gradiente.

O acúmulo de gradiente é útil quando o tamanho do lote é muito grande em comparação com a quantidade de memória disponível para treinamento. Quando a memória é um problema, a tendência natural é reduzir o tamanho do lote. No entanto, a redução do tamanho do lote na retropropagação normal aumenta o número de atualizações de parâmetros. O acúmulo de gradiente permite que o modelo evite problemas de memória, mas ainda treine com eficiência.

árvores otimizadas com gradiente (GBT)

Um tipo de floresta de decisão em que:

• O treinamento depende da intensificação do gradiente.
• O modelo fraco é uma árvore de decisão.

aumento do gradiente

Um algoritmo de treinamento em que modelos fracos são treinados para melhorar iterativamente a qualidade (reduzir a perda) de um modelo forte. Por exemplo, um modelo fraco pode ser linear ou de árvore de decisão pequena. O modelo forte se torna a soma de todos os modelos fracos treinados anteriormente.

Na forma mais simples de otimização de gradiente, em cada iteração, um modelo fraco é treinado para prever o gradiente de perda do modelo forte. Em seguida, a saída do modelo forte é atualizada subtraindo o gradiente previsto, semelhante ao gradiente descendente.

onde:

• $F_{0}$ é o modelo forte inicial.
• $F_{i+1}$ é o próximo modelo forte.
• $F_{i}$ é o modelo forte atual.
• $\xi$ é um valor entre 0,0 e 1,0 chamado redução, que é análogo à taxa de aprendizado no gradiente descendente.
• $f_{i}$ é o modelo fraco treinado para prever o gradiente de perda de $F_{i}$.

As variações modernas de aumento de gradiente também incluem a segunda derivada (hessian) da perda no cálculo.

As árvores de decisão costumam ser usadas como modelos fracos na intensificação do gradiente. Consulte árvores otimizadas com gradiente (decisão).

recorte de gradiente

Um mecanismo usado com frequência para mitigar o problema do gradiente em explosão ao limitar (recortar) artificialmente o valor máximo dos gradientes ao usar o gradiente descendente para treinar um modelo.

gradiente descendente

É uma técnica matemática para minimizar a perda. O gradiente descendente ajusta de forma iterativa os pesos e os vieses, encontrando gradualmente a melhor combinação para minimizar a perda.

O gradiente descendente é muito mais antigo do que o aprendizado de máquina.

gráfico

No TensorFlow, uma especificação de computação. Os nós no gráfico representam operações. As bordas são direcionadas e representam a transmissão do resultado de uma operação (um Tensor) como um operando para outra operação. Use o TensorBoard para visualizar um gráfico.

execução de gráfico

Um ambiente de programação do TensorFlow em que o programa constrói primeiro um gráfico e depois o executa todo ou parte dele. A execução do gráfico é o modo de execução padrão no TensorFlow 1.x.

Já a execução antecipada é diferente.

política gananciosa

No aprendizado por reforço, uma política que sempre escolhe a ação com o retorno mais alto esperado.

informações empíricas

Realidade.

O que realmente aconteceu.

Por exemplo, considere um modelo de classificação binária que prevê se um estudante no primeiro ano de universidade se formará dentro de seis anos. A informação empírica deste modelo é se o aluno se formou ou não em seis anos.

viés de atribuição a grupos

Supondo que o que é verdadeiro para um indivíduo também é verdadeiro para todos esse grupo. Os efeitos do viés de atribuição a grupos podem ser agravados se uma amostragem por conveniência for usada para a coleta de dados. Em uma amostra não representativa, atribuições que não refletem a realidade podem ser feitas.

Consulte também Viés de homogeneidade externa ao grupo e viés de dentro do grupo.

H

alucinação artificial

A produção de saída que parece plausível, mas factualmente incorreta por um modelo de IA generativa que alega estar fazendo uma declaração sobre o mundo real. Por exemplo, um modelo de IA generativa que afirma que Barack Obama morreu em 1865 está alucinando.

hash

Em machine learning, um mecanismo para agrupar dados categóricos por classes, especialmente quando o número de categorias é grande, mas o número de categorias realmente exibidas no conjunto de dados é comparativamente pequeno.

Por exemplo, a Terra é o lar de cerca de 73.000 espécies de árvores. É possível representar cada uma das 73 mil espécies de árvores em 73 mil buckets categóricos separados. Como alternativa, se apenas 200 dessas espécies de árvores realmente aparecerem em um conjunto de dados, você poderia usar hash para dividir as espécies de árvores em talvez 500 buckets.

Um único bucket pode conter várias espécies de árvores. Por exemplo, hashing poderia colocar baobab e bordo vermelho (duas espécies geneticamente diferentes) no mesmo bucket. Independentemente disso, o hash ainda é uma boa maneira de mapear grandes conjuntos categóricos para o número de buckets selecionado. O hash transforma um atributo categórico com um grande número de valores possíveis em um número muito menor de valores agrupando os valores de maneira determinista.

heurística

Uma solução simples e rápida para um problema. Por exemplo, "Com uma heurística, alcançamos 86% de precisão. Quando mudamos para uma rede neural profunda, a precisão subiu para 98%."

camada escondida

Uma camada em uma rede neural entre a camada de entrada (os recursos) e a camada de saída (a previsão). Cada camada escondida consiste em um ou mais neurônios. Por exemplo, a seguinte rede neural contém duas camadas escondidas, a primeira com três neurônios e a segunda com dois:

Uma rede neural profunda contém mais de uma camada escondida. Por exemplo, a ilustração anterior é uma rede neural profunda porque o modelo contém duas camadas ocultas.

clustering hierárquico

Uma categoria de algoritmos de clustering que cria uma árvore de clusters. O clustering hierárquico é adequado para dados hierárquicos, como taxonomias botânicas. Há dois tipos de algoritmos de clustering hierárquico:

• O clustering aglomerativo primeiro atribui cada exemplo ao próprio cluster e mescla de forma iterativa os clusters mais próximos para criar uma árvore hierárquica.
• O clustering divisor primeiro agrupa todos os exemplos em um cluster e, em seguida, o divide iterativamente em uma árvore hierárquica.

Compare com o clustering com base em centroides.

perda de articulação

Uma família de funções de perda para classificação projetada para encontrar o limite de decisão o mais distante possível de cada exemplo de treinamento, maximizando assim a margem entre os exemplos e o limite. KSVMs usam perda de articulação (ou uma função relacionada, como perda de articulação quadrada). Na classificação binária, a função de perda de articulação é definida da seguinte maneira:

em que y é o rótulo verdadeiro, -1 ou +1, e y' é a saída bruta do modelo do classificador:

Consequentemente, um gráfico de perda da articulação versus (y * y') é semelhante ao seguinte:

viés histórico

Um tipo de viés que já existe no mundo e chegou a um conjunto de dados. Esses vieses têm uma tendência a refletir estereótipos culturais, desigualdades demográficas e preconceitos contra determinados grupos sociais.

Por exemplo, considere um modelo de classificação que prevê se um solicitante de empréstimo vai insistir em um empréstimo, que foi treinado com dados históricos de inadimplência dos anos 1980 de bancos locais em duas comunidades diferentes. Se candidatos anteriores da Comunidade A estavam seis vezes mais propensos a não pagar os empréstimos do que os da Comunidade B, ele pode aprender um viés histórico, fazendo com que ele seja menos propenso a aprovar empréstimos na Comunidade A, mesmo que as condições históricas que resultaram nas taxas de inadimplência mais altas da comunidade não sejam mais relevantes.

dados de validação

Exemplos não usados intencionalmente ("afastados") durante o treinamento. O conjunto de dados de validação e o conjunto de dados de teste são exemplos de dados de validação. Os dados de validação ajudam a avaliar a capacidade do modelo de generalizar para outros dados além dos dados em que foi treinado. A perda no conjunto de validação fornece uma estimativa melhor da perda em um conjunto de dados não visto do que no conjunto de treinamento.

anfitrião

Ao treinar um modelo de ML em chips de acelerador (GPUs ou TPUs), a parte do sistema que controla ambos os itens a seguir:

• O fluxo geral do código.
• A extração e transformação do pipeline de entrada.

O host normalmente é executado em uma CPU, não em um chip de acelerador. O dispositivo manipula tensores nos chips de acelerador.

hiperparâmetro

As variáveis que você ou um serviço de ajuste de hiperparâmetros ajustam durante execuções sucessivas de treinamento de um modelo. Por exemplo, a taxa de aprendizado é um hiperparâmetro. É possível definir a taxa de aprendizado como 0,01 antes de uma sessão de treinamento. Se você determinar que 0,01 é muito alto, defina a taxa de aprendizado como 0,003 na próxima sessão de treinamento.

Por outro lado, os parâmetros são os vários pesos e viés que o modelo aprende durante o treinamento.

hiperplano

Um limite que separa um espaço em dois subespaços. Por exemplo, uma linha é um hiperplano em duas dimensões e um plano é um hiperplano em três dimensões. Mais normalmente no machine learning, um hiperplano é o limite que separa um espaço de alta dimensão. As máquinas de vetor de suporte do kernel usam hiperplanos para separar classes positivas de classes negativas, geralmente em um espaço dimensional muito alto.

I

i.i.d.

Abreviação de distribuído de forma independente e idêntica.

Reconhecimento de imagem

Processo que classifica objetos, padrões ou conceitos em uma imagem. O reconhecimento de imagem também é conhecido como classificação de imagem.

Para mais informações, consulte Prática de ML: classificação de imagens.

conjunto de dados desequilibrado

Sinônimo de conjunto de dados desequilibrado de classe.

viés implícito

Fazer automaticamente uma associação ou suposição com base nos modelos mentais e memórias da pessoa. O viés implícito pode afetar os seguintes itens:

• Como os dados são coletados e classificados.
• Como os sistemas de machine learning são projetados e desenvolvidos.

Por exemplo, ao criar um classificador para identificar fotos de casamento, um engenheiro pode usar a presença de um vestido branco em uma foto como atributo. No entanto, os vestidos brancos foram comuns apenas durante certas eras e em certas culturas.

Consulte também viés de confirmação.

imputação

Forma abreviada de imputação de valor.

incompatibilidade das métricas de imparcialidade

Ideia de que algumas noções de imparcialidade são mutuamente incompatíveis e não podem ser satisfeitas simultaneamente. Como resultado, não há uma métrica universal única para quantificar a imparcialidade que possa ser aplicada a todos os problemas de ML.

Embora isso possa parecer desencorajador, a incompatibilidade das métricas de imparcialidade não implica que os esforços relacionados a imparcialidade sejam insatisfatórios. Em vez disso, ele sugere que a imparcialidade precisa ser definida contextualmente para um determinado problema de ML, com o objetivo de evitar danos específicos aos casos de uso dele.

Consulte "Sobre a (im)possibilidade da imparcialidade" para uma discussão mais detalhada sobre esse tópico.

aprendizado em contexto

Sinônimo de comandosfew-shot.

distribuídos de modo independente e idêntico

Dados extraídos de uma distribuição que não muda e em que cada valor desenhado não depende de valores que foram desenhados anteriormente. Um i.i.d. é o gás ideal (em inglês) do machine learning, uma construção matemática útil, mas quase nunca exatamente encontrada no mundo real. Por exemplo, a distribuição de visitantes a uma página da Web pode ocorrer em um breve período. Ou seja, a distribuição não muda durante esse período e a visita de uma pessoa é geralmente independente da visita de outra. No entanto, se você expandir essa janela de tempo, poderão aparecer diferenças sazonais nos visitantes da página da Web.

Consulte também não estacionário.

imparcialidade individual

Uma métrica de imparcialidade que verifica se indivíduos semelhantes são classificados de maneira semelhante. Por exemplo, a Brobdingnagian Academy pode querer satisfazer a imparcialidade individual, garantindo que dois alunos com notas idênticas e pontuações padronizadas nos testes tenham a mesma probabilidade de serem admitidos.

A imparcialidade individual depende totalmente de como você define "similaridade" (nesse caso, notas e pontuações de testes). Você pode correr o risco de introduzir novos problemas de imparcialidade se sua métrica de similaridade não passar informações importantes (como o rigor do currículo de um estudante).

Consulte "Imparcialidade por meio da consciência" para uma discussão mais detalhada sobre imparcialidade individual.

inferência

Em machine learning, o processo de fazer previsões aplicando um modelo treinado a exemplos não rotulados.

A inferência tem um significado um pouco diferente nas estatísticas. Consulte o artigo da Wikipédia sobre inferência estatística para saber mais.

caminho de inferência

Em uma árvore de decisão, durante a inferência, a rota que um exemplo específico segue da raiz para outras condições, terminando com uma folha. Por exemplo, na árvore de decisão abaixo, as setas mais grossas mostram o caminho de inferência de um exemplo com estes valores de atributos:

• x = 7
• y = 12
• z = -3

O caminho de inferência na ilustração a seguir passa por três condições antes de chegar à folha (Zeta).

As três setas grossas mostram o caminho de inferência.

ganho de informações

Em florestas de decisão, é a diferença entre a entropia de um nó e a soma ponderada (por número de exemplos) da entropia dos nós filhos. A entropia de um nó é a entropia dos exemplos nesse nó.

Por exemplo, considere os seguintes valores de entropia:

• entropia do nó pai = 0,6
• entropia de um nó filho com 16 exemplos relevantes = 0,2
• entropia de outro nó filho com 24 exemplos relevantes = 0,1

Portanto, 40% dos exemplos estão em um nó filho e 60% no outro nó filho. Assim:

• soma de entropia ponderada dos nós filhos = (0,4 * 0,2) + (0,6 * 0,1) = 0,14

Assim, o ganho de informação é:

• ganho de informações = entropia do nó pai - soma da entropia ponderada dos nós filhos
• ganho de informação = 0,6 - 0,14 = 0,46

A maioria dos divisores procura criar condições que maximizem o ganho de informações.

viés de grupo

Mostrar parcialidade pelo próprio grupo ou características próprias. Se os testadores ou avaliadores forem amigos, familiares ou colegas do desenvolvedor de machine learning, o viés de grupo poderá invalidar o teste do produto ou o conjunto de dados.

O viés em grupo é uma forma de viés de atribuição a grupo. Confira também viés de homogeneidade externa ao grupo.

gerador de entrada

Um mecanismo pelo qual os dados são carregados em uma rede neural.

Um gerador de entrada pode ser considerado um componente responsável pelo processamento de dados brutos em tensores que são iterados para gerar lotes para treinamento, avaliação e inferência.

camada de entrada

A camada de uma rede neural que contém o vetor de atributos. Ou seja, a camada de entrada fornece exemplos de treinamento ou inferência. Por exemplo, a camada de entrada na rede neural a seguir consiste em dois recursos:

condição inserida

Em uma árvore de decisão, uma condição que testa a presença de um item em um conjunto de itens. Por exemplo, esta é uma condição inserida:

  house-style in [tudor, colonial, cape]

Durante a inferência, se o valor do feature de estilo de casa for tudor ou colonial ou cape, essa condição será avaliada como Sim. Se o valor do recurso de estilo interno for outro (por exemplo, ranch), essa condição será avaliada como No.

As condições inseridas geralmente levam a árvores de decisão mais eficientes do que condições que testam atributos de codificação one-hot.

instância

Sinônimo de example.

ajuste de instruções

Uma forma de ajuste que melhora a capacidade de um modelo de IA generativa de seguir as instruções. O ajuste de instruções envolve o treinamento de um modelo em uma série de comandos de instrução, geralmente abrangendo uma ampla variedade de tarefas. O modelo ajustado por instruções resultante tende a gerar respostas úteis para comandos zero-shot em várias tarefas.

Compare com:

• ajuste com eficiência de parâmetros
• ajuste de comando

interpretabilidade

capacidade de explicar ou apresentar o raciocínio de um modelo de ML em termos compreensíveis para um ser humano.

A maioria dos modelos de regressão linear, por exemplo, é altamente interpretável. Você só precisa observar os pesos treinados para cada atributo. Florestas de decisão também são altamente interpretáveis. No entanto, alguns modelos exigem uma visualização sofisticada para se tornarem interpretáveis.

Use a Ferramenta de aprendizado de interpretabilidade (LIT, na sigla em inglês) para interpretar modelos de ML.

concordância entre avaliadores

Uma medida da frequência com que os avaliadores humanos concordam ao realizar uma tarefa. Se os avaliadores discordarem, talvez as instruções da tarefa precisem ser melhoradas. Também chamado de contrato entre anotador ou confiabilidade entre avaliadores. Veja também o kappa de Cohen, que é uma das medidas de concordância entre avaliadores mais conhecidas.

interseção sobre união (IoU)

A interseção de dois conjuntos dividida pela união. Nas tarefas de detecção de imagens de machine learning, a IoU é usada para medir a precisão da caixa delimitadora prevista do modelo em relação à caixa delimitadora de informações empíricas. Nesse caso, a IoU das duas caixas é a proporção entre a área sobreposta e a área total. O valor dela varia de 0 (sem sobreposição da caixa delimitadora prevista e da caixa delimitadora de informações empíricas) a 1 (a caixa delimitadora prevista e a caixa delimitadora de informações empíricas têm exatamente as mesmas coordenadas).

Por exemplo, na imagem abaixo:

• A caixa delimitadora prevista (as coordenadas que delimitam onde o modelo prevê a mesa noturna na pintura) é destacada em roxo.
• A caixa delimitadora de informações empíricas (as coordenadas que delimitam onde a mesa noite na pintura está realmente localizada) é destacada em verde.

Aqui, a interseção das caixas delimitadoras para previsão e informações empíricas (abaixo à esquerda) é 1, e a união das caixas delimitadoras para previsão e informações empíricas (abaixo à direita) é 7, então a IoU é \(\frac{1}{7}\).

IoU

Abreviação de interseção sobre união.

matriz de itens

Em sistemas de recomendação, uma matriz de vetores de embedding gerada pela fatoração de matrizes que contém indicadores latentes sobre cada item. Cada linha da matriz de itens contém o valor de um único atributo latente para todos os itens. Por exemplo, considere um sistema de recomendação de filmes. Cada coluna na matriz de item representa um único filme. Os sinais latentes podem representar gêneros ou ser mais difíceis de interpretar que envolvem interações complexas entre gênero, estrelas, idade do filme ou outros fatores.

A matriz de itens tem o mesmo número de colunas que a matriz de destino que está sendo fatorada. Por exemplo, considerando um sistema de recomendação de filmes que avalia 10 mil títulos de filmes, a matriz de itens terá 10 mil colunas.

items

Em um sistema de recomendação, são as entidades que um sistema recomenda. Por exemplo, vídeos são os itens que uma loja de vídeos recomenda, enquanto os livros são os itens que uma livraria recomenda.

iteração

Uma única atualização dos parâmetros de um modelo (os pesos e os vieses do modelo) durante o treinamento. O tamanho do lote determina quantos exemplos o modelo processa em uma única iteração. Por exemplo, se o tamanho do lote for 20, o modelo processará 20 exemplos antes de ajustar os parâmetros.

Ao treinar uma rede neural, uma única iteração envolve as duas passagens a seguir:

1. Uma passagem direta para avaliar a perda em um único lote.
2. Uma passagem para trás (backpropagação) para ajustar os parâmetros do modelo com base na perda e na taxa de aprendizado.

J

JAX

Uma biblioteca de computação de matriz que reúne a álgebra linear acelerada (XLA, na sigla em inglês) (link em inglês) e a diferenciação automática para computação numérica de alto desempenho. O JAX fornece uma API simples e poderosa para escrever código numérico acelerado com transformações combináveis. O JAX fornece recursos como:

• grad (diferenciação automática)
• jit (compilação just-in-time)
• vmap (vetorização ou agrupamento automático)
• pmap (carregamento em paralelo)

JAX é uma linguagem para expressar e compor transformações de código numérico, análogo, mas muito maior em escopo, à biblioteca NumPy (em inglês) do Python. Na verdade, a biblioteca .numpy no JAX é uma versão funcional equivalente, mas totalmente reescrita da biblioteca NumPy do Python.

O JAX é particularmente adequado para acelerar muitas tarefas de machine learning, transformando os modelos e os dados em um formato adequado para paralelismo entre os chips de acelerador da GPU e TPU.

Flax, Optax, Pax e muitas outras bibliotecas são criadas na infraestrutura do JAX.

K

Keras

Uma API de machine learning em Python conhecida. O Keras é executado em vários frameworks de aprendizado profundo, incluindo o TensorFlow, em que é disponibilizado como tf.keras.

Máquinas de vetores de suporte com kernel (KSVMs)

Algoritmo de classificação que busca maximizar a margem entre classes positivas e classes negativas mapeando vetores de dados de entrada para um espaço dimensional maior. Por exemplo, considere um problema de classificação em que o conjunto de dados de entrada tem cem atributos. Para maximizar a margem entre classes positivas e negativas, uma KSVM pode mapear internamente esses recursos em um espaço com um milhão de dimensões. As KSVMs usam uma função de perda chamada perda de articulação.

pontos-chave

As coordenadas de elementos específicos em uma imagem. Por exemplo, para um modelo de reconhecimento de imagem que distingue espécies de flores, os pontos-chave podem ser o centro de cada pétala, o caule, o estame e assim por diante.

validação cruzada do k-fold

Um algoritmo para prever a capacidade de um modelo de generalizar para novos dados. O k em k-fold refere-se ao número de grupos iguais em que você divide os exemplos de um conjunto de dados, ou seja, você treina e testa seu modelo k vezes. Para cada rodada de treinamento e teste, um grupo diferente é o conjunto de teste, e todos os grupos restantes se tornam o conjunto de treinamento. Após k rodadas de treinamento e teste, você calcula a média e o desvio padrão das métricas de teste escolhidas.

Por exemplo, suponha que seu conjunto de dados seja composto por 120 exemplos. Suponha ainda que você decida definir k como 4. Portanto, depois de embaralhar os exemplos, você divide o conjunto de dados em quatro grupos iguais de 30 exemplos e realiza quatro rodadas de treinamento/teste:

Por exemplo, Erro quadrático médio (EQM) pode ser a métrica mais significativa para um modelo de regressão linear. Portanto, você encontraria o desvio médio e padrão do MSE nas quatro rodadas.

k-means

Um algoritmo de clustering conhecido que agrupa exemplos em aprendizado não supervisionado. O algoritmo k-means faz o seguinte:

• Determina iterativamente os melhores pontos centrais de k (conhecidos como centróides).
• Atribui cada exemplo ao centroide mais próximo. Aqueles exemplos mais próximos do mesmo centroide pertencem ao mesmo grupo.

O algoritmo k-means escolhe locais do centroide para minimizar o quadrado cumulativo das distâncias de cada exemplo até o centroide mais próximo.

Por exemplo, considere o seguinte gráfico de altura para largura de cães:

Se k=3, o algoritmo k-means determinará três centroides. Cada exemplo é atribuído ao seu centroide mais próximo, produzindo três grupos:

Imagine que um fabricante queira determinar os tamanhos ideais de blusas pequenas, médias e grandes para cães. Os três centroides identificam a altura e a largura médias de cada cachorro nesse cluster. Portanto, o fabricante provavelmente deveria basear os tamanhos de suéteres nesses três centroides. Observe que o centroide de um cluster normalmente não é um exemplo no cluster.

As ilustrações anteriores mostram k-means para exemplos com apenas dois recursos (altura e largura). O k-means pode agrupar exemplos em muitos atributos.

k-mediana

Um algoritmo de clustering intimamente relacionado a k-means. A diferença prática entre os dois é a seguinte:

• Em k-means, os centroides são determinados minimizando-se a soma dos quadrados da distância entre um candidato centroide e cada um dos exemplos dele.
• Na k-median, os centroides são determinados pela minimização da soma da distância entre um candidato centroide e cada um dos seus exemplos.

As definições de distância também são diferentes:

• O k-means depende da distância euclidiana do centroide até um exemplo. Em duas dimensões, a distância euclidiana significa usar o teorema de Pitágoras para calcular a hipotenusa. Por exemplo, a distância k-means entre (2,2) e (5,-2) seria:

• A k-median depende da distância de Manhattan do centroide até um exemplo. Essa distância é a soma dos deltas absolutos em cada dimensão. Por exemplo, a distância k-mediana entre (2,2) e (5,-2) seria:

L

Regularização L₀

Um tipo de regularização que penaliza o número total de pesos diferentes de zero em um modelo. Por exemplo, um modelo com 11 ponderações diferentes de zero seria penalizado mais do que um modelo semelhante com 10 pesos diferentes de zero.

A regularização L₀ às vezes é chamada de regularização L0-norm.

Perda de L₁

Uma função de perda que calcula o valor absoluto da diferença entre os valores reais de rótulo e os valores previstos por um modelo. Por exemplo, este é o cálculo da perda de L₁ para um lote de cinco exemplos:

A perda de L₁ é menos sensível a outliers do que a L₂ perda.

O erro médio absoluto é a perda média de L₁ por exemplo.

Regularização L₁

Um tipo de regularização que penaliza as ponderações em proporção à soma do valor absoluto delas. A regularização L₁ ajuda a direcionar os pesos de atributos irrelevantes ou pouco relevantes para exatamente 0. Um recurso com um peso de 0 é efetivamente removido do modelo.

Contraste com a regularização L₂.

Perda L₂

Uma função de perda que calcula o quadrado da diferença entre os valores reais de rótulo e os valores previstos por um modelo. Por exemplo, este é o cálculo da perda de L₂ para um lote de cinco exemplos:

Devido ao quadrado, a perda de L₂ amplifica a influência dos outliers. Ou seja, a perda de L₂ reage mais fortemente a previsões ruins do que a perda de L₁. Por exemplo, a perda L₁ do lote anterior seria 8 em vez de 16. Observe que um único ponto fora da curva representa 9 dos 16.

Modelos de regressão normalmente usam perda L₂ como função de perda.

O Erro quadrático médio é a perda média de L₂ por exemplo. Perda ao quadrado é outro nome para a perda L₂.

Regularização L₂

Um tipo de regularização que penaliza as ponderações em proporção à soma dos quadrados delas. A regularização L₂ ajuda a gerar pesos outlier (aqueles com valores altos ou negativos altos ou baixos) mais próximos de 0, mas não exatamente de 0. Atributos com valores muito próximos de 0 permanecem no modelo, mas não influenciam muito a previsão dele.

A regularização L₂ sempre melhora a generalização em modelos lineares.

Contraste com a regularização L₁.

o rótulo.

No machine learning supervisionado, a parte "resposta" ou "resultado" de um exemplo.

Cada exemplo rotulado consiste em um ou mais recursos e um rótulo. Por exemplo, em um conjunto de dados de detecção de spam, o rótulo provavelmente seria "spam" ou "não spam". Em um conjunto de dados de chuva, o rótulo pode ser a quantidade de chuva que caiu durante um determinado período.

exemplo rotulado

Um exemplo que contém um ou mais recursos e um rótulo. Por exemplo, a tabela a seguir mostra três exemplos rotulados de um modelo de avaliação de casas, cada um com três recursos e um rótulo:

No machine learning supervisionado, os modelos são treinados com base em exemplos rotulados e fazem previsões em exemplos não rotulados.

Comparar exemplos rotulados com exemplos sem rótulos.

vazamento de rótulo

Uma falha no design do modelo em que um recurso é um proxy para o rótulo. Por exemplo, considere um modelo de classificação binária que prevê se um cliente em potencial comprará ou não um produto específico. Suponha que um dos recursos do modelo seja um booleano chamado SpokeToCustomerAgent. Suponha que um agente de cliente só seja atribuído depois que o cliente em potencial realmente comprar o produto. Durante o treinamento, o modelo aprenderá rapidamente a associação entre SpokeToCustomerAgent e o rótulo.

Lambda

Sinônimo de taxa de regularização.

Lambda é um termo sobrecarregado. Aqui, vamos nos concentrar na definição do termo na regularização (em inglês).

LaMDA (Language Model for Dialogue Applications)

Um modelo de linguagem grande com base em Transformer (em inglês) desenvolvido pelo Google e treinado em um grande conjunto de dados de diálogos que pode gerar respostas de conversa realistas.

LaMDA: nossa tecnologia de conversa inova oferece uma visão geral.

pontos de referência

Sinônimo de pontos-chave.

modelo de linguagem

Um model que estima a probabilidade de um model ou sequência de tokens ocorrer em uma sequência mais longa.

modelo de linguagem grande

Um termo informal sem definição estrita que geralmente significa um modelo de linguagem com um grande número de parâmetros. Alguns modelos de linguagem grandes têm mais de 100 bilhões de parâmetros.

espaço latente

Sinônimo de embedding Space.

layer

Um conjunto de neurônios em uma rede neural. Três tipos comuns de camadas são:

• A camada de entrada, que fornece valores para todos os recursos.
• Uma ou mais camadas escondidas, que encontram relações não lineares entre os recursos e o rótulo.
• A camada de saída, que fornece a previsão.

Por exemplo, a ilustração a seguir mostra uma rede neural com uma camada de entrada, duas camadas ocultas e uma camada de saída:

No TensorFlow, as camadas também são funções do Python que usam Tensors e opções de configuração como entrada e produzem outros tensores como saída.

API Layers (tf.layers)

Uma API do TensorFlow para criar uma rede neural profunda como uma composição de camadas. A API Layers permite criar diferentes tipos de camadas, como:

• tf.layers.Dense para uma camada totalmente conectada.
• tf.layers.Conv2D para uma camada convolucional.

A API Layers segue as convenções de API de camadas do Keras. Ou seja, exceto por um prefixo diferente, todas as funções na API Layers têm os mesmos nomes e assinaturas que as contrapartes delas na API layers do Keras.

folha

Qualquer endpoint em uma árvore de decisão. Ao contrário de uma condição, uma folha não realiza um teste. Em vez disso, uma folha é uma previsão possível. Uma folha também é o nó do terminal de um caminho de inferência.

Por exemplo, a seguinte árvore de decisão contém três folhas:

Ferramenta de aprendizado de interpretabilidade (LIT)

Uma ferramenta visual e interativa de compreensão de modelos e visualização de dados.

É possível usar a LIT de código aberto para interpretar modelos ou visualizar texto, imagem e dados tabulares.

taxa de aprendizado

Um número de ponto flutuante que informa ao algoritmo do gradiente descendente como ajustar os pesos e as tendências em cada iteração. Por exemplo, uma taxa de aprendizado de 0,3 ajustaria os pesos e as tendências três vezes mais poderosamente do que uma taxa de aprendizado de 0,1.

A taxa de aprendizado é um hiperparâmetro fundamental. Se você definir a taxa de aprendizado muito baixa, o treinamento levará muito tempo. Se você definir a taxa de aprendizado muito alta, o gradiente descendente geralmente terá problemas para alcançar a convergência.

regressão dos mínimos quadrados

Um modelo de regressão linear treinado pela minimização da perda L₂.

linear

Uma relação entre duas ou mais variáveis que podem ser representadas exclusivamente por adição e multiplicação.

O gráfico de uma relação linear é uma linha.

Contraste com não linear.

modelo linear

Um model que atribui uma model por model para fazer model. Os modelos lineares também incorporam um viés. Por outro lado, a relação entre os recursos e as previsões em modelos profundos geralmente é não linear.

Os modelos lineares geralmente são mais fáceis de treinar e mais interpretáveis do que os profundos. No entanto, os modelos profundos podem aprender relações complexas entre os recursos.

Regressão linear e regressão logística são dois tipos de modelos lineares.

y' = 7 + (-2.5)(x1) + (-1.2)(x2) + (1.4)(x3)

y' = 7 + (-2.5)(4) + (-1.2)(-10) + (1.4)(5)
y' = 16

regressão linear

Um tipo de modelo de machine learning em que as duas condições a seguir são verdadeiras:

• O modelo é linear.
• A previsão é um valor de ponto flutuante. Essa é a parte de regressão da regressão linear.

Comparar a regressão linear com a regressão logística. Além disso, compare a regressão com a classificação.

LIT

É a abreviação de Ferramenta de Interpretabilidade de Linguagem (LIT, na sigla em inglês), conhecida anteriormente como ferramenta de interpretabilidade de linguagem.

LLM

Abreviação de modelo de linguagem grande (em inglês).

regressão logística

Um tipo de modelo de regressão que prevê uma probabilidade. Os modelos de regressão logística têm as seguintes características:

• O rótulo é categórico. O termo "regressão logística" geralmente se refere à regressão logística binária, ou seja, a um modelo que calcula as probabilidades de rótulos com dois valores possíveis. Uma variante menos comum, a regressão logística multinomial, calcula as probabilidades de rótulos com mais de dois valores possíveis.
• A função de perda durante o treinamento é Log Perda. É possível colocar várias unidades de perda de registro em paralelo para rótulos com mais de dois valores possíveis.
• O modelo tem uma arquitetura linear, e não uma rede neural profunda. No entanto, o restante dessa definição também se aplica aos modelos profundos que preveem probabilidades de rótulos categóricos.

Por exemplo, considere um modelo de regressão logística que calcula a probabilidade de um e-mail de entrada ser spam ou não spam. Durante a inferência, suponha que o modelo prevê 0,72. Portanto, o modelo está estimando:

• 72% de chance do e-mail ser spam.
• 28% de chance de o e-mail não ser spam.

Um modelo de regressão logística usa a seguinte arquitetura de duas etapas:

1. O modelo gera uma previsão bruta (y') aplicando uma função linear de atributos de entrada.
2. O modelo usa essa previsão bruta como entrada para uma função sigmoide, que converte a previsão bruta em um valor entre 0 e 1, excluindo esses dois valores.

Como qualquer modelo de regressão, um modelo de regressão logística prevê um número. No entanto, esse número normalmente se torna parte de um modelo de classificação binária da seguinte maneira:

• Se o número previsto for maior que o limite de classificação, o modelo de classificação binária prevê a classe positiva.
• Se o número previsto for menor que o limiar de classificação, o modelo de classificação binária prevê a classe negativa.

logits

Vetor de previsões brutas (não normalizadas) geradas por um modelo de classificação que, normalmente, é passado para uma função de normalização. Se o modelo estiver resolvendo um problema de classificação multiclasse, os logits geralmente se tornarão uma entrada para a função softmax. Em seguida, a função softmax gera um vetor de probabilidades (normalizadas) com um valor para cada classe possível.

Log Perda

A função de perda usada na regressão logística binária.

log-chance

O logaritmo das probabilidades de algum evento.

Memória de longo e curto prazo (LSTM, na sigla em inglês)

Um tipo de célula em uma rede neural recorrente usada para processar sequências de dados em aplicativos, como reconhecimento de escrita manual, tradução automática e legendagem de imagens. Os LSTMs abordam o problema de desaparecimento do gradiente que ocorre ao treinar RNNs devido a longas sequências de dados, mantendo o histórico em um estado de memória interna com base em novas entradas e contextos de células anteriores na RNN.

LoRA

Abreviação de Adaptabilidade de classificação baixa.

perda

Durante o treinamento de um modelo supervisionado, uma medida da distância entre a previsão de um modelo e o rótulo.

Uma função de perda calcula a perda.

agregador de perdas

Um tipo de algoritmo de machine learning que melhora o desempenho de um modelo combinando as previsões de vários modelos e usando essas previsões para fazer uma única previsão. Como resultado, um agregador de perda pode reduzir a variação das previsões e melhorar a precisão delas.

curva de perda

Um gráfico de perda como uma função do número de iterações de treinamento. O gráfico a seguir mostra uma curva de perda típica:

As curvas de perda podem ajudar a determinar quando o modelo está convergente ou com overfitting.

As curvas de perda podem plotar todos os tipos de perda a seguir:

• perda do treinamento
• Perda de validação
• perda de teste

Consulte também a curva de generalização.

função de perda

Durante o treinamento ou teste, uma função matemática que calcula a perda em um lote de exemplos. Uma função de perda retorna uma perda menor para modelos que fazem boas previsões do que para os que fazem previsões ruins.

Normalmente, o objetivo do treinamento é minimizar a perda que uma função de perda retorna.

Existem muitos tipos diferentes de funções de perda. Escolha a função de perda apropriada para o tipo de modelo que você está criando. Exemplo:

• A perda L₂ (ou Erro quadrático médio) é a função de perda da regressão linear.
• Log Loss é a função de perda da regressão logística.

superfície de perda

Um gráfico de peso(s) em comparação com a perda. O objetivo do gradiente descendente é encontrar os pesos em que a superfície de perda está no mínimo local.

Adaptabilidade de baixa classificação (LoRA)

Um algoritmo para executar ajustes eficientes de parâmetros que ajustam apenas um subconjunto dos parâmetros de um modelo de linguagem grande. A LoRA oferece os seguintes benefícios:

• Ajuste mais rapidamente do que as técnicas que exigem o ajuste de todos os parâmetros de um modelo.
• Reduz o custo computacional de inferência no modelo ajustado.

Um modelo ajustado com o LoRA mantém ou melhora a qualidade de suas previsões.

A LoRA permite várias versões especializadas de um modelo.

LSTM

Abreviação de Memória de curto prazo longa.

M

machine learning

Um programa ou sistema que treina um modelo a partir de dados de entrada. O modelo treinado pode fazer previsões úteis com base em dados novos (nunca vistos antes) extraídos da mesma distribuição usada para treinar o modelo.

Machine learning também se refere ao campo de estudo relacionado a esses programas ou sistemas.

classe majoritária

O rótulo mais comum em um conjunto de dados desequilibrado de classe. Por exemplo, considerando um conjunto de dados que contém 99% de rótulos negativos e 1% de rótulos positivos, os rótulos negativos são a classe majoritária.

Compare com a classe minoritária.

Processo de decisão de Markov (MDP)

Um gráfico que representa o modelo de tomada de decisão em que decisões (ou ações) são tomadas para navegar por uma sequência de estados pressupondo que a propriedade Markov é válida. No aprendizado por reforço, essas transições entre estados retornam uma recompensa numérica.

Propriedade de Markov

Uma propriedade de determinados ambientes, em que as transições de estado são totalmente determinadas pelas informações implícitas no estado atual e na ação do agente.

modelo de linguagem mascarada

Um modelo de linguagem que prevê a probabilidade de tokens candidatos preencherem espaços em branco em uma sequência. Por exemplo, um modelo de linguagem mascarada pode calcular probabilidades de palavras candidatas para substituir o sublinhado na seguinte frase:

O(a) ____ de chapéu veio de volta.

Geralmente, a literatura usa a string "MASK" em vez de um sublinhado. Exemplo:

A "MÁSCARA" no chapéu voltou.

A maioria dos modelos modernos de linguagem mascarada é bidirecional.

matplotlib

Biblioteca de plotagem 2D do Python (em inglês) de código aberto. O matplotlib ajuda a visualizar diferentes aspectos do machine learning.

fatoração de matrizes

Em matemática, um mecanismo para encontrar as matrizes cujo produto escalar se aproxima de uma matriz de destino.

Nos sistemas de recomendação, a matriz de destino geralmente contém as classificações dos usuários em itens. Por exemplo, a matriz de destino de um sistema de recomendação de filmes pode ser semelhante a esta, em que os números inteiros positivos são classificações do usuário e 0 significa que o usuário não classificou o filme:

O sistema de recomendação de filmes visa prever classificações de usuários para filmes sem classificação. Por exemplo, o Usuário 1 vai gostar de Pantera Negra?

Uma abordagem para sistemas de recomendação é usar fatoração de matrizes para gerar as duas matrizes a seguir:

• Uma matriz de usuários, moldada como o número de usuários X o número de dimensões de embedding.
• Uma matriz de itens, formada pelo número de dimensões de incorporação X o número de itens.

Por exemplo, usar a fatoração de matrizes nos nossos três usuários e cinco itens pode gerar as seguintes matrizes de usuários e de itens:

User Matrix                 Item Matrix

1.1   2.3           0.9   0.2   1.4    2.0   1.2
0.6   2.0           1.7   1.2   1.2   -0.1   2.1
2.5   0.5

O produto escalar da matriz de usuário e da matriz de item produz uma matriz de recomendação que contém não apenas as classificações originais dos usuários, mas também previsões para os filmes que cada usuário não viu. Por exemplo, considere a classificação do Usuário 1 de Casablanca, que foi 5,0. Espera-se que o produto escalar correspondente a essa célula na matriz de recomendação esteja em torno de 5, 0 e seja:

(1.1 * 0.9) + (2.3 * 1.7) = 4.9

E o mais importante: o Usuário 1 vai gostar de Pantera Negra? Utilizar o produto escalar correspondente à primeira linha e à terceira coluna gera uma classificação prevista de 4,3:

(1.1 * 1.4) + (2.3 * 1.2) = 4.3

A fatoração de matrizes normalmente produz matrizes de usuários e de itens que, juntas, são significativamente mais compactas do que a matriz de destino.

Erro médio absoluto (MAE)

A perda média por exemplo quando a perda L₁ é usada. Calcule o Erro absoluto médio da seguinte forma:

1. Calcule a perda L₁ de um lote.
2. Divida a perda de L₁ pelo número de exemplos no lote.

Por exemplo, considere o cálculo de perda L₁ no seguinte lote de cinco exemplos:

Portanto, a perda de L₁ é 8 e o número de exemplos é 5. Portanto, o erro médio absoluto é:

Mean Absolute Error = L1 loss / Number of Examples
Mean Absolute Error = 8/5 = 1.6

Contraste o Erro absoluto médio com o Erro quadrático médio e a Raiz do erro quadrático médio.

Erro quadrático médio (EQM)

A perda média por exemplo quando a perda L₂ é usada. Calcule o Erro quadrático médio da seguinte forma:

1. Calcule a perda L₂ de um lote.
2. Divida a perda de L₂ pelo número de exemplos no lote.

Por exemplo, considere a perda no lote de cinco exemplos a seguir:

Portanto, o Erro quadrático médio é:

Mean Squared Error = L2 loss / Number of Examples
Mean Squared Error = 16/5 = 3.2

O Erro quadrático médio é um otimizador de treinamento conhecido, especialmente para regressão linear.

Compare o Erro quadrático médio com o Erro quadrático médio e a Raiz do erro quadrático médio.

O TensorFlow Playground usa o erro quadrático médio para calcular os valores de perda.

malha

Na programação paralela de ML, um termo associado à atribuição de dados e modelo a chips de TPU e à definição de como esses valores serão fragmentados ou replicados.

"Malha" é um termo sobrecarregado que pode significar:

• Um layout físico de chips de TPU.
• Uma construção lógica abstrata para mapear os dados e o modelo para os chips de TPU.

Em ambos os casos, uma malha é especificada como uma forma.

metaaprendizado

Um subconjunto de machine learning que descobre ou melhora um algoritmo de aprendizado. Um sistema de metaaprendizagem também pode tentar treinar um modelo para aprender rapidamente uma nova tarefa com uma pequena quantidade de dados ou com a experiência adquirida em tarefas anteriores. Os algoritmos de metaaprendizado geralmente tentam fazer o seguinte:

• Melhorar ou aprender recursos projetados manualmente, como um inicializador ou um otimizador.
• Maior eficiência em termos de dados e computação.
• Melhorar a generalização.

O metaaprendizado está relacionado ao aprendizado few-shot.

metric

Uma estatística que importa para você.

Um objetivo é uma métrica que um sistema de machine learning tenta otimizar.

API Metrics (tf.metrics)

Uma API do TensorFlow para avaliar modelos. Por exemplo, tf.metrics.accuracy determina com que frequência as previsões de um modelo correspondem aos rótulos.

minilote

Um pequeno subconjunto selecionado aleatoriamente de um lote processado em uma iteração. O tamanho do lote de um minilote geralmente está entre 10 e 1.000 exemplos.

Por exemplo, suponha que todo o conjunto de treinamento (o lote completo) seja composto por 1.000 exemplos. Suponha que você defina o tamanho do lote de cada minilote como 20. Portanto, cada iteração determina a perda em 20 aleatórias dos 1.000 exemplos e, em seguida, ajusta os pesos e vieses de acordo.

É muito mais eficiente calcular a perda em um minilote do que a perda em todos os exemplos do lote completo.

gradiente descendente estocástico de minilote

Um algoritmo de gradiente descendente que usa minilotes. Em outras palavras, o gradiente descendente estocástico de minilote estima o gradiente com base em um pequeno subconjunto dos dados de treinamento. O gradiente descendente estocástico regular usa um minilote de tamanho 1.

perda minimax

Uma função de perda para redes adversárias generativas com base na entropia cruzada entre a distribuição dos dados gerados e reais.

A perda Minimax é usada no primeiro artigo para descrever redes adversárias generativas.

classe minoritária

O rótulo menos comum em um conjunto de dados com desequilíbrio de classe. Por exemplo, considerando um conjunto de dados que contém 99% de rótulos negativos e 1% de rótulos positivos, os rótulos positivos são a classe minoritária.

Compare com a classe principal.

ML

Abreviação de machine learning.

MNIST

Um conjunto de dados de domínio público compilado por LeCun, Cortes e Burges que contém 60.000 imagens, cada uma mostrando como um ser humano gravou manualmente um dígito específico de 0 a 9. Cada imagem é armazenada como uma matriz 28x28 de números inteiros, em que cada número inteiro é um valor em escala de cinza entre 0 e 255.

O MNIST é um conjunto de dados canônico para machine learning, frequentemente usado para testar novas abordagens de machine learning. Para mais detalhes, consulte o artigo Banco de dados MNIST de dígitos escritos à mão (em inglês).

modality

Uma categoria de dados de alto nível. Por exemplo, números, texto, imagens, vídeo e áudio são cinco modalidades diferentes.

model

Em geral, qualquer construção matemática que processe dados de entrada e retorne a saída. Em outras palavras, um modelo é o conjunto de parâmetros e estrutura necessários para que um sistema faça previsões. No machine learning supervisionado, um modelo usa um exemplo como entrada e infere uma previsão como saída. Com o machine learning supervisionado, os modelos são um pouco diferentes. Exemplo:

• Um modelo de regressão linear consiste em um conjunto de pesos e um viés.
• Um modelo de rede neural consiste em:
  • Um conjunto de camadas escondidas, cada uma contendo um ou mais neurônios.
  • Os pesos e o viés associados a cada neurônio.
• Um modelo de árvore de decisão consiste em:
  • A forma da árvore, ou seja, o padrão em que as condições e as folhas estão conectadas.
  • As condições e as saídas.

É possível salvar, restaurar ou fazer cópias de um modelo.

O machine learning não supervisionado também gera modelos, normalmente uma função que pode mapear um exemplo de entrada para o cluster mais apropriado.

  f(x, y) = 3x -5xy + y2 + 17

def half_of_greater(x, y):
  if (x > y):
    return(x / 2)
  else
    return(y / 2)

capacidade do modelo

a complexidade dos problemas que um modelo pode aprender. Quanto mais complexos os problemas que um modelo pode aprender, maior a capacidade dele. A capacidade de um modelo normalmente aumenta com o número de parâmetros dele. Para uma definição formal da capacidade do classificador, consulte a dimensão do VC.

cascata de modelos

Um sistema que escolhe o model ideal para uma consulta de inferência específica.

Imagine um grupo de modelos, variando de muito grandes (muitos parâmetros) a muito menores (muito menos parâmetros). Modelos muito grandes consomem mais recursos computacionais no tempo de inferência do que modelos menores. No entanto, modelos muito grandes normalmente podem inferir solicitações mais complexas do que modelos menores. A cascata de modelos determina a complexidade da consulta de inferência e escolhe o modelo apropriado para realizar a inferência. A principal motivação da cascata de modelos é reduzir os custos de inferência, geralmente selecionando modelos menores e selecionando apenas um modelo maior para consultas mais complexas.

Imagine que um modelo pequeno é executado em um smartphone e uma versão maior desse modelo é executada em um servidor remoto. Uma boa cascata de modelos reduz o custo e a latência, permitindo que o modelo menor processe solicitações simples e chamando apenas o modelo remoto para lidar com solicitações complexas.

Consulte também modelo de roteador.

paralelismo de modelos

Uma maneira de escalonar o treinamento ou a inferência que coloca diferentes partes de um model em model diferentes. O paralelismo de modelos permite que modelos grandes demais caibam em um único dispositivo.

Para implementar o paralelismo de modelos, um sistema normalmente faz o seguinte:

1. Ela fragmenta (divide) o modelo em partes menores.
2. distribui o treinamento dessas partes menores em vários processadores. Cada processador treina a própria parte do modelo.
3. Combina os resultados para criar um único modelo.

O paralelismo de modelos atrasa o treinamento.

Consulte também paralelismo de dados.

modelo de roteador

O algoritmo que determina o model ideal para model na model. Um roteador de modelo em si é normalmente um modelo de machine learning que aprende gradualmente a escolher o melhor modelo para uma determinada entrada. No entanto, um roteador de modelo às vezes pode ser um algoritmo mais simples e que não é de machine learning.

treinamento de modelo

O processo de determinar o melhor model.

Momentum

Algoritmo sofisticado de gradiente descendente em que uma etapa de aprendizado depende não apenas da derivada na etapa atual, mas também das derivadas das etapas que a precederam imediatamente. O momento envolve o cálculo de uma média móvel exponencialmente ponderada dos gradientes ao longo do tempo, análogo ao momentum na física. O momento às vezes impede que o aprendizado fique preso nos mínimos locais.

classificação multiclasse

No aprendizado supervisionado, é um problema de classificação em que o conjunto de dados contém mais de duas classes de rótulos. Por exemplo, os rótulos no conjunto de dados Iris precisam ser de uma destas três classes:

• Íris setosa
• Iris virginica
• Íris versicolor

Um modelo treinado com o conjunto de dados Iris que prevê o tipo Íris em novos exemplos está realizando uma classificação multiclasse.

Por outro lado, problemas de classificação que distinguem exatamente duas classes são modelos de classificação binária. Por exemplo, um modelo de e-mail que prevê spam ou não spam é um modelo de classificação binária.

Em problemas de clustering, a classificação multiclasse se refere a mais de dois clusters.

regressão logística multiclasse

Uso da regressão logística em problemas de classificação multiclasse.

autoatenção com várias cabeças

Uma extensão de autoatenção que aplica o mecanismo várias vezes para cada posição na sequência de entrada.

Os Transformers introduziram a autoatenção de várias cabeças.

modelo multimodal

Um modelo com entradas e/ou saídas que incluem mais de uma modalidade. Por exemplo, considere um modelo que usa uma imagem e uma legenda de texto (duas modalidades) como recursos e gera uma pontuação indicando a adequação da legenda de texto à imagem. Portanto, as entradas desse modelo são multimodais, e a saída é unimodal.

classificação multinomial

Sinônimo de classificação multiclasse.

regressão multinomial

Sinônimo de regressão logística multiclasse.

multitarefa

Uma técnica de machine learning em que um único model é treinado para executar várias model.

Modelos multitarefa são criados por meio de treinamento com base em dados apropriados para cada uma das diferentes tarefas. Isso permite que o modelo aprenda a compartilhar informações entre as tarefas, o que ajuda o modelo a aprender de forma mais eficaz.

Um modelo treinado para várias tarefas geralmente tem habilidades de generalização aprimoradas e pode ser mais robusto no processamento de diferentes tipos de dados.

N

armadilha de NaN

Quando um número no modelo se torna um NaN durante o treinamento, o que faz com que muitos ou todos os outros números no modelo se tornem NaN.

NaN é uma abreviação de Not a Number.

processamento de linguagem natural

Determinar as intenções de um usuário com base no que ele digitou ou disse. Por exemplo, um mecanismo de pesquisa usa processamento de linguagem natural para determinar o que o usuário está pesquisando com base no que ele digitou ou disse.

classe negativa

Na classificação binária, uma classe é positiva e a outra é negativa. A classe positiva é a coisa ou o evento em que o modelo está testando, e a classe negativa é a outra possibilidade. Exemplo:

• A classe negativa em um exame médico pode ser "não tumor".
• A classe negativa em um classificador de e-mails pode ser "não é spam".

Compare com a classe positiva.

amostragem negativa

Sinônimo de amostragem de candidatos.

Pesquisa de arquitetura neural (NAS)

Uma técnica para projetar automaticamente a arquitetura de uma rede neural. Os algoritmos NAS reduzem o tempo e os recursos necessários para treinar uma rede neural.

A NAS normalmente usa:

• Um espaço de pesquisa, que é um conjunto de arquiteturas possíveis.
• Uma função de condicionamento físico, que é uma medida do desempenho de uma arquitetura específica em uma determinada tarefa.

Os algoritmos NAS geralmente começam com um pequeno conjunto de arquiteturas possíveis e expandem gradualmente o espaço de pesquisa à medida que o algoritmo aprende mais sobre quais arquiteturas são eficazes. Normalmente, a função de condicionamento físico é baseada no desempenho da arquitetura em um conjunto de treinamento, e o algoritmo é normalmente treinado usando uma técnica de aprendizado por reforço.

Os algoritmos NAS se mostraram eficazes na localização de arquiteturas de alto desempenho para várias tarefas, incluindo classificação de imagens, classificação de texto e tradução automática.

do feedforward

Um model que contém pelo menos uma model. Uma rede neural profunda é um tipo de rede neural que contém mais de uma camada escondida. Por exemplo, o diagrama a seguir mostra uma rede neural profunda contendo duas camadas ocultas.

Cada neurônio de uma rede neural se conecta a todos os nós da próxima camada. Por exemplo, no diagrama anterior, observe que cada um dos três neurônios na primeira camada escondida se conecta separadamente aos dois neurônios na segunda camada escondida.

As redes neurais implementadas em computadores às vezes são chamadas de redes neurais artificiais para diferenciá-las das redes neurais encontradas em cérebros e outros sistemas nervosos.

Algumas redes neurais podem imitar relações não lineares extremamente complexas entre recursos diferentes e o rótulo.

Consulte também rede neural convolucional e rede neural recorrente.

neurônio

Em machine learning, uma unidade distinta em uma camada escondida de uma rede neural. Cada neurônio executa a seguinte ação de duas etapas:

1. Calcula a soma ponderada dos valores de entrada multiplicada pelos pesos correspondentes.
2. Transmite a soma ponderada como entrada para uma função de ativação.

Um neurônio na primeira camada escondida aceita entradas dos valores de recursos na camada de entrada. Um neurônio em qualquer camada escondida além do primeiro aceita entradas dos neurônios da camada escondida anterior. Por exemplo, um neurônio na segunda camada escondida aceita entradas dos neurônios da primeira camada escondida.

A ilustração a seguir destaca dois neurônios e as entradas deles.

Um neurônio de uma rede neural imita o comportamento dos neurônios no cérebro e em outras partes dos sistemas nervosos.

N-grama

Uma sequência ordenada de N palavras. Por exemplo, truly madly é um bloco de 2 gramas. Como a ordem é relevante, loucamente é um 2-grama diferente de realmente louco.

Muitos modelos de compreensão de linguagem natural (link em inglês) dependem de N-gramas para prever a próxima palavra que o usuário digitará ou dirá. Por exemplo, suponha que um usuário digitou três cegos. Um modelo PLN baseado em trigramas provavelmente preveria que o usuário digitará ratos.

Compare os N-gramas com saco de palavras, que são conjuntos não ordenados de palavras.

PLN

Abreviação de compreensão de linguagem natural (em inglês).

nó (árvore de decisão)

Em uma árvore de decisão, qualquer condição ou folha.

nó (rede neural)

Um neurônio em uma camada escondida.

nó (gráfico do TensorFlow)

Uma operação em um gráfico do TensorFlow.

ruído

Em termos gerais, qualquer coisa que oculte o sinal em um conjunto de dados. O ruído pode ser introduzido nos dados de várias maneiras. Exemplo:

• Os avaliadores humanos cometem erros ao rotular.
• Humanos e instrumentos gravam de maneira incorreta ou omitem os valores de atributos.

condição não binária

Uma condição que contém mais de dois resultados possíveis. Por exemplo, a condição não binária a seguir contém três resultados possíveis:

não linear

Uma relação entre duas ou mais variáveis que não podem ser representadas exclusivamente por adição e multiplicação. Um relacionamento linear pode ser representado como uma linha, mas um não linear não pode ser representado como uma linha. Por exemplo, imagine dois modelos que relacionam um único atributo a um rótulo. O modelo à esquerda é linear e o modelo à direita é não linear:

viés de não resposta

Consulte o viés de seleção.

não estacionário

Um recurso cujos valores mudam em uma ou mais dimensões, normalmente tempo. Por exemplo, considere os seguintes exemplos de não estacionário:

• O número de trajes de banho vendidos em uma loja específica varia de acordo com a estação.
• A quantidade de uma determinada fruta colhida em uma determinada região é zero durante grande parte do ano, mas grande por um breve período.
• Devido às mudanças climáticas, as temperaturas médias anuais estão mudando.

Compare com a estacionidade.

normalização

Em termos gerais, o processo de conversão do intervalo real de valores de uma variável em um intervalo padrão, como:

• -1 a +1
• 0 a 1
• a distribuição normal

Por exemplo, suponha que o intervalo real de valores de um determinado recurso seja de 800 a 2.400. Como parte da engenharia de atributos, é possível normalizar os valores reais para um intervalo padrão, como -1 a +1.

A normalização é uma tarefa comum na engenharia de atributos. Em geral, os modelos são treinados mais rapidamente (e produzem previsões melhores) quando todos os atributos numéricos no vetor de atributos têm aproximadamente o mesmo intervalo.

detecção de novidades

É o processo para determinar se um novo exemplo (novo) vem da mesma distribuição do conjunto de treinamento. Em outras palavras, após o treinamento no conjunto de treinamento, a detecção de novidades determina se um novo exemplo (durante a inferência ou durante um treinamento extra) é um outlier.

Contraste com a detecção de outliers.

dados numéricos

Atributos representados como inteiros ou números com valor real Por exemplo, um modelo de avaliação de casas provavelmente representaria o tamanho de uma casa (em pés quadrados ou metros quadrados) como dados numéricos. Representar um atributo como dados numéricos indica que os valores do atributo têm uma relação matemática com o rótulo. Ou seja, o número de metros quadrados de uma casa provavelmente tem alguma relação matemática com o valor da casa.

Nem todos os dados inteiros devem ser representados como dados numéricos. Por exemplo, códigos postais em algumas partes do mundo são números inteiros. No entanto, códigos postais inteiros não podem ser representados como dados numéricos em modelos. Isso ocorre porque um código postal de 20000 não é duas vezes (ou metade) potente do que um código postal de 10.000. Além disso, embora diferentes códigos postais corrijam a diferentes valores imobiliários, não podemos presumir que os valores imobiliários no código postal 20.000 sejam duas vezes mais valiosos que os valores imobiliários no código postal 10000. Os códigos postais precisam ser representados como dados categóricos.

Às vezes, os atributos numéricos são chamados de atributos contínuos.

NumPy

Uma biblioteca matemática de código aberto que fornece operações de matriz eficientes no Python. A pandas é criada com base no NumPy.

O

objetivo

Uma métrica que seu algoritmo está tentando otimizar.

função objetiva

A fórmula matemática ou métrica que um modelo pretende otimizar. Por exemplo, a função objetiva da regressão linear geralmente é perda quadrática média. Portanto, ao treinar um modelo de regressão linear, o treinamento visa minimizar a perda quadrática média.

Em alguns casos, o objetivo é maximizar a função objetiva. Por exemplo, se a função objetiva é acurácia, a meta é maximizar a acurácia.

Consulte também perda.

condição oblíqua

Em uma árvore de decisão, uma condição que envolve mais de um recurso. Por exemplo, se altura e largura forem ambas elementos, o seguinte será uma condição oblíqua:

  height > width

Contraste com a condição de alinhamento do eixo.

offline

Sinônimo de estática.

inferência off-line

O processo de um modelo que gera um lote de previsões e, em seguida, armazena em cache (salvando) essas previsões. Assim, os apps podem acessar a previsão inferida no cache em vez de executar novamente o modelo.

Por exemplo, considere um modelo que gera previsões do tempo local (previsões) uma vez a cada quatro horas. Após a execução de cada modelo, o sistema armazena em cache todas as previsões meteorológicas locais. Os apps de clima recuperam as previsões do cache.

A inferência off-line também é chamada de inferência estática.

Isso é diferente da inferência on-line.

codificação one-hot

Representação de dados categóricos como um vetor em que:

• Um elemento é definido como 1.
• Todos os outros elementos são definidos como 0.

A codificação one-hot é normalmente usada para representar strings ou identificadores que têm um conjunto finito de valores possíveis. Por exemplo, suponha que um determinado recurso categórico chamado Scandinavia tenha cinco valores possíveis:

• "Dinamarca"
• "Suécia"
• "Noruega"
• "Finlândia"
• "Islândia"

A codificação one-hot pode representar cada um dos cinco valores da seguinte maneira:

Graças à codificação one-hot, um modelo pode aprender conexões diferentes com base em cada um dos cinco países.

Representar um atributo como dados numéricos é uma alternativa à codificação one-hot. Infelizmente, representar numericamente os países escandinavos não é uma boa escolha. Por exemplo, considere a seguinte representação numérica:

• "Dinamarca" é 0
• "Suécia" é 1
• "Noruega" está 2
• "Finlândia" tem 3 anos
• "Islândia" tem 4 anos

Com a codificação numérica, um modelo interpreta os números brutos matematicamente e tenta treinar com eles. No entanto, a Islândia não é o dobro (ou metade disso) do que a Noruega. Por isso, o modelo chegaria a algumas conclusões estranhas.

aprendizado one-shot

Uma abordagem de machine learning, geralmente usada para classificação de objetos, projetada para aprender classificadores eficazes com um único exemplo de treinamento.

Consulte também aprendizado few-shot e zero-shot.

comandos one-shot

Um comando com um exemplo que demonstra como o modelo de linguagem grande precisa responder. Por exemplo, o comando a seguir contém um exemplo que mostra um modelo de linguagem grande como ele deve responder a uma consulta.

Compare os comandos one-shot com os seguintes termos:

• Comandos zero-shot
• comandos few-shot

um-contra-todos

Dado um problema de classificação com N classes, uma solução que consiste em N classificadores binários separados, um classificador binário para cada resultado possível. Por exemplo, considerando um modelo que classifica exemplos como animal, vegetal ou mineral, uma solução do tipo "um contra todos" forneceria os três classificadores binários separados a seguir:

• animal versus não animal
• vegetal versus não vegetal
• mineral versus não mineral

online

Sinônimo de dynamic.

inferência on-line

Gerar previsões sob demanda. Por exemplo, suponha que um app transmita a entrada para um modelo e emita uma solicitação de previsão. Um sistema que usa inferência on-line responde à solicitação executando o modelo e retornando a previsão ao aplicativo.

Isso é diferente da inferência off-line.

operação (op)

No TensorFlow, qualquer procedimento que crie, manipule ou destrua um Tensor. Por exemplo, uma multiplicação de matriz é uma operação que toma dois tensores como entrada e gera um tensor como saída.

Optax

Uma biblioteca de processamento e otimização de gradientes para JAX. A Optax facilita a pesquisa fornecendo elementos básicos que podem ser recombinados de maneiras personalizadas para otimizar modelos paramétricos, como redes neurais profundas. Outras metas incluem:

• Fornecer implementações eficientes, bem testadas e legíveis dos componentes principais.
• Melhorar a produtividade, possibilitando a combinação de ingredientes de baixo nível em otimizadores personalizados (ou outros componentes de processamento de gradiente).
• Acelerar a adoção de novas ideias, facilitando a contribuição para qualquer pessoa.

otimizador

Uma implementação específica do algoritmo de gradiente descendente. Otimizadores populares incluem:

• AdaGrad, que significa "descendente ADAptive GRADient".
• Adam, que significa "ADAptive with Momentum".

viés de homogeneidade externa ao grupo

A tendência de ver os membros de fora do grupo como mais semelhantes do que os membros do grupo ao comparar atitudes, valores, traços de personalidade e outras características. Em grupo refere-se a pessoas com quem você interage regularmente, e fora do grupo refere-se a pessoas com quem você não interage regularmente. Se você criar um conjunto de dados pedindo que as pessoas forneçam atributos sobre grupos externos, esses atributos podem ser menos sutis e mais estereotipados do que os atributos que os participantes listam para pessoas do grupo.

Por exemplo, os liliputianos podem descrever as casas de outros liliputianos em detalhes, citando pequenas diferenças em estilos arquitetônicos, janelas, portas e tamanhos. No entanto, os mesmos liliputianos podem simplesmente declarar que os Brobdingnagians vivem em casas idênticas.

O viés de homogeneidade externa ao grupo é uma forma de viés de atribuição a grupo.

Consulte também o viés de grupo.

detecção de outliers

Processo de identificação de outliers em um conjunto de treinamento.

Mas não a detecção de novidades.

as exceções

Valores distantes da maioria dos outros valores. Em machine learning, qualquer uma das seguintes opções são outliers:

• Dados de entrada com valores que estão a mais de aproximadamente três desvios padrão da média.
• Pesos com valores absolutos altos.
• Valores previstos relativamente distantes dos valores reais.

Por exemplo, suponha que widget-price seja um recurso de um determinado modelo. Suponha que o widget-price médio seja de 7 euros com um desvio padrão de 1 euro. Os exemplos que contêm um widget-price de 12 euros ou 2 euros serão considerados outliers, já que cada um desses preços está cinco desvios padrão da média.

Os pontos fora da curva geralmente são causados por erros de digitação ou outros erros de entrada. Em outros casos, outliers não são erros. Afinal, valores a cinco desvios padrão de distância da média são raros, mas quase impossíveis.

Os outliers costumam causar problemas no treinamento do modelo. O recorte é uma maneira de gerenciar outliers.

avaliação pronta para uso (avaliação OOB)

Um mecanismo para avaliar a qualidade de uma floresta de decisão testando cada árvore de decisão em relação aos exemplos não usados durante o treinamento dessa árvore de decisão. Por exemplo, no diagrama a seguir, observe que o sistema treina cada árvore de decisão em cerca de dois terços dos exemplos e, em seguida, avalia em relação ao um terço restante dos exemplos.

A avaliação completa é uma aproximação eficiente e conservadora em termos de computação do mecanismo de validação cruzada. Na validação cruzada, um modelo é treinado para cada rodada de validação cruzada. Por exemplo, 10 modelos são treinados em uma validação cruzada de 10 vezes. Com a avaliação OOB, um único modelo é treinado. Como os bagging retêm alguns dados de cada árvore durante o treinamento, a avaliação OOB pode usar esses dados para aproximar a validação cruzada.

camada final

A camada "final" de uma rede neural. A camada final contém a previsão.

A ilustração a seguir mostra uma pequena rede neural profunda com uma camada de entrada, duas camadas ocultas e uma de saída:

overfitting

Criar um model que corresponda aos model com tanta precisão que o modelo não faça previsões corretas com base nos novos dados.

A regularização pode reduzir o overfitting. Treinar em um conjunto de treinamento grande e diversificado também pode reduzir o overfitting.

sobreamostragem

Reutilizar os exemplos de uma classe minoritária em um conjunto de dados com desequilíbrio de classes para criar um conjunto de treinamento mais equilibrado.

Por exemplo, considere um problema de classificação binária em que a proporção entre a classe principal e a classe minoritária é de 5.000:1. Se o conjunto de dados tiver um milhão de exemplos, o conjunto terá apenas cerca de 200 exemplos da classe minoritária, o que pode ser poucos exemplos para um treinamento eficaz. Para superar essa deficiência, você pode fazer uma amostragem excessiva desses 200 exemplos várias vezes, possivelmente produzindo exemplos suficientes para um treinamento útil.

Você precisa ter cuidado com o overfitting durante a sobreamostragem.

Contraste com subamostragem.

P

dados empacotados

Uma abordagem para armazenar dados com mais eficiência.

Os dados empacotados armazenam dados usando um formato compactado ou de alguma outra maneira que permita que eles sejam acessados com mais eficiência. Os dados empacotados minimizam a quantidade de memória e computação necessárias para acessá-los, resultando em um treinamento mais rápido e uma inferência de modelo mais eficiente.

Os dados empacotados geralmente são usados com outras técnicas, como aumento de dados e regularização, melhorando ainda mais o desempenho dos modelos.

pandas

Uma API de análise de dados orientada por colunas, criada com base em numpy. Muitos frameworks de machine learning, incluindo o TensorFlow, oferecem suporte a estruturas de dados do pandas como entradas. Consulte a documentação do Pandas para mais detalhes.

parâmetro

Os pesos e vieses que um modelo aprende durante o treinamento. Por exemplo, em um modelo de regressão linear, os parâmetros consistem no viés (b) e em todos os pesos (w₁, w₂ e assim por diante) na seguinte fórmula:

Por outro lado, hiperparâmetros são os valores que você (ou um serviço de ajuste de hiperparâmetros) fornece ao modelo. Por exemplo, a taxa de aprendizado é um hiperparâmetro.

ajuste de eficiência de parâmetros

Um conjunto de técnicas para ajustar um grande modelo de linguagem pré-treinado (PLM, na sigla em inglês) de forma mais eficiente do que o ajuste completo. O ajuste com eficiência de parâmetros normalmente ajusta muito menos parâmetros do que o ajuste completo. No entanto, geralmente produz um modelo de linguagem grande com desempenho tão bom (ou quase tão bom) quanto um modelo de linguagem grande criado com base no ajuste completo.

Compare e contraste o ajuste com eficiência de parâmetros com:

• ajuste de instruções
• ajuste de comando

Esse recurso também é conhecido como ajustes finos com eficiência de parâmetros.

Servidor de parâmetros (PS)

Um job que monitora os parâmetros de um modelo em uma configuração distribuída.

atualização de parâmetros

Operação de ajuste dos parâmetros de um modelo durante o treinamento, normalmente em uma única iteração do gradiente descendente.

derivada parcial

Uma derivada em que todas as variáveis, exceto uma, são consideradas constantes. Por exemplo, a derivada parcial de f(x, y) em relação a x é a derivada de f considerada uma função apenas de x, ou seja, mantendo y constante. A derivada parcial de f em relação a x se concentra apenas em como x está mudando e ignora todas as outras variáveis na equação.

viés de participação

Sinônimo de viés de não resposta. Consulte o viés de seleção.

estratégia de particionamento

O algoritmo pelo qual as variáveis são divididas entre servidores de parâmetros.

Pax

Um framework de programação projetado para treinar modelos de rede neural em grande escala e tão grandes que abrangem vários chips de acelerador de TPU ou pods.

O Pax é baseado no Flax, que é baseado no JAX.

Perceptron

Um sistema (hardware ou software) que recebe um ou mais valores de entrada, executa uma função na soma ponderada das entradas e calcula um único valor de saída. Em machine learning, a função normalmente não é linear, como ReLU, sigmoid ou tanh. Por exemplo, o perceptron a seguir depende da função sigmoide para processar três valores de entrada:

Na ilustração a seguir, o perceptron recebe três entradas, cada uma sendo modificada por um peso antes de entrar nele:

Perceptrons são os neurônios em redes neurais.

desempenho

Termo sobrecarregado com os seguintes significados:

• O significado padrão na engenharia de software. Ou seja: com que rapidez (ou eficiência) esse software é executado?
• o significado dentro do machine learning Aqui, o desempenho responde a seguinte pergunta: quão correto é este model? Ou seja, qual é a qualidade das previsões do modelo?

importâncias das variáveis de troca

Um tipo de importância variável que avalia o aumento no erro de previsão de um modelo depois de trocar os valores do atributo. A importância da variável de troca é uma métrica que não depende do modelo.

perplexidade

Uma medida de como um model está realizando a tarefa. Por exemplo, suponha que sua tarefa seja ler as primeiras letras de uma palavra que um usuário está digitando no teclado de um smartphone e oferecer uma lista de possíveis palavras de conclusão. A perplexidade, P, para essa tarefa, é aproximadamente o número de palpites que você precisa oferecer para que a lista contenha a palavra real que o usuário está tentando digitar.

A perplexidade está relacionada à entropia cruzada da seguinte maneira:

pipeline

A infraestrutura em torno de um algoritmo de machine learning. Um pipeline inclui coletar os dados, colocá-los em arquivos de dados de treinamento, treinar um ou mais modelos e exportá-los para produção.

pipeline

Uma forma de paralelismo de modelos em que o processamento de um modelo é dividido em estágios consecutivos, e cada um é executado em um dispositivo diferente. Enquanto uma etapa processa um lote, a anterior pode funcionar no próximo.

Consulte também o treinamento por etapas.

pjit

Uma função JAX que divide o código para execução em vários ícones de acelerador. O usuário passa uma função para o pjit, que retorna uma função que tem a semântica equivalente, mas é compilada em um cálculo de XLA que é executado em vários dispositivos (como GPUs ou núcleos de TPU).

O pjit permite que os usuários fragmentem cálculos sem reescrevê-los usando o particionador SPMD.

A partir de março de 2023, o pjit foi mesclado com o jit. Consulte Matrizes distribuídas e carregamento em paralelo automático para mais detalhes.

PLM

Abreviação de modelo de linguagem pré-treinado (em inglês).

pmap

Uma função JAX que executa cópias de uma função de entrada em vários dispositivos de hardware subjacentes (CPUs, GPUs ou TPUs), com valores de entrada diferentes. O pmap depende de SPMD.

policy

No aprendizado por reforço, o mapeamento probabilístico de um agente de estados para ações.

pool

Reduzir uma ou mais matrizes criadas por uma camada convolucional anterior para uma matriz menor. O agrupamento geralmente envolve a obtenção do valor máximo ou médio da área reunida. Por exemplo, suponha que temos a seguinte matriz 3x3:

Uma operação de pooling, assim como uma operação convolucional, divide essa matriz em fatias e, em seguida, desliza essa operação convolucional por strides. Por exemplo, suponha que a operação de pool divida a matriz convolucional em fatias 2x2 com um salto de 1x1. Como ilustrado no diagrama a seguir, ocorrem quatro operações de pool. Imagine que cada operação de pooling escolhe o valor máximo dos quatro nessa fração:

O agrupamento ajuda a aplicar a invariância transacional na matriz de entrada.

O pooling para aplicativos de visão é conhecido mais formalmente como pooling espacial. Os aplicativos de série temporal geralmente se referem ao pool como pooling temporal. Menos formalmente, o pooling é chamado de subamostragem ou redução da amostragem.

codificação posicional

Uma técnica para adicionar informações sobre a posição de um token em uma sequência ao embedding do token. Os modelos de transformador usam a codificação posicional para entender melhor a relação entre diferentes partes da sequência.

Uma implementação comum da codificação posicional usa uma função senoidal. Especificamente, a frequência e a amplitude da função senoidal são determinadas pela posição do token na sequência. Essa técnica permite que um modelo de transformador aprenda a atender a diferentes partes da sequência com base na posição delas.

classe positiva

A turma em que você está testando.

Por exemplo, a classe positiva em um modelo de câncer pode ser “tumor”. A classe positiva em um classificador de e-mail pode ser "spam".

Compare com a classe negativa.

pós-processamento

Ajustar a saída de um modelo após a execução dele. O pós-processamento pode ser usado para impor restrições de imparcialidade sem modificar os modelos em si.

Por exemplo, é possível aplicar o pós-processamento a um classificador binário definindo um limite de classificação de modo que a igualdade de oportunidade seja mantida para alguns atributos ao verificar se a taxa de verdadeiro positivo é a mesma para todos os valores desse atributo.

PR AUC (área sob a curva PR)

Área sob a curva de precisão-recall interpolada, obtida pela plotagem de pontos (recall, precisão) para valores diferentes do limite de classificação. Dependendo de como ela é calculada, a AUC da PR pode ser equivalente à precisão média do modelo.

Praxe

Uma biblioteca de ML principal e de alto desempenho do Pax. Ela é frequentemente chamada de "biblioteca de camadas".

O Praxis contém não apenas as definições da classe Layer, mas também a maioria dos componentes de suporte, incluindo:

• entradas de dados
• bibliotecas de configuração (HParam e Fiddle)
• otimizadores

Praxis fornece as definições para a classe Model.

precision

Uma métrica para modelos de classificação que responde à seguinte pergunta:

Quando o modelo previu a classe positiva, que porcentagem das previsões estava correta?

Aqui está a fórmula:

onde:

• "verdadeiro positivo" significa que o modelo previu corretamente a classe positiva.
• Um falso positivo significa que o modelo previu por engano a classe positiva.

Por exemplo, imagine que um modelo fez 200 previsões positivas. Dessas 200 previsões positivas:

• 150 eram verdadeiros positivos.
• 50 eram falsos positivos.

Neste caso:

Compare com acurácia e recall.

curva de precisão/recall

Uma curva de precisão versus recall em diferentes limites de classificação.

previsão.

A saída de um modelo. Exemplo:

• A previsão de um modelo de classificação binária é a classe positiva ou a classe negativa.
• A previsão de um modelo de classificação multiclasse é uma classe.
• A previsão de um modelo de regressão linear é um número.

viés de previsão

Um valor que indica a distância entre a média das previsões e a média dos rótulos no conjunto de dados.

Não confunda com o termo de viés em modelos de machine learning ou com viés na ética e imparcialidade.

ML preditivo

Qualquer sistema padrão de machine learning (clássico).

O termo ML preditivo não tem uma definição formal. Em vez disso, o termo distingue uma categoria de sistemas de ML não baseada na IA generativa.

paridade preditiva

Uma métrica de imparcialidade que verifica se, para um determinado classificador, as taxas de precisão são equivalentes para os subgrupos em consideração.

Por exemplo, um modelo que prevê a aceitação na faculdade atenderia à paridade preditiva da nacionalidade se a taxa de precisão fosse a mesma para liliputianos e brobdingnagians.

A paridade preditiva também é chamada de paridade de taxa preditiva.

Consulte "Explicações sobre imparcialidade" (seção 3.2.1) para uma discussão mais detalhada sobre paridade preditiva.

paridade de taxa preditiva

Outro nome para paridade preditiva.

pré-processamento

modelo pré-treinado

Modelos ou componentes de modelo (como um vetor de incorporação) que já foram treinados. Às vezes, você alimenta vetores de embedding pré-treinados em uma rede neural. Outras vezes, o modelo treinará os próprios vetores de embedding em vez de depender dos embeddings pré-treinados.

O termo modelo de linguagem pré-treinado refere-se a um modelo de linguagem grande que passou pelo pré-treinamento.

pré-treinamento

O treinamento inicial de um modelo em um grande conjunto de dados. Alguns modelos pré-treinados são gigantes desajeitados e normalmente precisam ser refinados com treinamento adicional. Por exemplo, especialistas em ML podem pré-treinar um modelo de linguagem grande em um grande conjunto de dados de texto, como todas as páginas em inglês na Wikipédia. Após o pré-treinamento, o modelo resultante pode ser refinado ainda mais usando qualquer uma das técnicas a seguir:

• destilação
• ajustes
• ajuste de instruções
• ajuste com eficiência de parâmetros
• ajuste de comando

crença a priori

O que você acredita sobre os dados antes de começar o treinamento. Por exemplo, a regularização L₂ depende de uma crença anterior de que os pesos precisam ser pequenos e normalmente distribuídos em torno de zero.

modelo de regressão probabilística

Um modelo de regressão que usa não apenas os pesos de cada recurso, mas também a incerteza desses pesos. Um modelo de regressão probabilística gera uma previsão e a incerteza dessa previsão. Por exemplo, um modelo de regressão probabilística pode gerar uma previsão de 325 com um desvio padrão de 12. Para mais informações sobre modelos de regressão probabilística, consulte este Colab em tensorflow.org.

função da densidade de probabilidade

Uma função que identifica a frequência de amostras de dados com um valor específico exatamente. Quando os valores do conjunto de dados são números contínuos de ponto flutuante, correspondências exatas raramente ocorrem. No entanto, integrating uma função de densidade de probabilidade do valor x ao valor y produz a frequência esperada de amostras de dados entre x e y.

Por exemplo, considere uma distribuição normal com uma média de 200 e um desvio padrão de 30. Para determinar a frequência esperada de amostras de dados que estão no intervalo de 211,4 a 218,7, integre a função de densidade de probabilidade para uma distribuição normal de 211,4 a 218,7.

prompt

Qualquer texto inserido como entrada em um modelo de linguagem grande para condicionar o modelo a se comportar de uma determinada maneira. Os comandos podem ser curtos quanto uma frase ou arbitrariamente longos (por exemplo, o texto inteiro de um romance). Os comandos se enquadram em várias categorias, incluindo as mostradas na tabela a seguir:

Um modelo de IA generativa pode responder a comandos com texto, código, imagens, embeddings, vídeos... quase tudo.

aprendizado baseado em comandos

Um recurso de determinados modelos que permite adaptar o comportamento em resposta a uma entrada de texto arbitrária (comandos). Em um paradigma de aprendizado baseado em prompt típico, um modelo de linguagem grande responde a uma solicitação gerando texto. Por exemplo, suponha que um usuário digite o seguinte comando:

Resumir a terceira lei de Newton.

Um modelo capaz de aprendizado baseado em comandos não é treinado especificamente para responder ao comando anterior. Em vez disso, o modelo "sabe" muitos fatos sobre física, muito sobre regras gerais de linguagem e muito sobre o que constitui respostas geralmente úteis. Esse conhecimento é suficiente para fornecer uma resposta útil. Feedback humano adicional ("Essa resposta foi muito complicada" ou "O que é uma reação?") permite que alguns sistemas de aprendizado baseados em comandos melhorem a utilidade das respostas gradualmente.

design de comandos

Sinônimo de engenharia de comando.

engenharia de comando

A arte de criar comandos que recebem as respostas pretendidas de um modelo de linguagem grande. Os humanos fazem a engenharia de comando. Escrever comandos bem estruturados é essencial para garantir respostas úteis de modelos de linguagem grandes. Ela depende de muitos fatores, incluindo:

• O conjunto de dados usado para pré-treinar e possivelmente ajustar o modelo de linguagem grande.
• A temperatura e outros parâmetros de decodificação que o modelo usa para gerar respostas.

Consulte Introdução à criação de comandos para conferir mais detalhes sobre como escrever comandos úteis.

Design de comandos é sinônimo de engenharia de comando.

ajuste de comandos

Um mecanismo de ajuste eficiente de parâmetros que aprende um "prefixo" que o sistema anexa ao comando real.

Uma variação do ajuste de prompts, às vezes chamado de ajuste de prefixo, é incluir o prefixo em todas as camadas. Por outro lado, a maior parte do ajuste de comandos adiciona apenas um prefixo à camada de entrada.

rótulos de proxy

Dados usados para aproximar rótulos não disponíveis diretamente em um conjunto de dados.

Por exemplo, suponha que você precise treinar um modelo para prever o nível de estresse dos funcionários. O conjunto de dados contém muitos recursos preditivos, mas não contém um rótulo chamado nível de estresse. Sem se intimidar, você escolhe "acidentes no local de trabalho" como identificador do nível de estresse. Afinal, funcionários sob alto estresse enfrentam mais acidentes do que funcionários calmos. Ou eles têm? Talvez os acidentes de trabalho aumentem e diminuam por vários motivos.

Como segundo exemplo, suponha que você queira que está chovendo? seja um rótulo booleano para seu conjunto de dados, mas seu conjunto de dados não contém dados de chuva. Se fotos estiverem disponíveis, estabeleça fotos de pessoas carregando guarda-chuvas como um rótulo substituto de está chovendo? Esse é um bom identificador de proxy? Possivelmente, mas as pessoas de algumas culturas são mais propensas a carregar guarda-chuvas para se proteger do sol do que da chuva.

Os rótulos de proxy geralmente são imperfeitos. Quando possível, escolha rótulos reais em vez de rótulos de proxy. Dito isso, quando um rótulo real estiver ausente, escolha-o com muito cuidado, escolhendo o menos horrível candidato a rótulo de proxy.

proxy (atributos confidenciais)

função pura

Uma função com saídas baseadas apenas nas entradas e que não tem efeitos colaterais. Especificamente, uma função pura não usa nem altera nenhum estado global, como o conteúdo de um arquivo ou o valor de uma variável fora da função.

Funções puras podem ser usadas para criar código thread-safe, o que é útil ao fragmentar o código do model em vários model.

Os métodos de transformação de função do JAX exigem que as funções de entrada sejam funções puras.

P

Função Q

No aprendizado por reforço, a função que prevê o retorno esperado de executar uma ação em um estado e, em seguida, seguir uma determinada política.

A função Q também é conhecida como função de valor de ação de estado.

Aprendizado Q

No aprendizado por reforço, um algoritmo que permite que um agente aprenda a função Q ideal de um processo de decisão de Markov aplicando a equação de Bellman. O processo de decisão de Markov modela um ambiente.

quantil

Cada bucket no agrupamento por classes.

agrupamento por classes de quantil

Distribuir os valores de um atributo em buckets para que cada bucket contenha o mesmo (ou quase o mesmo) número de exemplos. Por exemplo, a figura a seguir divide 44 pontos em 4 buckets, cada um contendo 11 pontos. Para que cada bucket na figura contenha o mesmo número de pontos, alguns buckets abrangem uma largura diferente de valores x.

quantização

Termo sobrecarregado que pode ser usado de qualquer uma das seguintes maneiras:

• Implementar o agrupamento por classes de quantil em um recurso específico.
• transformar dados em zeros e uns para acelerar o armazenamento, o treinamento e a inferência. Como os dados booleanos são mais robustos em relação a ruídos e erros do que outros formatos, a quantização pode melhorar a precisão do modelo. As técnicas de quantização incluem arredondamento, truncamento e agrupamento.

• Redução do número de bits usados para armazenar os parâmetros de um modelo. Por exemplo, suponha que os parâmetros de um modelo sejam armazenados como números de ponto flutuante de 32 bits. A quantização converte esses parâmetros de 32 bits para 4, 8 ou 16 bits. A quantização reduz o seguinte:

  • Uso de computação, memória, disco e rede
  • Tempo para inferir uma predicação
  • Consumo de energia

  No entanto, a quantização às vezes diminui a exatidão das previsões de um modelo.

fila

Uma operação do TensorFlow que implementa uma estrutura de dados de fila. Usado normalmente na E/S.

R

RAG

Abreviação de geração aumentada de recuperação.

floresta aleatória

Um ensemble de árvores de decisão em que cada árvore de decisão é treinada com um ruído aleatório específico, como bagging.

As florestas aleatórias são um tipo de floresta de decisão.

política aleatória

No aprendizado por reforço, uma política que escolhe uma ação aleatoriamente.

classificação

Um tipo de aprendizado supervisionado que tem o objetivo de ordenar uma lista de itens.

classificação (ordinalidade)

A posição ordinal de uma classe em um problema de machine learning que categoriza as classes da mais alta para a mais baixa. Por exemplo, um sistema de classificação de comportamento pode classificar os prêmios de um cão do mais alto (um bife) para o mais baixo (couve murcha).

classificação (Tensor)

O número de dimensões em um Tensor. Por exemplo, um escalar tem classificação 0, um vetor tem classificação 1 e uma matriz tem classificação 2.

Não confunda com classificação (ordinalidade).

avaliador

Uma pessoa que fornece rótulos para exemplos. "Anotador" é outro nome para avaliador.

recall

Uma métrica para modelos de classificação que responde à seguinte pergunta:

Quando as informações empíricas eram a classe positiva, qual porcentagem de previsões o modelo identificou corretamente como a classe positiva?

Aqui está a fórmula:

\[\text{Recall} = \frac{\text{true positives}} {\text{true positives} + \text{false negatives}} \]

onde:

• "verdadeiro positivo" significa que o modelo previu corretamente a classe positiva.
• um falso negativo significa que o modelo previu de maneira incorreta a classe negativa.

Por exemplo, suponha que seu modelo tenha feito 200 previsões em exemplos para os quais as informações empíricas eram a classe positiva. Dessas 200 previsões:

• 180 eram verdadeiros positivos.
• 20 eram falsos negativos.

Neste caso:

\[\text{Recall} = \frac{\text{180}} {\text{180} + \text{20}} = 0.9 \]

recall = TP / (TP + FN)
recall = 30 / (30 + 20) = 0.6 = 60%

accuracy = (TP + TN) / (TP + TN + FP + FN)
accuracy = (30 + 4,999,000) / (30 + 4,999,000 + 950 + 20) = 99.98%

sistema de recomendação

Um sistema que seleciona para cada usuário um conjunto relativamente pequeno de itens desejáveis de um grande corpus. Por exemplo, um sistema de recomendação de vídeos pode recomendar dois vídeos de um corpus de 100 mil vídeos, selecionando Casablanca e A história da Filadélfia para um usuário e Mulher Maravilha e Pantera Negra para outro. Um sistema de recomendação de vídeos pode basear as recomendações em fatores como:

• Filmes que usuários semelhantes avaliaram ou assistiram.
• Gênero, diretores, atores, público-alvo...

Unidade Linear Retificada (ReLU)

Uma função de ativação com o seguinte comportamento:

• Se a entrada for negativa ou zero, a saída será 0.
• Se a entrada for positiva, a saída será igual à entrada.

Exemplo:

• Se a entrada for -3, a saída será 0.
• Se a entrada for +3, a saída será 3,0.

Veja um gráfico de ReLU:

ReLU é uma função de ativação muito conhecida. Apesar do comportamento simples, a ReLU ainda permite que uma rede neural aprenda relações não lineares entre atributos e o rótulo.

rede neural recorrente

Uma rede neural executada intencionalmente várias vezes, em que partes de cada execução são alimentadas na próxima execução. Especificamente, as camadas ocultas da execução anterior fornecem parte da entrada para a mesma camada escondida na próxima execução. As redes neurais recorrentes são particularmente úteis para avaliar sequências, de modo que as camadas escondidas possam aprender com as execuções anteriores da rede neural em partes anteriores da sequência.

Por exemplo, a figura a seguir mostra uma rede neural recorrente que é executada quatro vezes. Os valores aprendidos nas camadas escondidas da primeira execução se tornam parte da entrada para as mesmas camadas escondidas na segunda execução. Da mesma forma, os valores aprendidos na camada escondida na segunda execução se tornam parte da entrada para a mesma camada escondida na terceira execução. Dessa forma, a rede neural recorrente treina e prevê gradualmente o significado de toda a sequência em vez de apenas o significado de palavras individuais.

modelo de regressão

informalmente, um modelo que gera uma previsão numérica. Por outro lado, um modelo de classificação gera uma previsão de classe. Por exemplo, estes são todos modelos de regressão:

• Um modelo que prevê o valor de uma determinada casa, como 423.000 euros.
• Um modelo que prevê a expectativa de vida de uma determinada árvore, como 23,2 anos.
• Um modelo que prevê a quantidade de chuva que vai cair em uma determinada cidade nas próximas seis horas, como 0,18 milímetros.

Dois tipos comuns de modelos de regressão são:

• Regressão linear, que encontra a linha que melhor sede os valores de rótulo aos atributos.
• Regressão logística, que gera uma probabilidade entre 0,0 e 1,0 que um sistema normalmente mapeia para uma previsão de classe.

Nem todo modelo que gera previsões numéricas é um modelo de regressão. Em alguns casos, uma previsão numérica é na verdade apenas um modelo de classificação que tem nomes de classes numéricas. Por exemplo, um modelo que prevê um código postal numérico é um modelo de classificação, não um modelo de regressão.

regularização

Qualquer mecanismo que reduza o overfitting. Os tipos conhecidos de regularização incluem:

• Regularização de L₁
• Regularização de L₂
• regularização de dropout
• parada antecipada (não é um método de regularização formal, mas pode limitar efetivamente o overfitting)

A regularização também pode ser definida como a penalidade na complexidade de um modelo.