Słowniczek systemów uczących się

Ten glosariusz zawiera ogólne terminy związane z systemami uczącymi się oraz terminy związane z TensorFlow.

A

ablacja

Technika oceny znaczenia funkcji lub komponentu przez tymczasowe usunięcie jej z modelu. Następnie trenujesz model ponownie bez tej funkcji lub komponentu. Jeśli po wytrenowaniu model osiąga znacznie gorsze wyniki, oznacza to, że usunięta funkcja lub komponent były prawdopodobnie ważne.

Załóżmy np., że wytrenujesz model klasyfikacji na 10 funkcjach i uzyskasz precyzję 88% w zbiorze testowym. Aby sprawdzić ważność pierwszej cechy, możesz ponownie wytrenować model, używając tylko 9 innych funkcji. Jeśli model ponownie wytrenowany osiąga znacznie gorsze wyniki (np. precyzję na poziomie 55%), oznacza to, że usunięta funkcja była prawdopodobnie ważna. Jeśli natomiast po wytrenowaniu model ma taką samą skuteczność, ta funkcja prawdopodobnie nie była aż tak ważna.

Ablacja może również pomóc określić znaczenie:

• większe komponenty, np. cały podsystem większego systemu ML.
• procesy lub techniki, np. etap wstępnego przetwarzania danych

W obu przypadkach można obserwować, jak zmienia się (lub nie zmienia) wydajność systemu po usunięciu komponentu.

Testy A/B

Statystyczny sposób porównywania dwóch (lub więcej) technik – A i B. Zazwyczaj A oznacza istniejącą metodę, a B to nowa. Testy A/B pozwalają nie tylko określić, która metoda jest skuteczniejsza, ale też czy różnica jest istotna statystycznie.

Testy A/B zwykle porównują jeden rodzaj danych z 2 metod, np. jak wypada porównanie dokładności modelu w przypadku 2 metod? Testy A/B mogą też jednak porównywać dowolną skończoną liczbę danych.

układ akceleratora

Kategoria wyspecjalizowanych komponentów sprzętowych, które służą do wykonywania kluczowych obliczeń potrzebnych algorytmom deep learning.

Układy akceleratora (w skrócie tylko akceleratory) mogą znacznie zwiększyć szybkość i wydajność zadań trenowania i wnioskowania w porównaniu z procesorami ogólnego przeznaczenia. Są idealne do trenowania sieci neuronowych i podobnych zadań wymagających dużej mocy obliczeniowej.

Przykłady układów akceleratora:

• Jednostki Tensor Processing Unit (TPU) od Google ze specjalnym sprzętem do deep learningu.
• Procesory graficzne NVIDIA, które chociaż początkowo były zaprojektowane do przetwarzania grafiki, mają umożliwiać przetwarzanie równoległe, co może znacznie zwiększyć szybkość przetwarzania.

dokładność

Liczba prognoz poprawnych klasyfikacji podzielona przez łączną liczbę prognoz. Czyli:

Na przykład model, który dokonał 40 poprawnych prognoz i 10 nieprawidłowych prognoz, miał dokładność:

Klasyfikacja plików binarnych nadaje konkretne nazwy różnym kategoriom poprawnych prognoz i niepoprawnych prognoz. Wzór dokładności klasyfikacji binarnej wygląda więc tak:

gdzie:

• TP to liczba prawdziwie pozytywnych prognoz (prawidłowych prognoz).
• TN to liczba wartości prawdziwie negatywnych (prawidłowych prognoz).
• FP to liczba fałszywie pozytywnych wyników (niepoprawnych prognoz).
• FN to liczba wyników fałszywie negatywnych (niepoprawnych prognoz).

Wskaż podobieństwa i różnice między dokładnością i precyzją oraz czułością.

accuracy = (TP + TN) / (TP + TN + FP + FN)
accuracy = (0 + 36500) / (0 + 36500 + 25 + 0) = 0.9993 = 99.93%

działaniu

We uczeniu przez wzmacnianie jest to mechanizm, w którym agent przechodzi między stanami środowiska. Agent wybiera działanie za pomocą zasady.

funkcja aktywacji

Funkcja, która umożliwia sieciom neuronowych poznawanie nieliniowych (złożonych) relacji między cechami a etykietą.

Do popularnych funkcji aktywacyjnych należą:

• ReLU
• Sigmoid

Wykresy funkcji aktywacyjnych nigdy nie są pojedynczymi liniami prostymi. Na przykład wykres funkcji aktywacji ReLU składa się z 2 linii prostych:

Schemat funkcji aktywacji sigmoidalnej wygląda tak:

weighted sum = (2)(-1.3) + (-1)(0.6) + (3)(0.4) = -2.0

aktywna nauka

Metoda trenowania, w której algorytm wybiera część danych, z których się uczy. Aktywne uczenie się jest szczególnie wartościowe, gdy przykłady oznaczone etykietami są rzadkie lub kosztowne. Zamiast ślepo szukać zróżnicowanych przykładów oznaczonych etykietami, aktywny algorytm selektywnie wyszukuje konkretny zakres przykładów potrzebnych mu do nauki.

AdaGrad

zaawansowany algorytm przesuwania gradientu, który przeskaluje gradienty każdego parametru, dzięki czemu każdy parametr ma osobną szybkość uczenia się. Pełne wyjaśnienie znajdziesz w tym dokumencie AdaGrad.

agent

W ramach uczenia przez wzmacnianie jednostka, która wykorzystuje zasadę do maksymalizacji przewidywanego zwrotu uzyskiwanego z przejścia między stanami środowiska.

Ogólnie agent to oprogramowanie, które samodzielnie planuje i wykonuje serię działań w ramach dążenia do realizacji celu oraz zdolność przystosowania się do zmian w środowisku. Na przykład agenci bazujący na LLM mogą używać tego LLM do generowania planu zamiast stosować zasady uczenia przez wzmacnianie.

grupowanie aglomeracyjne

Zapoznaj się z informacjami na temat grupowania hierarchicznego.

wykrywanie anomalii

Proces identyfikowania wyjątków odstających. Jeśli na przykład średnia dla danej cechy to 100, a odchylenie standardowe 10, wykrywanie anomalii powinno oznaczyć wartość 200 jako podejrzaną.

AR

Skrót od terminu rzeczywistość rozszerzona.

powierzchnia pod krzywą PR

Zapoznaj się z sekcją PR AUC (obszar pod krzywą PR).

powierzchnia pod krzywą ROC

Patrz AUC (obszar pod krzywą ROC).

sztuczna inteligencja

To nieludzki mechanizm, który demonstruje szeroki zakres rozwiązywania problemów, kreatywności i elastyczności. Na przykład program prezentujący sztuczną inteligencję mógłby tłumaczyć tekst, komponować symfonie i doskonalić gry, które nie zostały jeszcze wymyślone.

sztuczna inteligencja

Program lub model nieprzeznaczony dla ludzi, który potrafi rozwiązać złożone zadania. Na przykład program lub model do tłumaczenia tekstu, program lub model identyfikujący choroby na podstawie zdjęć radiowych mogą wykazywać sztuczną inteligencję.

Ogólnie rzecz biorąc, uczenie maszynowe jest jedną z gałęzi sztucznej inteligencji. Jednak w ostatnich latach niektóre organizacje zaczęły zamiennie używać terminów sztuczna inteligencja i systemy uczące się.

uwaga

Mechanizm używany w sieci neuronowej, który wskazuje znaczenie określonego słowa lub jego części. Uwaga kompresuje ilość informacji, których model potrzebuje, aby przewidzieć następny token/słowo. Typowy mechanizm uwagi może składać się z sumy ważonej na zbiorze danych wejściowych, gdzie waga poszczególnych danych wejściowych jest obliczana przez inną część sieci neuronowej.

Zapoznaj się też z artykułami o autouważności i wielogłowej autouwaga, które stanowią elementy składowe Transformerów.

atrybut

Synonim słowa funkcja.

W obiektywności systemów uczących się atrybuty często odnoszą się do cech dotyczących poszczególnych osób.

próbkowanie atrybutów

Taktyka trenowania lasu decyzyjnego, w której każde drzewo decyzyjne podczas uczenia się warunku uwzględnia tylko losowy podzbiór możliwych cech. Ogólnie dla każdego węzła próbkowany jest inny podzbiór cech. Podczas trenowania drzewa decyzyjnego bez próbkowania atrybutów brane są pod uwagę wszystkie możliwe cechy w każdym węźle.

AUC (obszar pod krzywą ROC)

Liczba z zakresu od 0,0 do 1,0 reprezentująca możliwość rozdzielenia klas pozytywnych od klas negatywnych przez model klasyfikacji binarnej. Im wartość AUC jest bliższa wartości 1,0, tym większa jest zdolność modelu do oddzielania klas od siebie.

Na przykład na ilustracji poniżej widać model klasyfikatora, który idealnie oddziela klasy pozytywne (zielone owale) od klas negatywnych (fioletowe prostokąty). Ten nierealistycznie idealny model ma wartość AUC wynoszącą 1,0:

I na odwrót – ilustracja poniżej pokazuje wyniki modelu klasyfikatora, który wygenerował wyniki losowe. Ten model ma wartość AUC wynoszącą 0,5:

Tak, poprzedni model ma wartość AUC wynoszącą 0,5, a nie 0,0.

Większość modeli znajduje się gdzieś pomiędzy tymi dwoma skrajnościami. Na przykład ten model nieco oddziela wartości dodatnie od negatywnych i dlatego AUC mieści się w przedziale od 0, 5 do 1, 0:

AUC ignoruje każdą wartość ustawioną jako próg klasyfikacji. Zamiast tego AUC uwzględnia wszystkie możliwe progi klasyfikacji.

rzeczywistość rozszerzona

Technologia nakładająca komputer wygenerowany komputerowo na widok rzeczywistego świata w ten sposób zapewniająca widok złożony.

autokoder

System, który uczy się wyodrębniać najważniejsze informacje z danych wejściowych. Autokodery to połączenie kodera i dekodera. Autokodery opierają się na tym dwuetapowym procesie:

1. Koder mapuje dane wejściowe na (zwykle) stratny format mniejwymiarowy (przejściowy).
2. Dekoder tworzy stratną wersję pierwotnych danych wejściowych, mapując format o niższym rozmiarze na pierwotny, bardziej wymiarowy format wejściowy.

Autokodery są trenowane w pełni, tak by jak najwierniej zrekonstruować oryginalne dane wejściowe z formatu pośredniego kodera. Format pośredni jest mniejszy (mniej wymiarów) niż format oryginalny, więc autokoder musi nauczyć się, jakie informacje wejściowe są niezbędne, więc dane wyjściowe nie będą całkowicie identyczne.

Na przykład:

• Jeśli dane wejściowe mają postać graficzną, ich kopia niedokładna byłaby podobna do oryginalnej grafiki, ale została nieco zmodyfikowana. Być może niedokładna kopia usuwa szum z oryginalnej grafiki lub wypełnia brakujące piksele.
• Jeśli dane wejściowe to tekst, autokoder wygeneruje nowy tekst, który imituje oryginalny tekst (ale nie jest identyczny).

Zobacz też automatyczne kodery zmiennoprzecinkowe.

efekt automatyzacji

Gdy człowiek preferuje rekomendacje generowane przez automatyczny system podejmowania decyzji zamiast informacji uzyskanych bez automatyzacji, nawet wtedy, gdy automatyczny system podejmujący decyzje popełnia błędy.

AutoML

Każdy zautomatyzowany proces tworzenia systemów uczących się modeli. AutoML może automatycznie wykonywać takie zadania jak:

• Wyszukaj najbardziej odpowiedni model.
• Dostosuj hiperparametry.
• Przygotuj dane (w tym przeprowadzanie inżynierii funkcji).
• wdrożyć utworzony model,

AutoML jest przydatna dla badaczy danych, ponieważ pozwala zaoszczędzić czas i wysiłek związany z tworzeniem potoków systemów uczących się oraz poprawić dokładność prognoz. Mogą z niej korzystać również osoby, które nie są ekspertami, ponieważ ułatwia im dostęp do skomplikowanych zadań systemów uczących się.

model autoregresywny

model, który szacuje prognozę na podstawie wcześniejszych prognoz. Na przykład automatycznie regresywne modele językowe prognozują kolejny token na podstawie wcześniej przewidywanych tokenów. Wszystkie duże modele językowe oparte na Transformerze są automatycznie regresywne.

W przeciwieństwie do tego modele obrazów oparte na GAN zwykle nie są autoregresywne, ponieważ generują obraz w jednym przebiegu do przodu, a nie iteracyjnie w krokach. Niektóre modele generowania obrazów są jednak automatycznie regresywne, ponieważ generują obraz stopniowo.

strata usługi pomocniczej

Funkcja straty wykorzystywana w połączeniu z funkcją głównej sieci neuronowej modelu ds. straty, która pomaga przyspieszyć trenowanie we wczesnych iteracjach, gdy wagi są inicjowane losowo.

Funkcje utraty pomocniczej przekazują efektywne gradienty do wcześniejszych warstw. Ułatwia to zgodność podczas trenowania, eliminując problem z znikaniem gradientu.

średnia precyzja

Dane służące do podsumowania skuteczności sekwencji wyników uporządkowanych według rankingu. Średnia precyzja jest obliczana na podstawie średniej wartości dokładności dla każdego odpowiedniego wyniku (każdy wynik na liście rankingowej, w której czułość zwiększa się w stosunku do poprzedniego wyniku).

Zobacz też Obszar pod krzywą PR.

warunek wyrównany do osi

W drzewie decyzji warunek, który obejmuje tylko 1 funkcję. Jeśli na przykład obszar jest obiektem, to warunek wyrównany do osi:

area > 200

Różnica z warunkem skośnym.

B

wsteczne propagacja

Algorytm, który stosuje zjawisko gradientu w sieciach neuronowych.

Trenowanie sieci neuronowej obejmuje wiele iteracji w następujących dwuprzebiegowych cyklach:

1. W trakcie przebiegu do przodu system przetwarza grupę przykładów w celu wygenerowania prognoz. System porównuje każdą prognozę z wartością etykiety. Różnica między prognozą a wartością etykiety to w tym przykładzie strata. System agreguje straty dla wszystkich przykładów, aby obliczyć łączną stratę dla bieżącego wsadu.
2. Podczas przebiegu wstecznego (propagacji wstecznej) system zmniejsza straty, dostosowując wagi wszystkich neuronów we wszystkich warstwach ukrytych.

Sieci neuronowe często zawierają wiele neuronów w wielu ukrytych warstwach. Każdy z tych neuronów przyczynia się do całkowitej utraty danych na różne sposoby. Propagacja wsteczna określa, czy należy zwiększyć, czy zmniejszyć waga poszczególnych neuronów.

Szybkość uczenia się jest mnożnikiem określającym stopień, w jakim każde przejście wstecz zwiększa lub zmniejsza każdą wagę. Duże tempo uczenia się zwiększa lub zmniejsza każdą wagę częściej niż małe tempo uczenia się.

W ramach rachunku rachunkowego to propagacja wsteczna implementuje regułę łańcucha z rachunku różniczkowego. Oznacza to, że przez propagację wsteczną oblicza częściową pochodną błędu z uwzględnieniem każdego parametru.

Wiele lat temu osoby zajmujące się systemami uczącymi się musiały pisać kod, aby wdrożyć propagację wsteczną. Nowoczesne interfejsy API systemów uczących się, takie jak TensorFlow, wdrażają propagację wsteczną. Uff...

bagaż

Metoda trenowania zespołu, w którym każdy składnikowy model trenuje na losowym podzbiorze przykładów treningowych próbkowanych z zastąpieniem. Na przykład las losowy to zbiór drzew decyzyjnych wytrenowanych w zakresie bagażu.

Termin bagaż to skrót od bootstrap agging.

torba słów

Reprezentacja słów w wyrażeniu lub pasażu, niezależnie od kolejności. Na przykład „worek słów” przedstawia identyczne 3 wyrażenia:

• pies podskakuje
• skaczący pies
• pies skaczący

Każde słowo jest mapowane na indeks w wektorze rozproszonym, który ma swój indeks dla każdego słowa w słowniku. Na przykład wyrażenie pies skacze jest mapowane na wektor cech z wartościami niezerowymi w przypadku 3 indeksów odpowiadających słowom „pies”, pies i skoki. Wartość inna niż 0 może być dowolną z tych wartości:

• 1 oznacza obecność słowa.
• Liczba wystąpień słowa w torbie. Jeśli np. wyrażenie brzmiało kasztanowy pies to pies z kasztanowym futrem, wartości kasztanowy i pies będą przedstawiane jako 2, a pozostałe – 1.
• Inna wartość, np. logarytm liczby wystąpień słowa w torbie.

bazowa

model używany jako punkt odniesienia przy porównywaniu skuteczności innego modelu (zazwyczaj bardziej złożonego). Dobrym punktem odniesienia dla modelu szczegółowego może być na przykład model regresji logistycznej.

W przypadku konkretnego problemu wartość bazowa pomaga programistom modeli w pomiarze minimalnej oczekiwanej wydajności, jaką musi osiągnąć nowy model, aby był przydatny.

wsad

Zbiór przykładów używanych w 1 iteracji. Rozmiar wsadu określa liczbę przykładów w grupie.

Wyjaśnienie związku grupy z epoką znajdziesz w sekcji epoka.

wnioskowanie wsadowe

Proces wnioskowania na wielu przykładach bez etykiet podzielonych na mniejsze podzbiory („wsadowe”).

Wnioskowanie wsadowe może korzystać z funkcji równoległości dostępnych w akceleratorach. Oznacza to, że wiele akceleratorów może jednocześnie wnioskować prognozy dla różnych wsadów przykładów bez etykiet, co znacząco zwiększa liczbę wnioskowania na sekundę.

normalizacja wsadowa

Normalizowanie danych wejściowych lub wyjściowych funkcji aktywacyjnych w ukrytej warstwie. Normalizacja wsadowa może przynieść te korzyści:

• Zwiększ stabilność sieci neuronowych, chroniąc je przed wartościami odstającymi.
• Włącz wyższe szybkość uczenia się, co może przyspieszyć trenowanie.
• Ogranicz nadmierne dopasowanie.

wielkość wsadu

Liczba przykładów w grupie. Jeśli na przykład rozmiar wsadu to 100, model przetwarza 100 przykładów na powtarzanie.

Oto popularne strategie dotyczące wielkości wsadu:

• Stochastic Gradient Descent (SGD), gdzie rozmiar wsadu wynosi 1.
• Pełny wsad, w którym rozmiar wsadu to liczba przykładów w całym zbiorze do trenowania. Jeśli na przykład zbiór treningowy zawiera milion przykładów, rozmiar wsadu będzie równy milionom. Strategia polegająca na przesyłaniu całego pliku jest zwykle mało efektywna.
• minizbiorczy, w którym rozmiar wsadu wynosi zwykle od 10 do 1000. Najskuteczniejszą strategią jest zwykle przesyłanie małej ilości danych jednocześnie.

Bayesowskie sieci neuronowe

Prawdopodobna sieć neuronowa, która uwzględnia niepewność wag i wyników. Standardowy model regresji sieci neuronowej zazwyczaj przewiduje wartość skalarną. Na przykład model standardowy przewiduje cenę domu na poziomie 853 000. W przeciwieństwie do tego Bayesowskiej sieci neuronowej prognozuje rozkład wartości. Na przykład model Bayesa przewiduje cenę domu na poziomie 853 000 z odchyleniem standardowym o wartości 67 200.

W sieci neuronowej Bayesa stosuje się twierdzenie Bayesa do obliczania niepewności wag i prognoz. Bayesowskie sieci neuronowe mogą być przydatne, gdy ważne jest zmierzenie niepewności, np. w modelach związanych z farmaceutykami. Bayesowskie sieci neuronowe mogą też pomóc w zapobieganiu przepasowaniu.

Optymalizacja bayesowska

Metoda modelu regresji prawdopodobnej, która służy do optymalizacji kosztownych obliczeniowo funkcji obiektywnych przez optymalizację zastępczego modelu regresji, który określa ilość niepewności przy użyciu techniki uczenia Bayesowskiego. Optymalizacja Baidu jest bardzo kosztowna, dlatego zwykle jest używana do optymalizacji kosztownych zadań o niewielkiej liczbie parametrów, takich jak wybór hiperparametrów.

Równanie Bellmana

Podczas uczenia się przez wzmacnianie ta tożsamość jest spełniona przez optymalną funkcję Q:

\[Q(s, a) = r(s, a) + \gamma \mathbb{E}_{s'|s,a} \max_{a'} Q(s', a')\]

Algorytmy uczenia się przez wzmacnianie stosują tę tożsamość do tworzenia nauki Q-learning za pomocą tej reguły aktualizacji:

\[Q(s,a) \gets Q(s,a) + \alpha \left[r(s,a) + \gamma \displaystyle\max_{\substack{a_1}} Q(s',a') - Q(s,a) \right] \]

Równanie Bellmana ma nie tylko zastosowanie w przypadku uczenia przez wzmacnianie. Przeczytaj równanie Bellmana w Wikipedii.

BERT (dwukierunkowe reprezentacje kodera z transformatorów)

Architektura modelu do reprezentacji tekstu. Wytrenowany model BERT może działać jako część większego modelu do klasyfikacji tekstu lub do innych zadań ML.

BERT ma następujące cechy:

• Wykorzystuje architekturę Transformer, dlatego opiera się na własnej uwagi.
• Wykorzystuje element encoder Transformatora. Zadaniem kodera jest generowanie odpowiednich reprezentacji tekstu, a nie wykonywanie konkretnej czynności, takiej jak klasyfikacja.
• Jest dwukierunkowe.
• Używa maskowania do trenowania nienadzorowanego.

Warianty modelu BERT obejmują:

• ALBERT – skrót od A Light BERT.
• LaBSE:

Omówienie modelu BERT znajdziesz w artykule Open Sourcing BERT: State-of-the-Art Pre-training for Natural Language Processing (Otwarte szkolenie wstępne dotyczące przetwarzania języka naturalnego).

uprzedzenia (etyka/sprawiedliwość)

1. Tworzenie stereotypów, uprzedzenia lub faworyzowanie pewnych rzeczy, ludzi lub grup względem innych. Uprzedzenia mogą wpływać na gromadzenie i interpretację danych, projekt systemu oraz sposób jego interakcji z nim. Do form tego rodzaju uprzedzeń należą:

• Błąd automatyzacji
• stronniczego potwierdzenia
• uprzedzenia eksperymentatora
• uderzenie atrybucji grupowej
• uprzedzenia
• uprzedzenia w grupie
• odchylenie jednorodności poza grupą

2. Błąd systematyczny wywołany w wyniku procedury próbkowania lub raportowania. Do form tego rodzaju uprzedzeń należą:

• odchylenia zasięgu
• błędów związanych z brakiem odpowiedzi
• błędów uczestnictwa
• błędów raportowania
• Błąd próbkowania
• odchylenie doboru

Nie należy ich mylić z terminem uprzedzeń występującym w modelach systemów uczących się ani z odchyleniem prognozy.

uprzedzenia (matematyka) lub termin „uprzedzenia”

Przechwycenie lub przesunięcie od punktu początkowego. Odchylenie to parametr w modelach systemów uczących się, który ma następujące symbole:

• b
• ty₀

Na przykład odchylenie to symbol b w tym wzorze:

W prostej, dwuwymiarowej linii odchylenie oznacza po prostu „punkt przecięcia z osią y”. Na przykład odchylenie linii na ilustracji poniżej wynosi 2.

Istnieje tendencyjność, ponieważ nie wszystkie modele zaczynają się od punktu początkowego (0,0). Załóżmy na przykład, że wstęp do parku rozrywki kosztuje 2 euro za każdą godzinę pobytu klienta, a dodatkowo 0,5 euro za każdą godzinę pobytu. Dlatego model mapujący całkowity koszt ma odchylenie do 2, ponieważ najniższy koszt to 2 euro.

Uprzedzenia nie należy mylić z uprzedzeniami w kwestiach etyki i sprawiedliwości ani z błędami przewidywania.

dwukierunkowa

Termin oznaczający system oceniający tekst, który następuje i następuje po docelowej sekcji tekstu. W przeciwieństwie do tego system jednokierunkowy ocenia tylko tekst, który postępuje przed docelową sekcją tekstu.

Weźmy na przykład maskowany model językowy, który musi określić prawdopodobieństwo dla słów lub słów podkreślających podkreślenie w tym pytaniu:

Jaka jest _____ z Tobą?

Jednokierunkowy model językowy musiałby oprzeć swoje prawdopodobieństwa tylko na kontekście określonym przez słowa „co”, „to jest” i „co”. Dwukierunkowy model językowy może też uzyskać kontekst od „z” i „ty”, co może pomóc mu generować lepsze prognozy.

dwukierunkowy model językowy

Model językowy określający prawdopodobieństwo, że podany token znajduje się w danym miejscu we fragmencie tekstu na podstawie poprzedniego i następnego tekstu.

bigram

N-gram, w którym N=2.

klasyfikacja binarna

Typ zadania klasyfikacji, który przewiduje jedną z 2 wykluczających się klas:

• klasa pozytywna,
• klasa wykluczające,

Na przykład te 2 modele systemów uczących się wykonują klasyfikację binarną:

• Model, który określa, czy e-maile są spamem (klasa pozytywna) czy nie spamem (klasą negatywną).
• Model, który ocenia objawy medyczne, aby określić, czy dana osoba cierpi na konkretną chorobę (klasa pozytywna), czy jej nie ma (klasa negatywna).

Przeciwieństwem jest klasyfikacja wieloklasowa.

Zobacz też informacje o regresji logistycznej i progu klasyfikacji.

warunek binarny

W drzewie decyzji warunek, który ma tylko 2 możliwe wyniki, zwykle tak lub nie. Oto taki warunek binarny:

temperature >= 100

Ustaw kontrast z warunkem niebinarnym.

Binning

Synonim słowa grupowanie.

BLEU (Bilingual Evaluation Understudy)

Wynik pomiędzy 0, 0 a 1, 0 włącznie, który wskazuje jakość tłumaczenia między dwoma językami ludzkimi (np. między angielskim i rosyjskim). Wynik BLEU wynoszący 1,0 oznacza tłumaczenie perfekcyjne, a wynik 0,0 oznacza tłumaczenie kiepskie.

wzmocnienie

Technika systemów uczących się, która iteracyjnie łączy zestaw prostych i niezbyt dokładnych klasyfikatorów (nazywanych „słabymi” klasyfikatorami) w klasyfikator o wysokiej dokładności (klasyfikator o dużej dokładności), przez zwiększanie wagi przykładów, których model obecnie błędnie klasyfikuje.

ramka ograniczająca

Współrzędne (x, y) prostokąta wokół interesującego Cię obszaru, np. pies na ilustracji poniżej.

transmisja

Rozwijanie kształtu operandu w operacji matematycznej do postaci wymiarów zgodnych z tą operację. Na przykład algebra liniowa wymaga, aby 2 operandy w operacji dodawania macierzy muszą mieć te same wymiary. Nie można dodać macierzy kształtu (m, n) do wektora o długości n. Przesyłanie umożliwia tę operację przez wirtualne rozwinięcie wektora długości n do macierzy kształtu (m, n) przez powtórzenie tych samych wartości w każdej kolumnie.

Na przykład podane niżej definicje są zabronione w algebry liniowej, ponieważ A+B mają różne wymiary:

A = [[7, 10, 4],
     [13, 5, 9]]
B = [2]

Jednak transmisja umożliwia wykonanie operacji A+B przez wirtualne rozwinięcie obszaru B do:

 [[2, 2, 2],
  [2, 2, 2]]

A+B jest teraz prawidłową operacją:

[[7, 10, 4],  +  [[2, 2, 2],  =  [[ 9, 12, 6],
 [13, 5, 9]]      [2, 2, 2]]      [15, 7, 11]]

Więcej informacji znajdziesz w opisie transmisji w NumPy.

skategoryzowanie w przedziałach

Przekonwertowanie pojedynczej cech na wiele funkcji binarnych nazywanych zasobnikami lub przedziałami, zwykle na podstawie zakresu wartości. Przecięta cecha to zwykle funkcja ciągła.

Na przykład zamiast przedstawiać temperaturę jako jedną, ciągłą zmiennoprzecinkową cechę, możesz podzielić zakresy temperatur na osobne przedziały, takie jak:

• <= 10 stopni Celsjusza to zasobnik „zimny”.
• Wartość od 11 do 24 stopni Celsjusza to zasobnik „umiarkowany”.
• Wartość >= 25 stopni Celsjusza to zasobnik „ciepły”.

Model będzie traktować każdą wartość w tym samym zasobniku jednakowo. Na przykład wartości 13 i 22 znajdują się w zasobniku tymczasowym, więc model traktuje je jednakowo.

C

warstwa kalibracyjna

Korekty po prognozowaniu, zwykle w celu uwzględnienia odchylenia prognozy. Skorygowane prognozy i prawdopodobieństwa powinny być zgodne z rozkładem zaobserwowanego zbioru etykiet.

generacja kandydatów

Początkowy zestaw rekomendacji wybierany przez system rekomendacji. Weźmy jako przykład księgarnię, która oferuje 100 tys. książek. W fazie generowania kandydatów lista książek odpowiednich dla konkretnego użytkownika jest znacznie mniejsza, np. 500. Ale nawet 500 książek to o wiele zbyt dużo, by polecić je użytkownikowi. Kolejne, droższe etapy systemu rekomendacji (takie jak punktacja i ponowna pozycja w rankingu) zmniejszają liczbę tych 500 do znacznie mniejszego, bardziej przydatnego zestawu rekomendacji.

próbkowanie kandydujące

Optymalizacja w czasie trenowania, która oblicza prawdopodobieństwo dla wszystkich etykiet dodatnich przy użyciu np. softmax, ale tylko dla losowej próbki etykiet negatywnych. Na przykład w przykładzie oznaczonym etykietą beagle i pies, próbkowanie kandydujące oblicza przewidywane prawdopodobieństwa i odpowiadające im hasła straty dla:

• beagle,
• pies
• losowy podzbiór pozostałych klas negatywnych (np. kot, lizak czy płot).

Chodzi o to, że klasy negatywne mogą uczyć się na rzadszym wzmacnianiu negatywnym, jeśli klasy pozytywne zawsze otrzymują odpowiednie wzmocnienie pozytywne i w rzeczywistości jest to obserwowane empirycznie.

Próbkowanie kandydatów jest bardziej wydajne obliczeniowo niż algorytmy treningowe, które obliczają prognozy dla wszystkich klas negatywnych, zwłaszcza gdy liczba klas negatywnych jest bardzo duża.

dane kategorialne

Funkcje mające określony zestaw możliwych wartości. Weźmy na przykład cechę kategorialną o nazwie traffic-light-state, która może mieć tylko jedną z tych 3 możliwych wartości:

• red
• yellow
• green

Dzięki reprezentowaniu elementu traffic-light-state jako cechy kategorialnej model może poznawać różne wpływy red, green i yellow na zachowanie kierowcy.

Cechy kategorialne są czasami nazywane funkcjami dyskretnymi.

Przeciwieństwem są dane liczbowe.

przyczynowy model językowy

Synonim jednokierunkowego modelu językowego.

Zobacz dwukierunkowy model językowy, aby skontrastować różne podejścia kierunkowe w modelowaniu językowym.

centroid

Środek klastra określony za pomocą algorytmu k-średnich lub k-mediana. Jeśli np. k = 3, algorytm k-średni lub k-mediany znajdzie 3 centroidy.

grupowanie oparte na centroidach

Kategoria algorytmów grupowania, które porządkują dane w klastry niehierarchiczne. średnie k to najpopularniejszy algorytm grupowania oparty na centroidach.

Różnią się algorytmami grupowania hierarchicznego.

wykorzystanie w prompcie łańcucha myśli

Technika inżynierii promptów, dzięki której duży model językowy (LLM) wyjaśnia krok po kroku swoje rozumowanie. Weźmy na przykład ten prompt, zwracając szczególną uwagę na drugie zdanie:

Ile ciężarów mocnych mocnych odczuwa kierowca podczas jazdy samochodem, który w 7 sekund osiąga prędkość od zera do 90 kilometrów na godzinę? W odpowiedzi pokaż wszystkie odpowiednie obliczenia.

Odpowiedź LLM prawdopodobnie:

• Pokaż sekwencję wzorów fizycznych, wpisując wartości 0, 60 i 7 w odpowiednich miejscach.
• Wyjaśnij, dlaczego wybrał te formuły i co oznaczają poszczególne zmienne.

Podpowiedzi łańcucha myśli wymuszają na LLM wykonywanie wszystkich obliczeń, co może prowadzić do bardziej poprawnej odpowiedzi. Dodatkowo prompty typu łańcuch myśli pozwalają użytkownikowi przeanalizować kroki LLM i ustalić, czy odpowiedź ma sens.

czat

Treść toczącego się dialogu z systemem ML (zwykle jest to duży model językowy). Poprzednia interakcja na czacie (czyli to, co piszesz i jak odpowiada duży model językowy) staje się kontekstem dla kolejnych części czatu.

Czatbot to aplikacja dużego modelu językowego.

punkt kontroli

Dane, które przechwytują stan parametrów modelu podczas konkretnej iteracji trenowania. Punkty kontrolne pozwalają eksportować wagi modelu lub przeprowadzać trenowanie w wielu sesjach. Punkty kontrolne umożliwiają też trenowanie w celu kontynuowania wcześniejszych błędów (np. tymczasowego przerwania zadań).

Podczas dostrajania punktem początkowym trenowania nowego modelu będzie konkretny punkt kontrolny już wytrenowanego modelu.

klasa

Kategoria, do której może należeć etykieta. Na przykład:

• W modelu klasyfikacji binarnej, który wykrywa spam, te 2 klasy mogą być spamem, a nie spamem.
• W modelu klasyfikacji wieloklasowej, który identyfikuje rasy psów, klasami mogą być pudel, beagle, mops itd.

Model klasyfikacji służy do prognozowania klasy. Model regresji natomiast prognozuje liczbę, a nie klasę.

model klasyfikacji

model, którego prognoza to model. Poniżej znajdują się na przykład wszystkie modele klasyfikacji:

• Model, który prognozuje język zdania wejściowego (francuski? Hiszpański? włoskim?).
• Model, który prognozuje gatunki drzew (klon? Oak? Baobab?).
• Model, który prognozuje klasę dodatnią lub negatywną w przypadku konkretnego schorzenia.

W przeciwieństwie do tego modele regresji prognozują liczby, a nie klasy.

Dwa najczęstsze typy modeli klasyfikacji to:

• klasyfikacja binarna
• klasyfikacja wieloklasowa

próg klasyfikacji

W klasyfikacji binarnej jest to liczba z zakresu od 0 do 1, która konwertuje nieprzetworzone dane wyjściowe modelu regresji logistycznej w prognozę klasy pozytywnej lub negatywnej. Pamiętaj, że próg klasyfikacji to wartość wybierana przez człowieka, a nie wartość wybierana przez trenowanie modelu.

Model regresji logistycznej zwraca nieprzetworzoną wartość z zakresu od 0 do 1. Następnie:

• Jeśli ta nieprzetworzona wartość przekracza próg klasyfikacji, prognozowana jest klasa dodatnia.
• Jeśli ta nieprzetworzona wartość jest mniejsza niż próg klasyfikacji, prognozowana jest klasa ujemna.

Załóżmy na przykład, że próg klasyfikacji wynosi 0,8. Jeśli wartość nieprzetworzona wynosi 0,9, model prognozuje klasę pozytywną. Jeśli nieprzetworzona wartość to 0,7, model prognozuje klasę ujemną.

Wybór progu klasyfikacji w dużym stopniu wpływa na liczbę wyników fałszywie pozytywnych i wyników fałszywie negatywnych.

zbiór danych o niezrównoważonym klasie

Zbiór danych do rozwiązania problemu z klasyfikacją, w którym łączna liczba etykiet poszczególnych klas znacznie się różni. Rozważmy na przykład zbiór danych klasyfikacji binarnej, w którym dwie etykiety są podzielone w ten sposób:

• 1 000 000 etykiet negatywnych
• 10 etykiet pozytywnych

Stosunek etykiet ujemnych do pozytywnych wynosi 100 000 do 1, więc jest to zbiór danych niezbalansowany w klasie.

W przeciwieństwie do tego w przypadku poniższego zbioru danych nie jest równoważone w stosunku do klasy, ponieważ stosunek etykiet negatywnych do pozytywnych jest względnie bliski 1:

• 517 etykiet negatywnych
• 483 etykiety pozytywne

Wieloklasowe zbiory danych też mogą być nierównoważone w stosunku do klas. Na przykład ten zbiór danych klasyfikacji wieloklasowej również jest niezgodny z klasą, ponieważ jedna etykieta zawiera znacznie więcej przykładów niż pozostałe:

• 1 000 000 etykiet z klasą „zielona”
• 200 etykiet z klasą „fioletowy”
• 350 etykiet z klasą „pomarańczowy”

Zobacz też entropię, klasę większości i klasę mniejszości.

przycinanie

Technika traktowania wyników odstających przez wykonanie jednej z tych czynności lub obu z nich:

• Zmniejszenie wartości cech przekraczających maksymalny próg do tego maksymalnego progu.
• Rosnące wartości cech, które nie przekraczają progu minimalnego, aż do osiągnięcia tego minimalnego progu.

Załóżmy np., że <0,5% wartości danej cechy wykracza poza zakres 40–60. W takim przypadku możesz wykonać te czynności:

• Przytnij wszystkie wartości powyżej 60 (próg maksymalny), aby dokładnie ustawić 60.
• Przytnij wszystkie wartości poniżej 40 (minimalny próg), aby dokładnie ustawić 40.

Wartości odstające mogą uszkodzić modele, powodując czasami przepełnienie wag podczas trenowania. Niektóre wyjątki mogą znacznie wpłynąć na dane takie jak dokładność. Przycinanie to często spotykana technika ograniczania szkód.

Przycinanie gradientu wymusza podczas trenowania wartości gradientu w wyznaczonym zakresie.

Cloud TPU

Specjalny akcelerator sprzętowy, który przyspiesza zadania systemów uczących się w Google Cloud.

grupowanie

Grupowanie powiązanych przykładów, zwłaszcza podczas uczenia nienadzorowanego. Po zgrupowaniu wszystkich przykładów człowiek może opcjonalnie dodać znaczenie do każdego klastra.

Istnieje wiele algorytmów grupowania. Na przykład algorytm k-średnich przedstawia przykłady w oparciu o ich odległość od centroidu, jak na tym diagramie:

Człowiek może następnie ocenić gromady i na przykład oznaczyć klaster 1 jako „drzewa karłowate”, a grupę 2 jako „pełnowymiarowe drzewa”.

Kolejny przykład to algorytm grupowania oparty na odległości z przykładu od punktu środkowego, która wygląda tak:

współadaptacja

Gdy neurony przewidują wzorce w danych treningowych, bazując prawie wyłącznie na danych wyjściowych określonych innych neuronów, zamiast polegać na zachowaniu sieci jako całości. Jeśli w danych walidacyjnych nie występują wzorce, które powodują współadaptację, wspólna adaptacja powoduje nadmierne dopasowanie. Regulacja porzuceń ogranicza współadaptację, ponieważ dzięki niej neurony nie mogą polegać wyłącznie na konkretnych innych neuronach.

filtrowanie podczas współpracy

Przewidywanie zainteresowań jednego użytkownika na podstawie zainteresowań wielu innych. Wspólne filtrowanie jest często stosowane w systemach rekomendacji.

dryf koncepcji

Przesunięcie w relacji między cechami a etykietą. Dryf koncepcji z czasem obniża jakość modelu.

Podczas trenowania model uczy się relacji między cechami a ich etykietami w zbiorze treningowym. Jeśli etykiety w zbiorze treningowym są dobrymi serwerami proxy w świecie rzeczywistym, model powinien generować dobre prognozy w świecie rzeczywistym. Jednak ze względu na dryf koncepcji prognozy modelu z czasem maleją.

Rozważmy na przykład model klasyfikacji binarnej, który przewiduje, czy dany model samochodu jest „oszczędny na zużycie paliwa”. Funkcje mogą obejmować:

• masa samochodu
• kompresja silnika
• typ transmisji

gdy etykieta jest:

• oszczędne spalanie
• spalanie

Jednak koncepcja „samochodu z najniższym spalaniem” ciągle się zmienia. Model samochodu oznaczony etykietą oszczędne paliwo w 1994 roku prawie na pewno zostałby oznaczony w 2024 roku jako niezużywany. Model cierpiący na dryf koncepcji z czasem generuje mniej i mniej przydatne prognozy.

Wskaż podobieństwa i różnice między niestacjonarnością.

stan

W drzewie decyzji każdy węzeł oceniający wyrażenie. Na przykład ten fragment drzewa decyzyjnego zawiera 2 warunki:

Warunek jest też nazywany podziałem lub testem.

Stan kontrastu: liść.

Zobacz także:

• warunek binarny
• warunek niebinarny.
• warunek-wyrównania-osi
• warunek skośny

konfabulacja

Synonim słowa halucynacje.

Konfabulacja jest prawdopodobnie lepszym terminem pod względem technicznym niż halucynacje. Jednak najpierw zyskały na popularności.

konfiguracja

Proces przypisywania początkowych wartości właściwości używanych do trenowania modelu, w tym:

• warstwy tworzenia modelu
• lokalizacja danych
• hiperparametrów, takich jak:
  • tempo uczenia się
  • iteracji
  • optymalizator
  • funkcja straty

W projektach systemów uczących się konfigurację można skonfigurować za pomocą specjalnego pliku konfiguracji lub za pomocą bibliotek konfiguracji, takich jak:

• HParam
• Din
• Skrzypce

efekt potwierdzenia

To tendencja do wyszukiwania, interpretowania, zapamiętywania i zapamiętywania informacji w sposób, który potwierdza wcześniejsze przekonania lub hipotezy. Programiści systemów uczących się mogą nieumyślnie zbierać lub oznaczać dane w sposób, który wpływa na wynik potwierdzający ich dotychczasowe przekonania. Tendencyjność potwierdzenia to forma uprzedzenia.

Błąd eksperymentowania to forma odchylenia potwierdzenia, w której eksperymentator kontynuuje trenowanie modeli aż do potwierdzenia dotychczasowej hipotezy.

tablica pomyłek

Tabela NxN podsumowująca liczbę poprawnych i nieprawidłowych prognoz utworzonych przez model klasyfikacji. Rozważ na przykład tę tablicę pomyłek dla modelu klasyfikacji binarnej:

Poprzednia tablica pomyłek wygląda tak:

• Spośród 19 prognoz, w przypadku których dane podstawowe dotyczyły nowotworów, model poprawnie sklasyfikował 18, a nieprawidłowo 1.
• Spośród 458 prognoz, w przypadku których dane podstawowe (ground truth) były danymi innymi niż gusta, model poprawnie sklasyfikował 452, a nieprawidłowo sklasyfikował 6.

Tablica pomyłek w przypadku problemu z klasyfikacją wieloklasową może pomóc w rozpoznaniu wzorców błędów. Rozważmy na przykład poniższą tablicę pomyłek dla 3-klasowego wieloklasowego modelu klasyfikacji, który kategoryzuje 3 różne typy irysów (Virginica, Versicolor i Setosa). Jeśli danymi podstawowymi była stan Virginica, tablica pomyłek wskazuje, że model z większym prawdopodobieństwem pomyłkowo przewidywał Versicolor niż Setosa:

Kolejny przykład pokazuje, że tablica pomyłek może wykazać, że model wytrenowany do rozpoznawania odręcznych cyfr błędnie przewiduje liczby 9 zamiast 4 lub błędnie prognozuje 1 zamiast 7.

Tablice pomyłek zawierają informacje wystarczające do obliczenia różnych danych dotyczących skuteczności, takich jak precyzja i czułość.

analiza składniowa

Dzielenie zdania na mniejsze struktury gramatyczne („składniki”). Późniejsza część systemu ML, na przykład model rozumienia języka naturalnego, może łatwiej przeanalizować składowe składowe niż oryginalne zdanie. Rozważ na przykład to zdanie:

Moja znajoma adoptowała dwa koty.

Parser grup wyborczych może podzielić to zdanie na 2 składniki:

• Mój przyjaciel to rzeczownik.
• adoptowane dwa koty to czasownik.

Składniki te można następnie podzielić na mniejsze składniki. Na przykład wyrażenie z czasownikiem

adoptowała dwa koty

można podzielić na te kategorie:

• adopted to czasownik.
• dwa koty to kolejne wyrażenie rzeczownikowe.

osadzanie kontekstowe

Umieszczanie na stronach, które są bliskie rozumienia słów i wyrażeń w sposób zrozumiały dla rodzimych użytkowników języka. Umieszczone w kontekście treści osadzone mogą zrozumieć złożoną składnię, semantykę i kontekst.

Weź pod uwagę na przykład reprezentacje właściwościowe z angielskiego słowa cow. Starsze wektory dystrybucyjne takie jak word2vec mogą reprezentować słowa w języku angielskim tak, że odległość w obszarze umieszczania od krowy do byka jest podobna do odległości od ewe (kobieta) do barana (sama owca) lub od kobiety do mężczyzny. Umieszczone w kontekście treści osadzone w kontekście mogą pójść o krok dalej, ponieważ anglojęzyczni użytkownicy czasami przypadkowo używają słowa cow, oznaczając krowy lub byka.

okno kontekstu

Liczba tokenów, które model może przetworzyć w ramach danego promptu. Im większe okno kontekstu, tym więcej informacji model może wykorzystać do zapewnienia spójnych i spójnych odpowiedzi na prompt.

cecha ciągła

Zmiennoprzecinkowa funkcja z nieskończonym zakresem możliwych wartości, takich jak temperatura czy waga.

Skontrastuj się z funkcjami dyskretnymi.

dobór wygodny

Wykorzystanie zbioru danych, które nie zostały zebrane naukowo, do przeprowadzenia szybkich eksperymentów. Później konieczne będzie przejście na zbiór danych zebranych naukowo.

zbieżność

Stan, w którym wartości strat zmieniają się bardzo mało lub nie zmieniają się wcale przy każdej iteracji. Na przykład ta krzywa strat sugeruje zbieżność przy około 700 iteracjach:

Model dochodzi do konwersacji, gdy dodatkowe trenowanie nie poprawi go.

W przypadku detekcji deep learning wartości utraty czasami pozostają stałe lub prawie na stałym poziomie w przypadku wielu iteracji, zanim ostatecznie maleją. W długim okresie stałych wartości strat możesz tymczasowo mieć fałszywe poczucie zbieżności.

Zobacz też Wcześniejsze zatrzymywanie.

funkcja wypukła

Funkcja, w której region nad wykresem funkcji jest zbiorem wypukłym. Prototypowa funkcja wypukła ma kształt podobny do litery U. Oto na przykład wszystkie funkcje wypukłe:

W przeciwieństwie do tego ta funkcja nie jest wypukła. Zwróć uwagę, że region nad wykresem nie jest zestawem wypukłym:

Funkcja ściśle wypukła ma dokładnie jeden lokalny punkt minimalny, który jest też globalnym punktem minimalnym. Klasyczne funkcje w kształcie litery U są ściśle wypukłe. Jednak niektóre funkcje wypukłe (np. linie proste) nie mają kształtu U.

optymalizacja wypukła

Proces użycia technik matematycznych, takich jak gradient gradientowy, do znalezienia minimum funkcji wypukłej. Wiele badań nad systemami uczącymi się skupia się na formułowaniu różnych problemów w formie wypukłych problemów z optymalizacją i na skutecznym rozwiązywaniu tych problemów.

Szczegółowe informacje można znaleźć w artykule Convex Optimization (Optymalizacja konwencjonalnej) Boyda i Vandenberghe'a.

zestaw wypukły

Podzbiór przestrzeni euklidesowej, w którym linia narysowana między dowolnymi dwoma punktami w podzbiorze pozostaje całkowicie wewnątrz podzbioru. Na przykład te 2 kształty to zestawy wypukłe:

W przeciwieństwie do tego następujące 2 kształty nie są zestawami wypukłymi:

splot

W matematyce w codziennym zabieganiu jest to połączenie dwóch funkcji. W uczeniu maszynowym splot łączy filtr konwolucyjny i tablicę danych wejściowych w celu trenowania wag.

Pojęcie „splot” używane w uczeniu maszynowym jest często skrótem oznaczającym operację splotową lub warstwę splotową.

Bez splotów algorytm uczenia maszynowego musiałby nauczyć się oddzielnej wagi dla każdej komórki w dużym tensorze. Na przykład algorytm uczenia maszynowego trenowany na obrazach o rozdzielczości 2 tys. x 2K musiałby znaleźć 4 mln osobnych wag. Dzięki splotom algorytm systemów uczących się musi znaleźć tylko wagę każdej komórki w filtrze splotowym, co znacząco zmniejsza ilość pamięci potrzebnej do wytrenowania modelu. Po zastosowaniu filtra splotowego jest on po prostu powielany w komórkach, a każda z nich jest mnożona przez filtr.

filtr splotowy

Jeden z 2 aktorów w operacji splotowej. (Drugi aktor to wycinek macierzy wejściowej). Filtr splotowy to macierz o tym samym rankingu co matryca wejściowa, ale o mniejszym kształcie. Na przykład przy macierzy wejściowej 28 x 28 filtrem może być dowolna macierz 2D o wymiarach mniejszych niż 28 x 28.

Podczas manipulacji fotograficznej wszystkie komórki w filtrze splotowym mają zwykle stały wzorzec zer i jedynek. W systemach uczących się filtry splotowe są zwykle zapełniane losowymi liczbami, a następnie pociągami sieci idealne wartości.

warstwa splotowa

Warstwa głębokiej sieci neuronowej, w której filtr splotowy przechodzi przez macierz wejściową. Rozważ na przykład taki filtr splotowy 3 x 3:

Ta animacja przedstawia splotową warstwę składającą się z 9 operacji splotowych z wykorzystaniem macierzy wejściowej 5 x 5. Zwróć uwagę, że każda operacja splotkowa działa na innym wycinku macierzy wejściowej 3 x 3. Powstała macierz 3 x 3 (po prawej) składa się z wyników 9 operacji splotowych:

splotowa sieć neuronowa

Sieć neuronowa, w której co najmniej 1 warstwa jest warstwą splotową. Typowa splotowa sieć neuronowa składa się z kilku kombinacji tych warstw:

• warstwy splotowe
• warstwy puli
• gęste warstwy

Konwolucyjne sieci neuronowe świetnie sobie radzą z niektórymi problemami, takimi jak rozpoznawanie obrazów.

operacja splotowa

Następujący dwuetapowe działanie matematyczne:

1. Mnożenie przez element filtra splotowego i wycinka macierzy wejściowej. (Wycinek macierzy wejściowej ma tę samą pozycję i rozmiar co filtr splotowy).
2. Suma wszystkich wartości w wynikowej macierzy iloczynów.

Na przykład użyj tej macierzy wejściowej 5 x 5:

Wyobraźmy sobie teraz następujący filtr splotowy 2 x 2:

Każda operacja splotowa obejmuje pojedynczy wycinek 2 x 2 macierzy wejściowej. Załóżmy np., że używamy wycinka 2 x 2 w lewym górnym rogu macierzy wejściowej. Operacja splotu na tym wycinku wygląda tak:

Warstwa splotowa składa się z serii operacji splotowych, z których każda działa na innym wycinku macierzy wejściowej.

koszt

Synonim słowa strata.

wspólne szkolenie

Podejście do uczenia częściowo nadzorowanego jest szczególnie przydatne, gdy spełnione są wszystkie te warunki:

• Stosunek przykładów bez etykiet do przykładów oznaczonych etykietami w zbiorze danych jest wysoki.
• Jest to problem klasyfikacji (binarny lub wieloklasowy).
• Zbiór danych zawiera 2 różne zbiory funkcji prognozowanych, które są od siebie niezależne i uzupełniają się.

Zasadniczo wspólne trenowanie wzmacnia sygnały niezależne w celu uzyskania silniejszego sygnału. Weźmy na przykład model klasyfikacji, który klasyfikuje poszczególne używane samochody jako Dobre lub Złe. Jeden zestaw funkcji prognozowanych może skupiać się na zbiorczych danych, takich jak rok, marka i model samochodu, a inny – na historii jazdy poprzedniego właściciela i historii konserwacji samochodu.

Artykuł na temat wspólnego szkolenia to Łączenie danych oznaczonych etykietami i bez etykiet ze wspólnym trenowaniem (Blum i Mitchell).

kontrfaktyczna uczciwość

Wskaźnik obiektywności, który sprawdza, czy klasyfikator generuje ten sam wynik w przypadku jednej osoby co w przypadku innej osoby identycznej z pierwszą osobą, z wyjątkiem co najmniej jednego atrybutu o charakterze kontrowersyjnym. Ocena klasyfikatora pod kątem obiektywności kontrfaktycznej to jedna z metod znajdowania potencjalnych źródeł uprzedzeń w modelu.

Bardziej szczegółowe informacje na temat kontrfaktycznej obiektywności znajdziesz w artykule „Kiedy Worlds Collide: integrowanie różnych kontrfaktycznych założeń w celu zapewnienia obiektywności”.

efekt pokrycia

Zobacz Błąd doboru.

rozkwit

Zdanie lub wyrażenie o niejednoznacznym znaczeniu. Kwitnące drzewa stanowią poważny problem w rozumieniu języka naturalnego. Przykładem może być nagłówek Czerwona taśma Utrzymująca się w Wieżowcu, ponieważ model NLU może zinterpretować nagłówek dosłownie lub obrazowo.

krytyk

Synonim wyrażenia Deep Q-Network.

entropia krzyżowa

Uogólnienie metody Log Loss w odniesieniu do problemów z klasyfikacją wieloklasową. Entropia krzyżowa to ilościowa różnica między dwoma rozkładami prawdopodobieństwa. Zobacz też Złożoność.

weryfikacja krzyżowa

Mechanizm szacowania, z jaką skutecznością model mógłby się uogólnić do nowych danych. W tym celu testuje go z co najmniej 1 niepokrywającym się podzbiorem danych pobranym ze model.

funkcja rozkładu skumulowanego (CDF)

Funkcja, która określa częstotliwość próbek poniżej wartości docelowej lub jej równej. Weźmy na przykład normalny rozkład wartości ciągłych. CDF informuje, że około 50% próbek powinno być mniejsze lub równe średniej, a około 84% próbek powinno być mniejsze lub równe 1 odchyleniu standardowym od średniej.

D

analiza danych

Interpretowanie danych poprzez analizę próbek, pomiarów i wizualizacji. Analiza danych może być szczególnie przydatna, gdy zbiór danych zostaje odebrany po raz pierwszy, przed utworzeniem pierwszego model. Niezwykle ważne jest też zrozumienie eksperymentów i debugowania problemów w systemie.

rozszerzanie danych

Sztuczne zwiększenie zakresu i liczby przykładów trenowania przez przekształcenie istniejących przykładów w dodatkowe przykłady. Załóżmy na przykład, że obrazy są jedną z cech Twojej firmy, ale zbiór danych nie zawiera wystarczającej liczby przykładów obrazów, aby model mógł nauczyć się przydatnych powiązań. Optymalnym rozwiązaniem jest dodanie do zbioru danych wystarczającej liczby obrazów z etykietami, aby umożliwić prawidłowe trenowanie modelu. Jeśli to nie jest możliwe, rozszerzanie danych może obracać, rozciągać i odbijać każdy obraz w celu utworzenia wielu wariantów oryginalnego zdjęcia, uzyskując najprawdopodobniej wystarczającą ilość oznaczonych etykietami danych, aby uzyskać doskonałe trenowanie.

DataFrame

Popularny typ danych pandas do reprezentowania zbiorów danych w pamięci.

DataFrame przypomina tabelę lub arkusz kalkulacyjny. Każda kolumna DataFrame ma nazwę (nagłówek), a każdy wiersz jest identyfikowany przez niepowtarzalny numer.

Każda kolumna w DataFrame ma strukturę podobną do tablicy 2D, z tym że każda kolumna może mieć przypisany własny typ danych.

Zobacz też oficjalną stronę z informacjami o pandas.DataFrame.

równoległość danych

Sposób skalowania trenowania lub wnioskowania, który replikuje cały model na wielu urządzeniach, a potem przekazuje podzbiór danych wejściowych na każde z nich. Równoległość danych może umożliwiać trenowanie i wnioskowanie na bardzo dużych wsadach. Równoległość danych wymaga jednak, aby model był na tyle mały, aby zmieścił się na wszystkich urządzeniach.

Równoległość danych zwykle przyspiesza trenowanie i wnioskowanie.

Zobacz też artykuł Równoległość modelu.

zbiór danych lub zbiór danych

Zbiór nieprzetworzonych danych, zwykle (ale nie wyłącznie) uporządkowany w jednym z tych formatów:

• arkusz kalkulacyjny
• plik w formacie CSV (wartości rozdzielone przecinkami);

Interfejs Dataset API (tf.data)

Ogólny interfejs TensorFlow API do odczytu danych i przekształcania ich w formę wymaganą przez algorytm systemów uczących się. Obiekt tf.data.Dataset reprezentuje sekwencję elementów, z których każdy zawiera co najmniej 1 Tensor. Obiekt tf.data.Iterator zapewnia dostęp do elementów Dataset.

Szczegółowe informacje o interfejsie Dataset API znajdziesz w artykule tf.data: Tworzenie potoków wejściowych TensorFlow w przewodniku dla programistów TensorFlow dla programistów (w języku angielskim).

granica decyzji

Separator między klasami nauczonymi przez model w klasie binarnej lub problemach z klasyfikacją wieloklasową. Na przykład na obrazie poniżej obrazującym problem z klasyfikacją binarną granicą decyzji jest granica między klasą pomarańczową a klasą niebieską:

las decyzji

Model utworzony na podstawie wielu drzew decyzyjnych. Las decyzyjny tworzy prognozy, agregując prognozy drzew decyzyjnych. Popularne rodzaje lasów decyzyjnych to m.in. lasy losowe i drzewa o wzbogaconej gradientem.

próg decyzji

Synonim progu klasyfikacji.

schemat decyzyjny

Nadzorowany model uczenia się składający się ze zbioru conditions i conditions uporządkowanych hierarchicznie. Oto przykładowe schematy decyzyjne:

dekoder

Ogólnie rzecz biorąc, każdy system ML, który konwertuje z przetworzonej, gęstej lub wewnętrznej reprezentacji na bardziej surową, rozproszoną lub zewnętrzną reprezentację.

Dekodery są często składnikami większych modeli, które są często parowane z koderem.

W zadaniach sekwencyjnych dekoder zaczyna od stanu wewnętrznego wygenerowanego przez koder w celu przewidzenia następnej sekwencji.

Definicję dekodera w architekturze Transformatora znajdziesz w artykule Transformer.

model głęboki

Sieć neuronowa zawierająca więcej niż 1 ukrytą warstwę.

Model głęboki nazywany jest też głęboką siecią neuronowa.

Porównaj z modelem szerokim.

głęboka sieć neuronowa

Synonim modelu głębokiego.

Sieć Deep Q (DQN)

W Q-learning głęboka sieć neuronowa, która prognozuje funkcje Q.

Critic to synonim sieci Deep Q-Network.

parytet demograficzny

Wskaźnik obiektywności, który jest sprawdzany, gdy wyniki klasyfikacji modelu nie są zależne od podanego atrybutu poufnego.

Jeśli na przykład do Uniwersytetu Glubbdubdrib przypadnie zarówno liliputiowie, jak i brobdingnagi, spójność demograficzna zostaje zachowana, gdy odsetek przyjętych liliputów jest taki sam jak odsetek zaakceptowanych mieszkańców Brobdingnagiów niezależnie od tego, czy któraś z grup ma średnio większe kwalifikacje niż druga.

Przeciwieństwem są równe szanse i równości możliwości, które umożliwiają grupową klasyfikację wyników w zależności od atrybutów poufnych, ale nie zezwalają na klasyfikację niektórych określonych etykiet ground truth do atrybutów o charakterze wrażliwym. W sekcji „Walka z dyskryminacją za pomocą inteligentnych systemów uczących się” znajdziesz wizualizację, która pokazuje kompromisy przy optymalizacji pod kątem parytetu demograficznego.

odszumianie

Popularne podejście do samonadzorowanego uczenia się, w którym:

1. Szum jest sztucznie dodawany do zbioru danych.
2. model próbuje usunąć te szumy.

Wyciszanie szumów umożliwia uczenie się na podstawie przykładów bez etykiet. Pierwotny zbiór danych służy jako cel lub etykieta, a dane wejściowe zaszumione przez szum mogą służyć jako dane wejściowe.

Niektóre maskowane modele językowe używają funkcji wyciszania szumów w ten sposób:

1. Szum jest sztucznie dodawany do zdania bez etykiety przez maskowanie niektórych tokenów.
2. Model próbuje przewidzieć oryginalne tokeny.

cecha zwarta

Funkcja, w której większość lub wszystkie wartości mają wartość różną od zera. Zwykle jest to Tensor z wartości zmiennoprzecinkowych. Na przykład ten 10-elementowy Tensor jest gęsty, ponieważ 9 z jego wartości jest różna od zera:

Różnica w stosunku do funkcji rozproszonej.

gęsta warstwa

Synonim w pełni połączonej warstwy.

głębokość

Suma tych elementów w sieci neuronowej:

• liczbę ukrytych warstw,
• liczbę warstw wyjściowych, która zwykle wynosi 1
• liczbę dowolnych warstw osadzonych,

Na przykład sieć neuronowa z 5 ukrytymi warstwami i 1 warstwą wyjściową ma głębokość 6.

Zwróć uwagę, że warstwa wejściowa nie wpływa na głębię.

splotowa sieć neuronowa głęboko separacyjna (sepCNN)

Architektura splotowej sieci neuronowej opartej na Incepcji, w której moduły incepcji są zastępowane głęboko oddzielonymi splotami. Inna nazwa to Xception.

Splot głęboko rozproszony (nazywany też splotem możliwym do rozdzielenia) powoduje przekształcenie standardowego splotu 3D na 2 oddzielne operacje splotu, które są bardziej wydajne obliczeniowo: po pierwsze splot głęboki, z głębokością 1 (n razy n × 1), a potem 1 splot punktowy 1 x 1 razy szerokości i długości.

Więcej informacji znajdziesz w artykule Xception: Deep Learning with Depthwise Separable Convolutions.

etykieta derywowana

Synonim etykiety serwera proxy.

urządzenie

Przeciążone hasło z tymi 2 możliwymi definicjami:

1. Kategoria sprzętu, który może uruchamiać sesję TensorFlow, obejmujący CPU, GPU i TPU.
2. Podczas trenowania modelu ML na układach akceleratora (GPU lub TPU) ta część systemu, która faktycznie manipuluje procesorami i umieszczonymi elementami. Urządzenie korzysta z układów akceleratora. Z kolei host zwykle działa na CPU.

prywatność różnicowa

W przypadku systemów uczących się podejście do anonimizacji do ochrony danych wrażliwych (na przykład danych osobowych) zawartych w zbiorze treningowym przed ujawnieniem. Dzięki temu model nie uczy się zbyt wiele na temat konkretnej osoby ani ich nie pamięta. Jest to możliwe dzięki próbkowaniu i dodaniu szumu podczas trenowania modelu. Pozwala to ukryć poszczególne punkty danych, co zmniejsza ryzyko ujawnienia poufnych danych treningowych.

Prywatność różnicowa jest też wykorzystywana poza systemami uczącymi się. Na przykład podczas obliczania statystyk użytkowania usług w przypadku różnych grup demograficznych badacze danych czasami używają prywatności różnicowej, aby chronić prywatność poszczególnych osób.

redukcja wymiarów

Zmniejszenie liczby wymiarów używanych do reprezentowania konkretnej cechy w wektorze cech, zwykle przez skonwertowanie go do wektora osadzającego.

wymiary

Przeciążone hasło mające dowolną z tych definicji:

• Liczba poziomów współrzędnych w Tensor. Przykład:

  • Skalar ma zerowy rozmiar, np. ["Hello"].
  • Wektor ma 1 wymiar, np. [3, 5, 7, 11].
  • Macierz ma 2 wymiary, np. [[2, 4, 18], [5, 7, 14]].

  W jednowymiarowym wektorze można jednoznacznie wskazać konkretną komórkę. Do jednoznacznego wskazania konkretnej komórki w dwuwymiarowej macierze potrzebne są 2 współrzędne.

• Liczba wpisów w wektorze cech.

• Liczba elementów w warstwie osadzonej.

prompty bezpośrednie

Synonim promptów typu „zero-shot”.

cecha dyskretna

Cechę ze skończonym zestawem możliwych wartości. Na przykład cecha, której wartości mogą mieć tylko wartości animal, vegetable lub mineral, jest cechą dyskretną (lub kategoryczną).

kontrastuje z funkcją ciągłą;

model dyskryminacyjny

model, który prognozuje model na podstawie zestawu model. Bardziej oficjalnie modele dyskryminacyjne definiują warunkowe prawdopodobieństwo danych wyjściowych, biorąc pod uwagę cechy i wagi, czyli:

p(output | features, weights)

Na przykład model dyskryminacyjny, który prognozuje, czy e-mail jest spamem z powodu cech i wag,

Zdecydowana większość modeli uczenia nadzorowanego, w tym modele klasyfikacji i regresji, to modele dyskryminacyjne.

Różnica z modelem generatywnym.

dyskryminator

System określający, czy przykłady są prawdziwe czy fałszywe.

Z kolei podsystem w ramach generatywnej sieci kontradyktoryjnej, który określa, czy przykłady utworzone przez generator są prawdziwe czy fałszywe.

zróżnicowany wpływ

Podejmowanie decyzji o ludziach, które w nieproporcjonalny sposób oddziałują na różne podgrupy populacji. Zwykle odnosi się to do sytuacji, w których algorytmiczny proces decyzyjny jest szkodliwy dla niektórych podgrup lub przydaje się bardziej niż innym.

Załóżmy na przykład, że algorytm, który określa, czy liliputian może uzyskać kredyt hipoteczny, z większym prawdopodobieństwem sklasyfikuje go jako „niekwalifikujący się”, jeśli adres pocztowy zawiera określony kod pocztowy. Jeśli liliputi z Wielkiej Brytanii mają adresy pocztowe z tym kodem pocztowym niż Lilliputians, ten algorytm może mieć różny wpływ na odbiorców.

Inaczej jest w przypadku zróżnicowania traktowania, które koncentruje się na rozbieżnościach wynikających z sytuacji, gdy cechy podgrup stanowią konkretne dane wejściowe do algorytmicznego procesu decyzyjnego.

leczenie zróżnicowane

Uwzględnianie wrażliwych cech osób w algorytmicznym procesie decyzyjnym, w którym różne podgrupy są traktowane inaczej.

Weźmy na przykład algorytm, który określa, czy liliputowie mogą ubiegać się o pożyczkę na kredyt miniaturowy, na podstawie danych, które podają we wniosku o kredyt. Jeśli algorytm wykorzystuje przynależność do Lilliputiana jako danych wejściowych Wielkich lub Małych, stosuje zróżnicowane traktowanie w tym wymiarze.

Inaczej jest w przypadku różnicowego wpływu, który koncentruje się na różnicach w społecznym wpływie decyzji opartych na algorytmie na podgrupy niezależnie od tego, czy te podgrupy stanowią dane wejściowe modelu.

oczyszczanie

Proces zmniejszania rozmiaru 1 model (zwanego model) do mniejszego modelu (nazywanego model), który najwierniej symuluje prognozy oryginalnego modelu. Oczyszczanie jest przydatne, ponieważ mniejszy model ma 2 główne zalety w porównaniu z większym modelem (nauczycielem):

• Szybszy czas wnioskowania
• Mniejsze zużycie pamięci i energii

Jednak prognozy ucznia zazwyczaj nie są tak dokładne jak prognozy nauczyciela.

Proces oczyszczania trenuje model ucznia w celu minimalizacji funkcji straty na podstawie różnicy między wynikami prognoz modeli ucznia i nauczyciela.

Porównaj oczyszczanie z następującymi hasłami:

• dostrajania
• nauczanie oparte na promptach

distribution

Częstotliwość i zakres różnych wartości dla danej cechy lub etykiety. Rozkład określa prawdopodobieństwo, że określona wartość jest prawdopodobna.

Na ilustracji poniżej przedstawiono histogramy z 2 różnych rozkładów:

• Po lewej: rozkład dochodu według prawa w porównaniu z liczbą osób posiadających ten bogactwo.
• Po prawej: normalny rozkład wysokości w porównaniu z liczbą osób mających tę wysokość.

Znajomość każdej cechy i rozkładu etykiet pomoże Ci określić sposób normalizowania wartości i wykrywania wartości odstających.

Wyrażenie out of Distribution (brak dystrybucji) odnosi się do wartości, która nie pojawia się w zbiorze danych lub występuje bardzo rzadko. Na przykład obraz planety Saturn zostałby uznany za niewłaściwy w zbiorze danych składających się z obrazów kotów.

grupowanie niezgodne

Zapoznaj się z informacjami na temat grupowania hierarchicznego.

Downsampling

Przeciążone hasło, które może mieć jedno z tych znaczenia:

• Zmniejszenie ilości informacji w funkcji w celu bardziej efektywnego wytrenowania modelu. Na przykład przed wytrenowaniem modelu rozpoznawania obrazów przez zmniejszenie próbkowania obrazów o wysokiej rozdzielczości do formatu o niższej rozdzielczości.
• Trenowanie na nieproporcjonalnie niskim odsetku nadreprezentowanych przykładów klas w celu ulepszenia trenowania modelu w klasach niedostatecznie reprezentowanych. Na przykład w zbiorze danych o nierównowadze klas modele zazwyczaj uczą się dużo o klasie większości i niewystarczająco dużo o klasie mniejszości. Próbkowanie typu Downsampling pomaga zachować równowagę pomiędzy intensywnością trenowania w przypadku klas większości i mniejszości.

nazwa DQN

Skrót od Deep Q-Network.

regularyzacja porzuceń

Forma regularizacji przydatna w trenowaniu sieci neuronowych. Regularizowanie porzucenia powoduje usunięcie losowego wyboru stałej liczby jednostek w warstwie sieci na potrzeby pojedynczego kroku gradientu. Im więcej jednostek zostało utraconych, tym silniejsze regularność. Przypomina to trenowanie sieci do emulacji niezwykle dużego zespołu z mniejszych sieci. Więcej informacji znajdziesz w artykule Porzucenie: prosty sposób na zapobieganie nadmiernemu dopasowaniu sieci neuronowych.

dynamiczny

Coś robionego często lub na bieżąco. W systemach uczących się terminy dynamiczny i online to synonimy. Oto najczęstsze zastosowania atrybutów dynamic i online w systemach uczących się:

• Model dynamiczny (lub model online) to model, który jest ponownie trenowany często lub w sposób ciągły.
• Trenowanie dynamiczne (lub trenowanie online) to proces częstego lub ciągłego trenowania.
• Wnioskowanie dynamiczne (lub wnioskowanie online) to proces generowania prognoz na żądanie.

model dynamiczny

model, który jest często (nawet w czasie ciągłym) trenowania. Model dynamiczny to „uczenie się przez całe życie”, które na bieżąco dostosowuje się do zmieniających się danych. Model dynamiczny jest też nazywany modelem online.

Różnica z modelem statycznym.

E

szybkie wykonanie

Środowisko programistyczne TensorFlow, w którym operations są uruchamiane natychmiast. W przeciwieństwie do tego operacje wywoływane w wykonaniu wykresu nie są uruchamiane, dopóki nie zostaną wyraźnie ocenione. Szybkie wykonywanie to interfejs imperatywny, podobnie jak kod w większości języków programowania. Łatwiejsze debugowanie programów wykonawczych jest znacznie łatwiejsze niż w przypadku programów do wykonywania grafów.

wcześniejsze zatrzymanie

Metoda regularizacji, która obejmuje zakończenie trenowania przed zakończeniem trenowania, maleje. We wczesnej fazie zatrzymywania celowo zatrzymujesz model, gdy utrata dostępu do zbioru danych do weryfikacji zaczyna rosnąć, czyli gdy pogorszy się skuteczność uogólnienia.

odległość od Ziemi (EMD)

Miara względnego podobieństwa 2 dystrybucji. Im mniejsza odległość, tym bardziej zbliżone są rozkłady.

edytuj odległość

Pomiar podobieństwa dwóch ciągów tekstowych. W przypadku uczenia maszynowego edytowanie odległości jest przydatne, ponieważ jest łatwe do obliczenia i efektywnym sposobem porównywania 2 ciągów, o których wiemy, że są podobne, lub znajdowania ciągów podobnych do danego ciągu.

Istnieje kilka definicji odległości do edycji, z których każda używa innych operacji na ciągu znaków. Na przykład odległość Levenshteina uwzględnia najmniejszą liczbę operacji usuwania, wstawiania i zastępowania.

Na przykład odległość Levenshteina między słowami „serce” i „rzutki” wynosi 3, ponieważ te 3 to najmniejsze zmiany, które zamieniają jedno słowo w drugie:

1. serce → deart (zastąp literę „h” przez „d”)
2. deart → dart (usuń „e”)
3. dart → rzutki (wstaw „s”)

Zapis Einsum

Skuteczny zapis służący do opisania sposobu łączenia 2 tensorów. Tensory są łączone przez mnożenie elementów jednego tensora przez elementy drugiego tensora, a następnie sumowanie iloczynów. W notacji Einsum osie każdego tensora są wskazywane za pomocą symboli i zmieniane są ich kolejność, aby określić kształt tensora wynikowego.

NumPy to typowa implementacja Einsum.

warstwa wektorowa

Specjalna ukryta warstwa, która trenuje na wysokiej, kategoriach funkcji, aby stopniowo uczyć się wektora wektora dystrybucyjnego dla niższego wymiaru. Warstwa osadzania umożliwia sieci neuronowej trenowanie znacznie efektywniej niż trenowanie wyłącznie na podstawie wyłącznie wysokowymiarowej cechy kategorialnej.

Na przykład na Ziemi obecnie obsługiwanych jest około 73 000 gatunków drzew. Załóżmy, że cecha modelu jest cechą,więc warstwa wejściowa modelu zawiera jedny gorący wektor mający 73 tys. elementów. Wartość baobab zostałaby przedstawiona w ten sposób:

Tablica z 73 000 elementów jest bardzo długa. Jeśli nie dodasz do modelu warstwy osadzania, trenowanie będzie bardzo czasochłonne ze względu na pomnożenie przez 72 999 zer. Wyobraź sobie, że warstwa osadzająca się składa się z 12 wymiarów. W efekcie warstwa osadzająca będzie stopniowo uczyć się nowego wektora dystrybucyjnego dla każdego gatunku drzew.

W niektórych sytuacjach rozsądna alternatywa dla warstwy osadzonej jest uzasadnioną alternatywą szyfrowania.

przestrzeń wektorowa

Mapowana jest przestrzeń wektorowa w wymiarze D obejmująca więcej wymiarowej przestrzeni wektorowej. W idealnej sytuacji przestrzeń reprezentacji właściwościowych powinna zawierać strukturę, która daje wymierne wyniki matematyczne. Na przykład w idealnej przestrzeni reprezentacji właściwościowych dodawanie i odejmowanie reprezentacji właściwościowych może rozwiązać zadania związane z analogią słowną.

Iloczyn punktowy dwóch wektorów dystrybucyjnych pozwala określić ich podobieństwo.

wektor dystrybucyjny

Ogólnie rzecz biorąc, jest to tablica liczb zmiennoprzecinkowych pobranych z dowolnej ukrytej warstwy, która opisuje dane wejściowe tej ukrytej warstwy. Często wektorem dystrybucyjnym jest tablica liczb zmiennoprzecinkowych wytrenowanych w warstwie wektora dystrybucyjnego. Załóżmy na przykład, że warstwa osadzająca musi nauczyć się wektora osadzania dla każdego z 73 000 gatunków drzew na Ziemi. Możliwe, że ta tablica to wektor reprezentacji właściwościowej drzewa baobabu:

Wektor dystrybucyjny nie jest grupą liczb losowych. Warstwa wektorowa określa te wartości przez trenowanie, podobnie jak sieć neuronowa uczy się innych wag podczas trenowania. Każdy element tablicy to ocena powiązana z jakąś cechą gatunku drzewa. Który element reprezentuje cechy którego gatunku drzewa? Ludziom to bardzo trudno określić.

Niezwykłą matematyczną częścią wektora dystrybucyjnego jest fakt, że podobne elementy mają podobne zestawy liczb zmiennoprzecinkowych. Na przykład podobne gatunki drzew mają bardziej podobny zestaw liczb zmiennoprzecinkowych niż różne gatunki drzew. Sekwoja i sekwoje to gatunek drzewo kokosowe, dlatego ich liczba zmiennoprzecinkowa jest bardziej podobna do sekwoi niż sekwoje i palm kokosowych. Liczby w wektorze dystrybucyjnym zmieniają się za każdym razem, gdy ponownie trenujesz model, nawet jeśli wytrenujesz model z takimi samymi danymi wejściowymi.

empiryczna funkcja rozkładu skumulowanego (eCDF lub EDF)

Funkcja rozkładu skumulowanego oparta na pomiarach empirycznych z rzeczywistego zbioru danych. Wartość funkcji w dowolnym momencie na osi X to odsetek obserwacji w zbiorze danych, który nie przekracza określonej wartości lub jest jej równa.

empiryczna minimalizacja ryzyka (ERM)

Wybierz funkcję, która minimalizuje straty w zbiorze treningowym. Przeciwieństwem jest minimalizacja ryzyka strukturalnego.

koder

Ogólnie każdy system ML, który konwertuje reprezentację nieprzetworzoną, rozproszoną lub zewnętrzną w bardziej przetworzoną, gęstszą lub bardziej wewnętrzną reprezentację.

Kodery są często składnikami większych modeli, które są często parowane z dekoderem. Niektóre Transformery parują kodery z dekoderami, ale inne korzystają tylko z enkodera lub tylko dekodera.

Niektóre systemy wykorzystują dane wyjściowe kodera jako dane wejściowe do sieci klasyfikacji lub regresji.

W zadaniach sekwencyjnych z sekwencją koder pobiera sekwencję wejściową i zwraca stan wewnętrzny (wektor). Następnie na podstawie tego stanu wewnętrznego dekoder przewiduje następną sekwencję.

Definicję kodera w architekturze Transformer znajdziesz w artykule Transformer.

zespół

Zbiór modeli trenowanych niezależnie, których prognozy są uśredniane lub agregowane. W wielu przypadkach zespół generuje lepsze prognozy niż pojedynczy model. Na przykład las losowy to zbiór złożony z wielu drzew decyzyjnych. Pamiętaj, że nie wszystkie lasy decyzji to zespoły.

entropia

W teorii informacji to opis nieprzewidywalności rozkładu prawdopodobieństwa. Entropia jest też zdefiniowana jako ilość informacji w każdym przykładzie. Rozkład ma najwyższą możliwą entropię, gdy wszystkie wartości zmiennej losowej są jednakowe.

Entropia zbioru z 2 możliwymi wartościami „0” i „1” (na przykład etykiet w zadaniu klasyfikacji binarnej) ma następujący wzór:

  H = -p log p - q log q = -p log p - (1-p) * log (1-p)

gdzie:

• H oznacza entropię.
• p to ułamek z wartości „1”.
• Q to ułamek z przykładów „0”. Pamiętaj, że q = (1 – p).
• log to zwykle log₂. W tym przypadku jednostka entropii jest nieco mniejsza.

Załóżmy na przykład, że:

• 100 przykładów zawiera wartość „1”
• 300 przykładów zawiera wartość „0”

W związku z tym wartość entropii wynosi:

• P = 0,25
• Q = 0,75
• H = (-0,25)log₂(0,25) - (0,75)log₂(0,75) = 0,81 bitu na przykład

Zestaw, który jest idealnie zrównoważony (np.200 „0” i 200 „1”), miałby entropię równą 1,0 bitu na przykład. W miarę jak zbiór staje się bardziej nierównoważny, jego entropia przesuwa się w kierunku 0,0.

W drzewach decyzyjnych entropia pomaga sformułować zysk informacji, aby pomóc rozdzielnikowi wybrać warunki w trakcie rozwoju drzewa decyzyjnego.

Porównaj entropię z:

• nieczyszczenie gini
• funkcja straty entropii krzyżowej

Entropia jest często nazywana entropią Shannona.

środowisko

Podczas uczenia się przez wzmacnianie świata, który zawiera agenta i pozwala agentowi obserwować stan danego świata. Światem reprezentowanym może być na przykład szachy albo wirtualny świat jak mauzoleum. Gdy agent zastosuje działanie do środowiska, środowisko przechodzi między stanami.

odcinek

W ramach uczenia się przez wzmacnianie każda z powtarzanych prób agenta poznawania środowiska.

początek epoki : epoka

Pełną kartę treningową obejmującą cały zbiór treningowy, tak aby każdy przykład został przetworzony raz.

Epoka reprezentuje N/rozmiar wsadowy iteracji podczas trenowania, gdzie N to łączna liczba przykładów.

Załóżmy na przykład, że:

• Zbiór danych zawiera 1000 przykładów.
• Wielkość wsadu to 50 przykładów.

Dlatego pojedyncza epoka wymaga 20 iteracji:

1 epoch = (N/batch size) = (1,000 / 50) = 20 iterations

zasady zachłanne epsilon

W przypadku uczenia przez wzmacnianie zasady, które są zgodne z losowymi zasadami z prawdopodobieństwem ypsilon lub z zasadą zachłanną w innym przypadku. Jeśli na przykład wartość ypsilon wynosi 0,9, zasada jest w 90% przypadków losowa, a zasada zachłanna w 10%.

W kolejnych odcinkach algorytm obniża wartość ypsilon, aby zamiast niej stosować się do zasady zachłannej. Zmieniając zasady, agent najpierw losowo bada środowisko, a potem zachęcnie wykorzystuje wyniki eksploracji losowej.

równość szans

Wskaźnik obiektywności pozwalający ocenić, czy model prognozuje jednakowo pożądany wynik w przypadku wszystkich wartości atrybutu o charakterze kontrowersyjnym. Inaczej mówiąc, jeśli pożądanym wynikiem modelu jest klasa dodatnia, celem powinno być, aby wskaźnik prawdziwie pozytywnych był taki sam we wszystkich grupach.

Równość możliwości jest związana z wyrównaniem szans, co wymaga, aby zarówno współczynniki prawdziwie pozytywnych, jak i współczynniki fałszywie pozytywnych były takie same we wszystkich grupach.

Załóżmy, że do rygorystycznego programu matematycznego przyjmują liliputowie i brązowie Szkoły średnie szkoły liliputów oferują obszerny program zajęć z matematyki, a zdecydowana większość uczniów kwalifikuje się do udziału w programie uniwersyteckim. Szkoły średnie w Brobdingnagians w ogóle nie oferują zajęć z matematyki, przez co znacznie mniej uczniów ma do nich kwalifikacje. Równość szans jest zapewniona w przypadku preferowanej etykiety „adkceptowana” w odniesieniu do narodowości (liliput albo brobdingnagia), jeśli kwalifikowani uczniowie z równym prawdopodobieństwem zostaną przyjęte, niezależnie od tego, czy są liliputami czy brobdingnagiem.

Załóżmy na przykład, że do Uniwersytetu w Glubbdubdrib składa się 100 liliputów i 100 brobdingnagiów, a decyzje o przyjęciu do programu są podejmowane w następujący sposób:

Tabela 1. Kandydaci na stanowiska liliputów (90% to kwalifikowani uczestnicy)

Tabela 2. Kandydaci do Izby Reprezentantów (10% zakwalifikowanych):

Poprzednie przykłady odpowiadają równości szans w przyjęciu do programu, ponieważ kwalifikowani liliputowie i członkowie Brobdingnagis mają 50% szans na przyjęcie do programu.

Chociaż spełnione jest równość szans, nie są spełnione te 2 wskaźniki obiektywności:

• Spójność demograficzna: liliputi i brobdingnagiowie są przyjmowani na uniwersytet w różnym stopniu.
• Wyrównane szanse: chociaż zakwalifikowani studenci lilipucki i brobdingnagii mają takie same szanse na przyjęcie do programu, to dodatkowe ograniczenie, zgodnie z którym niezakwalifikowani liliputowie i członkowie rasy Brobdingnagis mają taką samą szansę na odrzucenie, nie jest spełnione. Osoby pozbawione kwalifikacji mają 70% odrzuceń, a brak zakwalifikowanych uczestników – 90%.

Bardziej szczegółowe informacje na temat równości szans znajdziesz w artykule „Równość możliwości w ramach uczenia nadzorowanego”. Zapoznaj się też z wizualizacją w sekcji „Walka z dyskryminacją za pomocą inteligentnych systemów uczących się”, która przedstawia kompromisy przy optymalizacji pod kątem równości szans.

wyrównane szanse

Wskaźnik obiektywności, który pozwala ocenić, czy model prognozuje wyniki w równym stopniu w przypadku wszystkich wartości atrybutu poufnego z uwzględnieniem zarówno klasy pozytywnej, jak i klasy ujemnej, a nie tylko jednej lub drugiej. Inaczej mówiąc, współczynnik prawdziwie pozytywnych i współczynnik wyników fałszywie negatywnych powinien być taki sam we wszystkich grupach.

Wyrównane szanse są związane z równością możliwości, która skupia się tylko na odsetku błędów danej klasy (pozytywnej lub ujemnej).

Załóżmy np., że Uniwersytet w Glubbdubdrib do rygorystycznego programu matematycznego przyjmuje zarówno liliputów, jak i Brobdingnagiansów. Szkoły średnie oferują szeroki zakres zajęć z matematyki, a znaczna większość uczniów kwalifikuje się do udziału w programie uniwersyteckim. Szkoły średnie w Żłobku w ogóle nie oferują zajęć z matematyki, przez co znacznie mniej uczniów ma do nich kwalifikacje. Zakładamy, że bez względu na to, czy kandydat jest liliputinem, czy małżonkiem brobdingnagiem, w równym stopniu prawdopodobieństwo przyjęcia do programu jest w takiej samej sytuacji, a w przypadku braku kwalifikacji prawdopodobieństwo odrzucenia jest równie duże.

Załóżmy, że do Uniwersytetu w Glubbdubdrib składa się 100 liliputów i 100 brobdingnagiów, a decyzje o przyjęciu do programu są podejmowane w następujący sposób:

Tabela 3. Kandydaci na stanowiska liliputów (90% to kwalifikowani uczestnicy)

Tabela 4. Kandydaci do Izby Reprezentantów (10% zakwalifikowanych):

Wyrównane szanse są zaspokajane, ponieważ szanse na przyjęcie do programu mają kwalifikowani uczniowie Liliputi i Broddingnagian – 50%, a niezakwalifikowani lilliputi i brobdingnagian – 80% ryzyko odrzucenia.

Szanse wyrównane są oficjalnie zdefiniowane w sekcji „Równość możliwości w uczeniu nadzorowanym”: „Predyktor spełnia wyrównane szanse w odniesieniu do chronionego atrybutu A i wyniku Y, jeśli à i A są niezależne i warunkowo wiążą się z Y”.

estymator

Wycofany interfejs TensorFlow API. Zamiast szacunków używaj pliku tf.keras.

ocena

Proces pomiaru jakości prognoz modelu systemów uczących się. Podczas tworzenia modelu zazwyczaj stosujesz wskaźniki oceny nie tylko do zbioru treningowego, ale też do zbioru do walidacji i zestawu testowego. Możesz też wykorzystać dane oceny, aby porównać ze sobą różne modele.

przykład

Wartości w jednym wierszu cech i ewentualnie etykiety. Przykłady w uczeniu nadzorowanym można podzielić na 2 ogólne kategorie:

• Przykład oznaczony etykietą składa się z co najmniej 1 funkcji i etykiety. Przykłady oznaczone etykietami są używane podczas trenowania.
• Przykład bez etykiety składa się z co najmniej 1 funkcji, ale bez etykiety. Podczas wnioskowania używane są przykłady bez etykiet.

Załóżmy, że trenujesz model do określenia wpływu warunków pogodowych na wyniki testów uczniów. Oto 3 przykłady oznaczone etykietami:

Oto 3 przykłady bez etykiet:

Wiersz zbioru danych jest zwykle nieprzetworzonym źródłem przykładu. Oznacza to, że przykład zwykle obejmuje podzbiór kolumn w zbiorze danych. Cechy w przykładzie mogą też obejmować funkcje syntetyczne, takie jak krzyżówki.

ponowne odtworzenie doświadczenia

W uczeniu przez wzmacnianie jest to technika DQN wykorzystywana do ograniczania korelacji czasowych w danych treningowych. Agent zapisuje przejścia stanów w buforze ponownego odtwarzania, a następnie próbkuje przejścia z tego bufora do tworzenia danych treningowych.

efekt eksperymentu

Zobacz odchylenie potwierdzenia.

problem z wybuchowym gradientem

Tendencja gradientów w głębokich sieciach neuronowych (zwłaszcza powracających sieci neuronowych) jest zaskakująco stroma (wysoka). Ostre gradienty często powodują bardzo duże zmiany wag każdego węzła w głębokiej sieci neuronowej.

Modele, w których występuje problem z eksplodującą gradientem, stają się trudne lub niemożliwe do wytrenowania. Przycinanie gradientu może rozwiązać ten problem.

Porównaj problem ze znikającym gradientem.

F

K₁

Dane „o pełnym zakresie” dotyczące klasyfikacji plików binarnych, które zależą zarówno od precyzji, jak i czułości. Oto wzór:

Na przykład na podstawie tych elementów:

• precyzja = 0,6
• czułość = 0,4

Gdy precyzja i czułość są dość podobne (jak w poprzednim przykładzie), F₁ jest zbliżony do średniej. Gdy precyzja i czułość znacznie się różnią, F₁ jest bliżej dolnej wartości. Na przykład:

• precyzja = 0,9
• czułość = 0,1

ograniczenie obiektywności

• Po przetworzeniu danych wyjściowych modelu.
• Zmodyfikować funkcję straty, aby uwzględnić karę za naruszenie wskaźnika obiektywności.
• Bezpośrednie dodawanie ograniczenia matematycznego do zadania optymalizacyjnego.

wskaźnik obiektywności

Mierzalna definicja „sprawiedliwości” matematycznej. Niektóre często używane wskaźniki obiektywności:

• wyrównane szanse
• spójność prognozowana
• kontrfaktyczna obiektywność
• spójność demograficzna

Wiele wskaźników obiektywności wzajemnie się wyklucza; zobacz niezgodność wskaźników obiektywności.

fałszywie negatywny (FN)

Przykład, w którym model błędnie prognozuje klasę ujemną. Model przewiduje na przykład, że konkretny e-mail nie jest spamem (klasa negatywna), ale tak naprawdę jest spamem.

współczynnik wyników fałszywie negatywnych

Odsetek rzeczywistych przykładów pozytywnych, w przypadku których model błędnie przewidział klasę ujemną. Ten wzór oblicza współczynnik fałszywie ujemnych:

fałszywie dodatni (FP)

Przykład, w którym model błędnie prognozuje klasę pozytywną. Model przewiduje na przykład, że dany e-mail zawiera spam (klasa pozytywna), ale tak naprawdę nie jest spamem.

współczynnik wyników fałszywie pozytywnych (FPR)

Odsetek rzeczywistych przykładów negatywnych, w przypadku których model błędnie przewidział klasę pozytywną. Ten wzór oblicza współczynnik wyników fałszywie pozytywnych:

Współczynnik wyników fałszywie pozytywnych to oś X na krzywej ROC.

cecha [in context of machine learning]

Zmienna wejściowa dla modelu systemów uczących się. Przykład składa się z co najmniej 1 funkcji. Załóżmy np., że trenujesz model do określania wpływu warunków pogodowych na wyniki sprawdzianów uczniów. W tabeli poniżej znajdziesz 3 przykłady, z których każdy zawiera 3 funkcje i 1 etykietę:

Różnica za pomocą atrybutu etykieta.

krzyżówka

Funkcje syntetyczne utworzone przez „krzyżowanie” cech kategorialnych lub pogrupowanych.

Weźmy na przykład model „prognozowania nastroju”, który reprezentuje temperaturę w jednym z 4 zasobników:

• freezing
• chilly
• temperate
• warm

I przedstawia prędkość wiatru w jednym z 3 rodzajów:

• still
• light
• windy

Bez krzyżów cech model liniowy trenuje niezależnie w każdym z poprzednich 7 różnych zasobników. Model trenuje więc na przykład na freezing niezależnie od trenowania na danych windy.

Możesz też utworzyć wykres krzyżowy temperatury i prędkości wiatru. Ta funkcja syntetyczna miałaby 12 możliwych wartości:

• freezing-still
• freezing-light
• freezing-windy
• chilly-still
• chilly-light
• chilly-windy
• temperate-still
• temperate-light
• temperate-windy
• warm-still
• warm-light
• warm-windy

Dzięki krzyżom cech model może poznać różnice nastrojów między freezing-windy a freezing-still dniem.

Jeśli utworzysz cechę syntetyczną z 2 cech, z których każda ma wiele różnych segmentów, wynikowy krzyż cech będzie miał ogromną liczbę możliwych kombinacji. Jeśli na przykład jedna cecha ma 1000 zasobników, a druga 2000 zasobników, wynikowy krzyż cech będzie miał 2 000 000 zasobników.

Formalnie krzyż to iloczyn kartezjański.

Krzyżówki cech są używane głównie w modelach liniowych, a rzadko w sieciach neuronowych.

ekstrakcja wyróżników

Proces, który obejmuje te kroki:

1. Określeniu, które funkcje mogą być przydatne podczas trenowania modelu.
2. nieprzetworzone dane ze zbioru danych w wydajne wersje tych funkcji.

Może się np. okazać, że przydatną funkcją jest temperature. Następnie możesz poeksperymentować z grupowaniem, aby zoptymalizować to, czego model może się uczyć na podstawie różnych zakresów temperature.

Inżynieria cech jest czasami nazywana wyodrębnianiem cech lub featuryzacjami.

wyodrębnianie cech

Przeciążone hasło mające jedną z tych definicji:

• Pobieranie reprezentacji cech pośrednich obliczonych przez model nienadzorowany lub wytrenowany (np. wartości ukrytej warstwy w sieci neuronowej) do wykorzystania jako danych wejściowych w innym modelu.
• Synonim wyrażenia inżynieria cech.

znaczenie cech

Synonim zmiennej ważności.

zbiór cech

Grupa funkcji, na których trenuje model systemów uczących się. Na przykład kod pocztowy, rozmiar nieruchomości i stan nieruchomości mogą zawierać prosty zestaw funkcji dla modelu prognozującego ceny nieruchomości.

specyfikacja funkcji

Opisuje informacje wymagane do wyodrębnienia danych features z bufora protokołu tf.Example. Bufor protokołu tf.Example jest tylko kontenerem na dane, więc musisz określić te elementy:

• dane do wyodrębnienia (czyli klucze do funkcji),
• typ danych (np. liczba zmiennoprzecinkowa lub int).
• długość (stała lub zmienna),

wektor cech

Tablica wartości feature stanowiących przykład. Wektor cechy jest wprowadzany podczas trenowania i wnioskowania. Na przykład wektorem cech modelu z 2 odrębnymi cechami może być:

[0.92, 0.56]

W każdym przykładzie mamy inne wartości wektora cechy, więc w następnym wektorze będzie on podobny do tego:

[0.73, 0.49]

Inżynieria cech określa sposób przedstawiania cech w wektorze cech. Na przykład cecha kategoryczna z 5 możliwymi wartościami binarnymi może być reprezentowana za pomocą kodowania 1 gorące. W tym przypadku część wektora cech w danym przykładzie składała się z 4 zer i jednej 1,0 w trzeciej pozycji:

[0.0, 0.0, 1.0, 0.0, 0.0]

W kolejnym przykładzie załóżmy, że Twój model składa się z 3 cech:

• cecha binarna kategorii binarnej z 5 możliwymi wartościami reprezentowanymi przez kodowanie jednorazowe, np. [0.0, 1.0, 0.0, 0.0, 0.0]
• kolejną cechę kategoryczną typu binarnego z 3 możliwymi wartościami reprezentowanymi przez kodowanie jeden raz, np.: [0.0, 0.0, 1.0]
• funkcję zmiennoprzecinkową, np. 8.3.

W tym przypadku wektor cech w każdym przykładzie byłby reprezentowany przez 9 wartości. Na podstawie przykładowych wartości z poprzedniej listy wektor cech będzie wyglądał tak:

0.0
1.0
0.0
0.0
0.0
0.0
0.0
1.0
8.3

featurizacja

Proces wyodrębniania cech ze źródła danych wejściowych, np. dokumentu lub filmu, i mapowania tych cech na wektor cech.

Niektórzy eksperci ds. systemów uczących się używają featurizacji jako synonimu inżynierii cech lub wyodrębniania cech.

sfederowane uczenie się

Podejście do rozproszonych systemów uczących się, które trenuje modele systemów uczących się przy użyciu zdecentralizowanych przykładów znajdujących się na urządzeniach takich jak smartfony. W ramach sfederowanego uczenia się podzbiór urządzeń pobiera bieżący model z centralnego serwera koordynacyjnego. Urządzenia korzystają z przykładów zapisanych na urządzeniach, aby ulepszać model. Następnie urządzenia przesyłają ulepszenia modelu (ale nie przykłady treningowe) na serwer koordynujący, gdzie są one łączone z innymi aktualizacjami, aby uzyskać ulepszony model globalny. Po zagregowaniu aktualizacje modelu obliczane przez urządzenia nie są już potrzebne i można je odrzucić.

Ponieważ przykłady treningowe nie są nigdy przesyłane, sfederowane uczenie się jest zgodne z zasadami prywatności, które polegają na ukierunkowanym gromadzeniu i minimalizacji danych.

Więcej informacji o sfederowanym uczeniu znajdziesz w tym samouczku.

pętla informacji zwrotnych

W systemach uczących się jest to sytuacja, w której prognozy modelu wpływają na dane do trenowania tego samego lub innego modelu. Na przykład model polecający filmy wpływa na to, jakie filmy oglądają widzowie, a to wpływa na kolejne modele rekomendacji.

sieć neuronowa (FFN)

Sieć neuronowa bez połączeń cyklicznych ani rekurencyjnych. Na przykład tradycyjne głębokie sieci neuronowe to sieci neuronowe typu „feedforward”. Przeciwieństwem są powracające sieci neuronowe, które są cykliczne.

nauka jednorazowa

Podejście oparte na systemach uczących się, często używane do klasyfikacji obiektów, zaprojektowane do trenowania skutecznych klasyfikatorów na podstawie niewielkiej liczby przykładów trenowania.

Zapoznaj się też z artykułami nauczanie jednorazowe i nauka „zero-shot”.

prompty „few-shot”

Prompt zawierający więcej niż 1 „kilka” przykładów demonstrujących, jak powinien reagować duży model językowy. Na przykład ten długi prompt zawiera 2 przykłady, które pokazują, jak duży model językowy odpowiada na zapytanie.

Prompty typu „few-shot” pozwalają uzyskać lepsze wyniki niż tak zwane prompty „zero-shot” i prompty typu „one-shot”. Pamiętaj jednak, że prompty „few-shot” wymagają dłuższego promptu.

Prompty jednorazowe to forma nauki krótkoterminowej stosowanej w nauce opartej na promptach.

Skrzypce

Biblioteka konfiguracji wykorzystująca język Python, która ustawia wartości funkcji i klas bez inwazyjnego kodu lub infrastruktury. W przypadku Pax i innych baz kodu systemów uczących się te funkcje i klasy reprezentują modele oraz trenowanie hiperparametrów.

Fiddle zakłada, że bazy kodu systemów uczących się są zwykle podzielone na:

• Kod biblioteczny, który definiuje warstwy i optymalizatory.
• Kod „sklej” zbioru danych, który wywołuje ze sobą biblioteki i przewody.

Fiddle przechwytuje strukturę wywołania kodu glue w postaci nieocenionej i zmiennej.

dostrajanie

Drugi karnet treningowy do konkretnego zadania wykonany na wstępnie wytrenowanym modelu w celu doprecyzowania jego parametrów do konkretnego przypadku użycia. Na przykład pełna sekwencja trenowania w przypadku niektórych dużych modeli językowych wygląda tak:

1. Przed trenowaniem: wytrenuj duży model językowy na ogromnym ogólnym zbiorze danych, takim jak wszystkie strony Wikipedii w języku angielskim.
2. Dostrajanie: wytrenuj wytrenowany model do wykonywania określonego zadania, na przykład reagowania na zapytania medyczne. Dostrajanie obejmuje zwykle setki lub tysiące przykładów dotyczących konkretnego zadania.

Inny przykład to pełna sekwencja trenowania dużego modelu obrazu:

1. Wstępne trenowanie: wytrenuj duży model obrazów na rozległym zbiorze danych ogólnych obrazów, takim jak wszystkie obrazy w Wikimedia Commons.
2. Dostrajanie: wytrenuj już wytrenowany model do wykonania określonego zadania, na przykład generowania obrazów orek.

Dostrajanie może obejmować dowolną kombinację tych strategii:

• Zmodyfikowanie wszystkich parametrów wytrenowanego modelu. Czasami nazywa się to pełnym dostrajaniem.
• Zmodyfikowanie tylko niektórych istniejących parametrów wytrenowanego modelu (zwykle warstw znajdujących się najbliżej warstwy wyjściowej) bez zmian przy innych parametrach (zwykle warstwy najbliżej warstwy wejściowej). Zapoznaj się z informacjami o dostrajaniu energetycznym.
• dodawanie kolejnych warstw, zwykle nad istniejącymi warstwami najbliżej warstwy wyjściowej,

Dostrajanie to forma nauki transferowej. W związku z tym do dostrajania może być używana inna funkcja straty lub inny typ modelu niż ten używany do trenowania już wytrenowanego modelu. Możesz na przykład dostroić wytrenowany duży model obrazów, aby uzyskać model regresji zwracający liczbę ptaków na obrazie wejściowym.

Porównaj dostrajanie z zastosowaniem tych haseł:

• destylacja
• nauczanie oparte na promptach

Len

Wydajna biblioteka typu open source zbudowana na bazie JAX do deep learningu. Flax udostępnia funkcje do trenowania sieci neuronowych, a także metody oceny ich wydajności.

Len

Biblioteka Transformer typu open source, oparta na technologii Flax, przeznaczona przede wszystkim do przetwarzania języka naturalnego i badań multimodalnych.

bramka zapomniana

Część komórki pamięci krótkoterminowej, która reguluje przepływ informacji przez komórkę. Bramy zapomnienia zachowują kontekst, decydując, które informacje mają zostać odrzucone ze stanu komórki.

pełny softmax

Synonim wyrażenia softmax.

Przeciwieństwem jest próbkowanie kandydatów.

w pełni połączona warstwa

Warstwa ukryta, w której każdy węzeł jest połączony z każdym węzłem w następnej warstwie ukrytej.

W pełni połączona warstwa nazywana jest też gęstą warstwą.

przekształcenie funkcji

Funkcja, która przyjmuje funkcję jako dane wejściowe i zwraca jako dane wyjściowe przekształconą funkcję. W JAX używane są przekształcenia funkcji.

G

GAN

Skrót od generatywnej sieci kontradyktoralnej.

uogólnianie

Zdolność modelu do generowania prawidłowych prognoz na nowych, wcześniej niewyświetlonych danych. Model, który może uogólniać, jest przeciwieństwem nadmiernego dopasowania.

krzywa uogólniania

Wykres przedstawiający zarówno utratę trenowania, jak i utratę do weryfikacji jako funkcję liczby iteracji.

Krzywa uogólniania może pomóc w wykryciu możliwych nadmiernych dopasowania. Na przykład ta krzywa uogólnienia sugeruje nadmierne dopasowanie, ponieważ utrata walidacji staje się znacznie większa niż utrata trenowania.

uogólniony model liniowy

Uogólnienie modeli regresji najmniejszych kwadratów opartych na szumie Gaussa do innych typów szumu na podstawie innych rodzajów szumu, takich jak szum Poissona czy szum kategoryczny. Przykłady uogólnionych modeli liniowych:

• regresja logistyczna
• regresja wieloklasowa
• regresja metodą najmniejszych kwadratów

Parametry uogólnionego modelu liniowego można znaleźć dzięki optymalizacji wypukłej.

Uogólnione modele liniowe mają te właściwości:

• Średnia prognoza optymalnego modelu regresji metodą najmniejszych kwadratów jest równa średniej etykiecie na danych treningowych.
• Średnie prawdopodobieństwo prognozowane przez optymalny model regresji logistycznej jest równe średniej etykiecie danych treningowych.

Możliwości uogólnionego modelu liniowego są ograniczone przez jego cechy. W przeciwieństwie do modelu głębokiego uogólniony model liniowy nie może „uczyć się nowych funkcji”.

generatywna sieć kontrowersyjna (GAN)

System służący do tworzenia nowych danych, w którym generator tworzy dane, a dyskryminator określa, czy utworzone dane są prawidłowe czy nieprawidłowe.

generatywna AI

Rozwijające się pole transformacyjne bez formalnej definicji. Większość ekspertów zgadza się, że modele generatywnej AI mogą tworzyć („generować”) treści, które:

• Złożone
• spójne
• oryginał

Na przykład generatywny model AI może tworzyć wyrafinowane eseje lub obrazy.

Niektóre wcześniejsze technologie, takie jak LSTM i RNN, również mogą generować oryginalne i spójne treści. Niektórzy eksperci traktują te wcześniejsze technologie jako generatywną AI, podczas gdy inni uważają, że prawdziwa generatywna AI wymaga bardziej złożonych wyników niż te wcześniejsze.

Przeciwieństwem są systemy uczące się predykcyjne.

model generatywny

Mówiąc w praktyce, model, który wykonuje jedną z tych czynności:

• Tworzy (generuje) nowe przykłady ze zbioru danych treningowych. Na przykład model generatywny może tworzyć poezję po wytrenowaniu na zbiorze danych z wierszami. Do tej kategorii należy generator, który jest częścią sieci kontradyktoryjnych danych generatywnych.
• Określa prawdopodobieństwo, że nowy przykład pochodzi ze zbioru treningowego lub że został utworzony za pomocą tego samego mechanizmu, który utworzył zbiór treningowy. Na przykład po trenowaniu na zbiorze danych składającym się z angielskich zdań model generatywny może określić prawdopodobieństwo, że nowe dane wejściowe są prawidłowym zdaniem w języku angielskim.

Model generatywny może teoretycznie rozróżnić rozkład przykładów lub określonych cech w zbiorze danych. Czyli:

p(examples)

Modele uczenia nienadzorowanego są generatywne.

Przedstaw kontrast z modelami dyskryminacyjnymi.

generator

Podsystem w ramach generatywnej sieci kontradyktoryjnej, który tworzy nowe przykłady.

Porównaj z modelem dyskryminacyjnym.

nieczystość ginie

Dane podobne do entropii. Splotory wykorzystują wartości uzyskane na podstawie zanieczyszczenia ginie lub entropii do tworzenia warunków do klasyfikacji drzew decyzyjnych. Zysk informacji pochodzi z entropii. Nie istnieje uniwersalnie akceptowany termin odpowiadający danemu pozyskanemu z nieczystości gini. Ten nienazwany wskaźnik jest jednak równie ważny, co zysk informacji.

Nieczystość giniego jest również nazywana wskaźnikiem ginie lub po prostu gini.

golden zbiór danych

Zbiór ręcznie wybranych danych, które rejestrują dane podstawowe. Zespoły mogą używać jednego lub większej liczby złotych zbiorów danych do oceny jakości modelu.

Niektóre złote zbiory danych rejestrują różne subdomeny danych podstawowych. Na przykład złoty zbiór danych do klasyfikacji obrazów może rejestrować warunki oświetleniowe i rozdzielczość obrazu.

GPT (wytrenowany generatywny transformer)

Rodzina dużych modeli językowych opartych na Transformerze, które zostały opracowane przez OpenAI.

Warianty GPT można stosować w wielu modalnościach, takich jak:

• generowanie obrazów (np. ImageGPT)
• generowanie tekstu na obraz (np. DALL-E).

gradient

Wektor pochodnych częściowych w odniesieniu do wszystkich zmiennych niezależnych. W uczeniu maszynowym gradient jest wektorem częściowych pochodnych funkcji modelu. Gradient wskazuje kierunek najbardziej stromego wzniesienia.

akumulacja gradientu

Technika propagacji wstecznej, w której parametry są aktualizowane tylko raz na epokę, a nie raz na iterację. Po przetworzeniu każdej minizbiorczej akumulacja gradientu aktualizuje łączną liczbę gradientów. Następnie, po przetworzeniu ostatniej miniczęści w epoce, system na koniec aktualizuje parametry na podstawie wszystkich zmian gradientu.

Akumulacja gradientów jest przydatna, gdy rozmiar grupy jest bardzo duży w porównaniu do ilości dostępnej pamięci do trenowania. Gdy pamięć jest problemem, naturalną tendencją jest zmniejszanie wielkości wsadu. Jednak zmniejszenie rozmiaru wsadu przy normalnej propagacji wstecznej zwiększa liczbę aktualizacji parametrów. Akumulacja gradientów pozwala modelowi uniknąć problemów z pamięcią, ale nadal trenuje wydajnie.

drzewa decyzyjne z wzmocnieniem gradientu (GBT),

Rodzaj lasu decyzji, w którym:

• Trenowanie opiera się na wzmacnianiu gradientu.
• Słaby model to drzewo decyzyjne.

wzmocnienie gradientu

Algorytm trenowania, w którym słabe modele są trenowane tak, aby iteracyjnie poprawiały jakość (zmniejszyła utratę) solidnego modelu. Słabym modelem może być na przykład liniowy lub mały model drzewa decyzyjnego. Silny model staje się sumą wszystkich wytrenowanych wcześniej słabych modeli.

W najprostszej formie wzmocnienia gradientem przy każdej iteracji słaby model jest trenowany tak, aby przewidywał gradient straty silnego modelu. Następnie dane wyjściowe mocnego modelu są aktualizowane przez odjęcie przewidywanego gradientu, podobnie jak w przypadku opadania gradientu.

gdzie:

• $F_{0}$ to początkowy solidny model.
• Kolejnym solidnym modelem jest $F_{i+1}$.
• $F_{i}$ to obecny solidny model.
• $\xi$ to wartość z zakresu od 0,0 do 1,0 nazywana kurczeniem, która jest analogiczna do szybkości uczenia się w maleniu gradientowym.
• $f_{i}$ to słaby model wytrenowany do przewidywania gradientu straty $F_{i}$.

Współczesne odmiany wzmocnienia gradientu obejmują też drugą pochodną (hesejską) straty podczas obliczeń.

Drzewa decyzyjne są zwykle używane jako słabe modele do wzmocnienia gradientu. Zobacz drzewa decyzyjne ze wzmocnieniem gradientu.

przycinanie gradientu

Powszechnie stosowany mechanizm łagodzenia problemu z gradientem przez sztuczne ograniczanie (przycinanie) maksymalnej wartości gradientów podczas używania zjawiska gradientu do trenowania modelu.

opadanie gradientowe

Technika matematyczna do zminimalizowania strat. Spadek gradientowy iteracyjnie koryguje wagi i odchylenia, stopniowo znajdując najlepszą kombinację w celu zminimalizowania strat.

Metoda gradientowa jest starsza – znacznie, znacznie starsza niż systemy uczące się.

wykres

Specyfikacja obliczeń w TensorFlow. Węzły na wykresie reprezentują operacje. Krawędzie są kierowane i reprezentują wynik operacji (Tensor) jako argument do innej operacji. Użyj TensorBoard, aby zwizualizować wykres.

wykonanie grafu

Środowisko programistyczne TensorFlow, w którym program najpierw tworzy wykres, a potem wykonuje całość lub część grafu. Wykonanie grafu to domyślny tryb wykonywania w TensorFlow 1.x.

Przeciwieństwem jest wykonanie z zaangażowaniem.

niechętne zasady

W przypadku uczenia przez wzmacnianie zasada, która zawsze wybiera działanie przynoszące największy spodziewany zwrot.

dane podstawowe

Reality show.

Rzecz, która faktycznie się wydarzyła.

Weźmy np. model klasyfikacji binarnej, który umożliwia prognozowanie, czy uczeń pierwszego roku studiów uzyska dyplom w ciągu 6 lat. Podstawowe informacje w tym modelu dotyczą tego, czy uczeń faktycznie ukończył 6 lat.

efekt udziału grupy

Założenie, że jedno jest prawdziwe, dotyczą też wszystkich osób w tej grupie. Efekty odchylenia atrybucji grupowej mogą się pogłębiać, jeśli do zbierania danych używane jest próbkowanie dogodne. W niereprezentatywnej próbie mogą zostać dokonane atrybucje, które nie odzwierciedlają rzeczywistości.

Zobacz też informacje o przesunięciu jednorodności poza grupą i w grupie.

H

halucynacje

Tworzenie wiarygodnie pozornych, ale niepoprawnych pod względem merytorycznym wyników przez model generatywnej AI, który rzekomo tworzy wiarygodność prawdziwego świata. Na przykład generatywny model AI, który twierdzi, że Barack Obama zmarł w 1865 roku, jest zaburzający.

wyliczanie skrótu

W przypadku systemów uczących się mechanizm grupowania danych kategorialnych, zwłaszcza gdy liczba kategorii jest duża, ale liczba kategorii występujących faktycznie w zbiorze danych jest stosunkowo niewielka.

Na przykład na Ziemi rosną około 73 000 gatunków drzew. Możesz przedstawić każdy z 73 tys. gatunków drzew w 73 tys. oddzielnych segmentach. Jeśli natomiast w zbiorze danych znajduje się tylko 200 gatunków drzew, możesz podzielić gatunki drzew na 500 grup, używając haszowania.

Jeden zasobnik może zawierać wiele gatunków drzew. Można na przykład umieścić baobab i klon czerwony – dwa odmienne genetycznie gatunki – w tym samym zasobniku. Niezależnie od tego haszowanie jest nadal dobrym sposobem mapowania dużych zbiorów kategorii na wybraną liczbę zasobników. Haszowanie przekształca cechę kategorialną o dużej liczbie możliwych wartości w znacznie mniejszą liczbę wartości dzięki grupowaniu wartości w deterministyczny sposób.

heurystyka

Proste i szybkie rozwiązanie problemu. Na przykład: „Dzięki metodzie heurystyki osiągnęliśmy dokładność na poziomie 86%. Gdy przeszliśmy na głęboką sieć neuronową, dokładność wzrosła nawet o 98%”.

warstwa ukryta

Warstwa w sieci neuronowej między warstwą wejściową (funkcje) a warstwą wyjściową (prognozą). Każda ukryta warstwa składa się z co najmniej jednego neuronu. Na przykład ta sieć neuronowa zawiera 2 ukryte warstwy, pierwszą z 3 neuronami, a drugą z 2 neuronami:

Głęboka sieć neuronowa zawiera więcej niż 1 ukrytą warstwę. Na przykład poprzednia ilustracja przedstawia głęboką sieć neuronowa, ponieważ model zawiera 2 ukryte warstwy.

grupowanie hierarchiczne

Kategoria algorytmów grupowania, które tworzą drzewo klastrów. Grupowanie hierarchiczne dobrze sprawdza się w przypadku danych hierarchicznych, takich jak taksonomie botaniczne. Istnieją 2 rodzaje algorytmów klastra hierarchicznych:

• Grupowanie agregujące najpierw przypisuje każdy przykład do własnego klastra i iteracyjnie scala najbliższe klastry w celu utworzenia hierarchicznego drzewa.
• Grupowanie dwuskładnikowe polega najpierw na grupowaniu wszystkich przykładów w 1 klaster, a potem potrójnie dzieli klaster na drzewo hierarchiczne.

Przeciwieństwem są grupowanie oparte na centroidach.

utrata zawiasu

Rodzina funkcji straty na potrzeby klasyfikacji, która została zaprojektowana tak, aby znaleźć granicę decyzji jak najbliżej każdego przykładu treningowego, co pozwoli zmaksymalizować margines między przykładami a granicą. Klucze KSVM używają utraty zawiasów (lub powiązanej funkcji, np. kwadratowego zawiasu). W przypadku klasyfikacji binarnej funkcja utraty zawiasów jest zdefiniowana w ten sposób:

gdzie y oznacza etykietę prawdziwą, czyli -1 lub +1, a y' to nieprzetworzony wynik modelu klasyfikatora:

W efekcie wykres utraconych zawiasów w porównaniu z postacią (y * y) wygląda tak:

uprzedzenia historyczne

Rodzaj uprzedzeń, który istnieje już na świecie i został w zbiorze danych. Uprzedzenia często odzwierciedlają istniejące stereotypy kulturowe, nierówności demograficzne i uprzedzenia wobec określonych grup społecznych.

Weźmy na przykład model klasyfikacji, który przewiduje, czy osoba ubiegająca się o kredyt spłaca kredyt, wytrenowany na podstawie historycznych danych o domyślnej wartości kredytu z lat 80. XX wieku pochodzących z lokalnych banków w 2 różnych społecznościach. Jeśli byli kandydaci ze Społeczności A byli 6 razy bardziej skłonni do spłaty pożyczek niż ci ze Społeczności B, model mógł nauczyć się uprzedzeń w przeszłości, co sprawi, że model będzie mniej skłonny do zatwierdzania kredytów w Społeczności A, nawet jeśli warunki historyczne, w wyniku których wyższe odsetki domyślne tej społeczności nie były już istotne.

dane wstrzymane

Przykłady: celowe niewykorzystane („wstrzymane”) podczas szkolenia. Zbiór danych do walidacji i testowy zbiór danych to przykłady danych objętych blokadą. Dane dotyczące wstrzymania pomagają ocenić zdolność modelu do uogólniania na danych innych niż dane, na których został wytrenowany. Utrata na zbiorze wstrzymanym zapewnia lepsze oszacowanie utraty w niewidocznym zbiorze danych niż w zbiorze treningowym.

organizator

Podczas trenowania modelu ML na układach akceleratora (procesorach graficznych lub TPU), części systemu, które sterują obiema tymi elementami:

• Ogólny przepływ kodu.
• Wyodrębnianie i przekształcanie potoku wejściowego.

Host zazwyczaj działa na procesorze, a nie na akceleratorze. Urządzenie manipuluje procesorami w akceleratorze.

hiperparametr

Zmienne, które Ty lub usługa dostrajania hiperparametrów dostosowują podczas kolejnych uruchomień trenowania modelu. Na przykład szybkość uczenia się jest hiperparametrem. Możesz ustawić tempo uczenia się na 0,01 przed jedną sesją trenowania. Jeśli stwierdzisz, że 0,01 to za wysoka wartość, możesz ustawić tempo uczenia się na 0,003 na potrzeby następnej sesji szkoleniowej.

W przeciwieństwie do tego parametry to różne wagi i odchylenia, których model uczy się podczas trenowania.

hiperlane

Granica, która dzieli pokój na 2 podprzestrzenie. Na przykład linia jest hiperplanetą w 2 wymiarach, a płaszczyzna jest hiperplanem w trzech wymiarach. W przypadku uczenia maszynowego hiperlane to granica, która oddziela wielowymiarową przestrzeń. Maszyny wektorowe obsługujące jądra używają hiperpłaszczyzn do oddzielania klas pozytywnych od ujemnych, często w bardzo dużej przestrzeni.

I

i

Skrót oznaczający dystrybucję niezależną i identycznie.

rozpoznawanie obrazów

Proces, który klasyfikuje obiekty, wzorce lub pojęcia na obrazie. Rozpoznawanie obrazów jest też nazywane klasyfikacją obrazów.

Więcej informacji znajdziesz w artykule o ML Practicum: Image Classification.

niezrównoważony zbiór danych

Synonim zbioru danych o nierównowadze klas.

nieświadome uprzedzenia

Automatyczne tworzenie skojarzeń lub założeń na podstawie modeli umysłu i wspomnień. Nieświadome uprzedzenia mogą wpływać na:

• Jak dane są zbierane i klasyfikowane.
• Jak są projektowane i rozwijane systemy uczące się.

Na przykład, tworząc klasyfikator do rozpoznawania zdjęć ślubnych, inżynier może wykorzystać obecność na zdjęciu białej sukni jako elementu. Białe suknie były jednak w niektórych epokach i kulturach zwyczajowe.

Zobacz też odchylenie potwierdzenia.

przypisywanie udziału w konwersji

Skrót w postaci metody określania wartości.

niezgodność wskaźników obiektywności

Założenie, że niektóre pojęcia sprawiedliwości są wzajemnie niezgodne i nie można zrealizować ich jednocześnie. W rezultacie nie ma jednego uniwersalnego wskaźnika do ilościowej oceny obiektywności, który można zastosować do wszystkich problemów z systemami uczącymi się.

Chociaż może to wydawać się zniechęcające, niezgodność wskaźników obiektywności nie oznacza, że wysiłki związane z uczciwością są bezcelowe. Zamiast tego sugeruje, że w przypadku danego problemu ML należy zdefiniować obiektywność w kontekście w celu zapobiegania szkodom związanym z konkretnymi przypadkami użycia.

Bardziej szczegółowe informacje na ten temat znajdziesz w sekcji „Kwestia braku możliwości obiektywności”.

uczenie się w kontekście

Synonim promptów typu „few-shot”.

są rozkładane niezależnie i identycznie (np.)

Dane pobrane z rozkładu, który nie zmienia się i gdzie każda wartość nie zależy od wartości, które zostały wcześniej narysowane. i.i.d. to gaz idealny systemów uczących się – przydatny konstrukt matematyczny, który niemal nigdy nie pojawia się w prawdziwym świecie. Na przykład rozkład użytkowników strony internetowej może być jednostkowy w krótkim przedziale czasu, tzn. rozkład nie zmienia się w tym krótkim okresie, a wizyta jednej osoby jest zasadniczo niezależna od wizyty innej osoby. Jeśli jednak rozszerzysz zakres czasu, mogą pojawić się sezonowe różnice w liczbie użytkowników strony.

Zobacz też artykuł o niestacjonarności.

obiektywność indywidualna

Wskaźnik obiektywności, który sprawdza, czy podobne osoby są klasyfikowane podobnie. Akademia Brobdingnagian może na przykład chcieć zapewnić uczciwość poszczególnych uczniów, dając pewność, że 2 uczniów z identycznymi ocenami i ustandaryzowanymi wynikami z testu wyższego poziomu zdobędą równe szanse na przyjęcie do programu.

Pamiętaj, że obiektywność w każdym przypadku zależy całkowicie od tego, jak zdefiniujesz „podobieństwo” (w tym przypadku od ocen i wyników testów), dlatego jeśli w danych o podobieństwie brakuje ważnych informacji (np. ze względu na rygorystyczny program nauczania), istnieje ryzyko pojawienia się nowych problemów związanych z obiektywnością.

Bardziej szczegółowe informacje na temat obiektywności indywidualnej znajdziesz w sekcji „Sprawiedliwość przez świadomość”.

wnioskowanie

W przypadku systemów uczących się proces prognozowania przez zastosowanie wytrenowanego modelu do przykładów bez etykiet.

Wnioskowanie ma w statystykach nieco inne znaczenie. Szczegółowe informacje znajdziesz w artykule w Wikipedii o wnioskowaniu statystycznym.

ścieżka wnioskowania

W drzewie decyzyjnych, podczas wnioskowania, trasa, którą dany przykład przechodzi od katalogu głównego do innych warunków, kończy się liściem. Na przykład w tym drzewie decyzyjnym grubsze strzałki oznaczają ścieżkę wnioskowania z tymi wartościami cech:

• x = 7
• y = 12
• Z = -3

Ścieżka wnioskowania na ilustracji poniżej przechodzi przez 3 warunki, zanim dotrze do liścia (Zeta).

Trzy grube strzałki wskazują ścieżkę wnioskowania.

zdobycie informacji

W lasach decyzji różnica między entropią węzła a ważoną (według liczby przykładów) sumą entropii jego węzłów podrzędnych. Entropia węzła to entropia przykładów w tym węźle.

Weźmy na przykład te wartości entropii:

• entropia węzła nadrzędnego = 0,6
• entropia jednego węzła podrzędnego z 16 odpowiednimi przykładami = 0,2
• entropia innego węzła podrzędnego z 24 odpowiednimi przykładami = 0,1

Dlatego 40% przykładów znajduje się w jednym węźle podrzędnym, a 60% w drugim. Dlatego:

• ważona suma entropii węzłów podrzędnych = (0,4 * 0,2) + (0,6 * 0,1) = 0,14

Uzyskanie informacji jest więc takie:

• wzrost informacji = entropia węzła nadrzędnego - ważona suma entropii węzłów podrzędnych
• wzmocnienie informacji = 0,6 - 0,14 = 0,46

Większość rozdzielaczy ma na celu stworzenie warunków, które pozwalają zmaksymalizować ilość informacji.

efekt w grupie

Pokazanie stronniczości własnej grupy lub własnych cech. Jeśli testerzy lub osoby oceniające należą do znajomych, rodziny lub współpracowników dewelopera systemów uczących się, tendencyjność w grupie może unieważnić testowanie usług lub zbiór danych.

Błąd ten to rodzaj uprzedzenia w grupie. Zobacz też dyskretne podejście do jednorodności poza grupą.

generator danych wejściowych

Mechanizm, za pomocą którego dane są wczytywane do sieci neuronowej.

Generator danych wejściowych można sobie wyobrazić jako komponent odpowiedzialny za przetwarzanie nieprzetworzonych danych w tensory, które są powtarzane w celu generowania wsadów do trenowania, oceny i wnioskowania.

warstwa wejściowa

Warstwa sieci neuronowej zawierającej wektor cech. Oznacza to, że warstwa wejściowa zawiera przykłady do trenowania lub wnioskowania. Na przykład warstwa wejściowa w poniższej sieci neuronowej składa się z 2 cech:

stan w zestawie

W drzewie decyzji: warunek, który sprawdza obecność jednego elementu w zestawie. Oto przykładowy warunek w zestawie:

  house-style in [tudor, colonial, cape]

Jeśli podczas wnioskowania wartość cechy w stylu domu to tudor, colonial lub cape, ten warunek przyjmuje wartość Tak. Jeśli wartość obiektu w stylu domu jest inna (np. ranch), ten warunek przyjmuje wartość Nie.

Skonfigurowane warunki zapewniają zwykle bardziej efektywne drzewa decyzyjne niż warunki, które testują funkcje zakodowane jeden gorąco.

instancja

Synonim wyrażenia przykład.

dostrajanie instrukcji

Forma dostrajania, która zwiększa zdolność modelu generatywnej AI do przestrzegania instrukcji. Dostrajanie instrukcji obejmuje trenowanie modelu na podstawie serii promptów instruktażowych, które zwykle obejmują szeroką gamę zadań. Powstały w ten sposób model dostrojony do instrukcji generuje zwykle przydatne odpowiedzi na prompty typu „zero-shot” w różnych zadaniach.

Porównaj z:

• dostrajanie energetyczne
• dostrajanie promptów

interpretowalność

Umiejętność wyjaśnienia lub przedstawienia wnioskowania modelu ML w zrozumiały sposób dla człowieka.

Na przykład większość modeli regresji liniowej można bardzo łatwo interpretować. (Wystarczy wziąć pod uwagę wytrenowane wagi dla każdej funkcji). Lasy decyzyjne są też bardzo czytelne. Niektóre modele wymagają jednak bardziej skomplikowanej wizualizacji, aby mogły być interpretowalne.

Do interpretacji modeli ML możesz używać narzędzia Learning Interpretability Tool (LIT).

umowa międzyocenowa

Pomiar częstotliwości, z jaką weryfikatorzy zgadzają się podczas wykonywania zadania. Jeśli oceniający się nie zgadzają, konieczne może być ulepszenie instrukcji dotyczących zadania. Czasami jest też nazywana umową międzyautorami adnotacji lub wiarygodnością między Oceniami. Zobacz też kappa Cohena, czyli jedną z najpopularniejszych metod pomiaru w ramach umów między operatorami.

przecięcie zbiorów (IoU)

Przecięcie dwóch zbiorów podzielone przez ich sumę. W zadaniach związanych z wykrywaniem obrazów w systemach uczących się współczynnik IoU jest używany do pomiaru dokładności przewidywanej ramki ograniczającej modelu w odniesieniu do ramki ograniczającej ground-truth. W tym przypadku IoU dla 2 ramek to stosunek między nakładającym się obszarem a całkowitym obszarem, a jego wartości mieszczą się w zakresie od 0 (brak nakładania się przewidywanej ramki ograniczającej i ramki ograniczającej dane podstawowe) do 1 (przewidywana ramka ograniczająca i ramka ograniczająca dane podstawowe (ground truth) mają dokładnie takie same współrzędne).

Oto przykład:

• Przewidywana ramka ograniczająca (współrzędne wyznaczające miejsce, w którym model przewiduje, gdzie znajduje się tabela nocna na obrazie) jest zaznaczona na fioletowo.
• Ramka ograniczająca dane podstawowe (współrzędne określające miejsce, w którym faktycznie znajduje się nocna tabela na obrazie) jest zaznaczona na zielono.

W tym przypadku przecięcie ramek ograniczających dla prognozy i danych podstawowych (ground truth) (poniżej po lewej) wynosi 1, a suma ramek ograniczających prognozy i danych podstawowych (poniżej po prawej) wynosi 7, więc IoU wynosi \(\frac{1}{7}\).

IoU

Skrót oznaczający przecięcie nad sumą.

macierz elementów

W systemach rekomendacji jest to macierz wektorów osadzonych wygenerowana przez rozłożenie macierzy, która zawiera utajone sygnały dotyczące każdego elementu. Każdy wiersz macierzy elementów zawiera wartość jednej funkcji utajonej dla wszystkich elementów. Weźmy na przykład system rekomendacji filmów. Każda kolumna w tablicy elementów odpowiada jednemu filmowi. Utajnione sygnały mogą reprezentować gatunki lub być trudniejsze do zinterpretowania, ponieważ obejmują złożone interakcje między gatunkiem, gwiazdami, wiekiem filmu i innymi czynnikami.

Macierz elementów zawiera tę samą liczbę kolumn co macierz docelowy uwzględniana na czynniki. Na przykład w systemie rekomendacji filmów, który ocenia 10 000 tytułów filmów, tablica elementów będzie miała 10 000 kolumn.

items

w systemie rekomendacji, czyli encje rekomendowane przez system. Na przykład filmy to produkty polecane w sklepie z wideo, a książki to pozycje polecane przez księgarnię.

iteracja

Pojedyncza aktualizacja parametrów modelu – jego wag i odchyleń – podczas trenowania. Rozmiar wsadu określa, ile przykładów przetwarza model w jednej iteracji. Jeśli na przykład rozmiar wsadu to 20, model przetwarza 20 przykładów przed dostosowaniem parametrów.

Podczas trenowania sieci neuronowej pojedyncza iteracja obejmuje 2 następujące karty:

1. Przekazywanie dalej w celu oceny straty w jednej wsadzie.
2. Przekazywanie wsteczne (propagacja wsteczna), które pozwala dostosować parametry modelu na podstawie utraty i tempa uczenia się.

J

JAX

Tablicowa biblioteka obliczeniowa łącząca XLA (Accelerated Linear Algebra) i automatyczne różnicowanie na potrzeby obliczeń numerycznych o dużej mocy. JAX udostępnia prosty i zaawansowany interfejs API do pisania przyspieszonego kodu liczbowego z możliwością kompozycyjnego przekształcenia. JAX udostępnia takie funkcje jak:

• grad (automatyczne rozróżnianie)
• jit (kompilacja w sam raz)
• vmap (automatyczna wektoryzacja lub grupowanie)
• pmap (równoległe)

JAX to język do wyrażania i komponowania przekształceń kodu liczbowego. Jest to język analogiczny – ale znacznie szerszy – do biblioteki Pythona NumPy. (Biblioteka .numpy w języku JAX to funkcjonalna, ale całkowicie przepisana wersja biblioteki Python NumPy).

JAX doskonale nadaje się do przyspieszenia wielu zadań związanych z systemami uczącymi się, ponieważ przekształca modele i dane w formę odpowiednią do obsługi równoległego działania w przypadku układów GPU i układów akceleratora TPU.

Biblioteki JAX, takich jak Flax, Optax, Pax i wiele innych, są oparte na infrastrukturze JAX.

K

Keras

Popularny interfejs API systemów uczących się w języku Python. Keras korzysta z kilku platform deep learning, w tym TensorFlow, gdzie jest dostępny jako tf.keras.

Maszyny wektorowe obsługujące jądra (KSVM)

Algorytm klasyfikacji, który ma na celu zmaksymalizowanie granicy między klasami pozytywnymi i ujemnymi przez mapowanie wektorów danych wejściowych na przestrzeń wyższą wymiarową. Rozważmy np. problem klasyfikacji, w którym wejściowy zbiór danych zawiera 100 funkcji. Aby zmaksymalizować barierę między klasami dodatnimi i negatywnymi, KSVM może wewnętrznie zmapować te cechy na milion wymiarów. Serwery KSVM korzystają z funkcji utraty o nazwie Utrata zawiasów.

najważniejsze punkty

Współrzędne konkretnych cech na zdjęciu. Na przykład w modelu rozpoznawania obrazów, który odróżnia gatunki kwiatów, kluczowe punkty mogą być środkiem każdego płatka, łodygi, pręciora itd.

krzyżowa walidacja krzyżowa

Algorytm do prognozowania zdolności modelu do uogólniania nowych danych. Zapis k w części strony widocznej po przewinięciu odnosi się do liczby równych grup, na które dzielisz przykłady zbioru danych, czyli trenujesz i testujesz model k razy. W każdej rundzie trenowania i testowania inna grupa jest zbiorem testowym, a wszystkie pozostałe grupy stają się zbiorem treningowym. Po k rundach trenowania i testów obliczasz średnie i standardowe odchylenie wybranych danych testowych.

Załóżmy na przykład, że Twój zbiór danych składa się ze 120 przykładów. Załóżmy też, że ustawiasz k na 4. Dlatego po przetasowaniu danych należy podzielić zbiór danych na 4 równe grupy po 30 przykładów i przeprowadzić 4 rundy trenowania/testu:

Na przykład średni kwadrat błędu (MSE) może być najistotniejszym wskaźnikiem do zastosowania w modelu regresji liniowej. W związku z tym uzyskasz średnie i odchylenie standardowe MSE we wszystkich 4 rundach.

średnie k

Popularny algorytm klastrowania, który grupuje przykłady w uczeniu nienadzorowanym. Algorytm k-średnich działa w taki sposób:

• Iteratywnie określa najlepsze punkty środkowe wartości K (znane jako centroidy).
• Przypisuje każdy przykład do najbliższego centroidu. Przykłady, które są najbliższe temu samemu centroidowi, należą do tej samej grupy.

Algorytm k-średni wybiera lokalizacje centroidów, by zminimalizować skumulowany kwadrat odległości od każdego przykładu do jego najbliższego centroidu.

Weźmy na przykład taki wykres przedstawiający wysokość psa i jego szerokość:

Jeśli k=3, algorytm k-średniów określi trzy centroidy. Każdy przykład jest przypisany do najbliższego centroidu, co daje 3 grupy:

Załóżmy, że producent chce określić idealne rozmiary dla małych, średnich i dużych swetrów dla psów. Te 3 centroidy określają średnią wysokość i średnią szerokość każdego psa w tej gromadzie. Producent powinien więc prawdopodobnie bazować na tych 3 centroidach. Pamiętaj, że centroid klastra zwykle nie jest przykładem klastra.

Poprzednie ilustracje przedstawiają wartości k-średnie w przykładach z 2 cechami (wysokość i szerokość). Pamiętaj, że k-średnie mogą grupować przykłady dla wielu funkcji.

mediana k

Algorytm grupowania ściśle powiązany z parametrami k-średnie. Praktyczna różnica między nimi jest następująca:

• W k-średnich centroidy określa się przez zminimalizowanie sumy kwadratów odległości między kandydującym do centroidu a każdym z jego przykładów.
• W k-medianie centroidy są określane przez zminimalizowanie sumy odległości między kandydatem do centroidu a każdym jego przykładem.

Pamiętaj, że definicje odległości są też inne:

• Wartości k-średnich opierają się na odległości euklidesowej od środka środkowego do przykładu. (W 2 wymiarach odległość euklidesowa oznacza twierdzenie Pitagorasa przy obliczaniu przeciwprostokątnej). Na przykład odległość k-średnia między (2,2) a (5,-2) będzie wyglądać tak:

• Wartość k-mediana zależy od odległości Manhattanu od centroidu do przykładu. Ta odległość to suma wartości bezwzględnych delta każdego wymiaru. Na przykład odległość k-mediana między (2,2) a (5,-2) będzie wyglądać tak:

L

Regularyzacja L₀

Rodzaj regularizacji, który egzekwuje łączną liczbę wag innych niż zero w modelu. Na przykład model, który ma 11 wag niezerowych, podlega większej sankcji niż podobny model mający 10 wag niezerowych.

Regularyzacja L₀ jest czasami nazywana regulacją normy L0.

Strata L₁

Funkcja straty, która oblicza wartość bezwzględną różnicy między rzeczywistymi wartościami etykiety a wartościami prognozowanymi przez model. Tak na przykład obliczono stratę L₁ dla zbiorczej z 5 przykładów:

Utrata L₁ jest mniej czuła na wartości odstające niż straty L₂.

Średni błąd bezwzględny to średnia strata L₁ na przykład.

Regularyzacja L₁

Rodzaj regularizacji, który powoduje nałożenie wag proporcjonalnie do sumy ich wartości bezwzględnych. Regularyzacja L₁ pomaga przypisywać wagę nieistotnych lub mało trafnych funkcji do dokładnie 0. Cecha o wadze 0 zostaje skutecznie usunięta z modelu.

Różnica z L₂ regularyzacją.

Strata L₂

Funkcja straty, która oblicza kwadrat różnicy między rzeczywistymi wartościami etykiety a wartościami prognozowanymi przez model. Tak na przykład obliczono stratę L₂ dla zbiorczej z 5 przykładów:

Z powodu kwadratów strata L₂ zwiększa wpływ wartości odstających. Oznacza to, że strata L₂ reaguje silniej na błędne prognozy niż L₁. Na przykład utrata L₁ w przypadku poprzedniego wsadu wynosi 8, a nie 16. Zwróć uwagę, że jedna wartość odstająca obejmuje 9 z 16.

Modele regresji zwykle używają jako funkcji utraty funkcji utraty L₂.

Błąd średniej kwadratowej to średnia utrata L₂ na przykład. Utrata kwadratowa to inna nazwa straty L₂.

Regularyzacja L₂

Rodzaj regularizacji, który powoduje nakładanie kar na wagi proporcjonalnie do ich sumy kwadratów. Regularyzacja L₂ pomaga uzyskać wagi odstające (które mają wysokie lub niskie wartości ujemne) przybliżone do 0, ale nie do 0. Cechy o wartościach bardzo zbliżonych do 0 pozostają w modelu, ale nie wpływają w dużym stopniu na prognozę modelu.

Regularyzacja L₂ zawsze poprawia uogólnianie w modelach liniowych.

Porównaj z L₁ regularyzacją.

etykieta

W nadzorowanych systemach uczących się jest to część przykładu, np. „odpowiedź” lub „wynik”.

Każdy przykład oznaczony etykietą składa się z co najmniej 1 funkcji i etykiety. Na przykład w zbiorze danych do wykrywania spamu etykieta miałaby prawdopodobnie postać „spam” lub „nie spam”. W zbiorze danych o deszczach etykietą może być ilość opadów, które spadły w danym okresie.

przykład z etykietami

Przykład zawierający co najmniej 1 funkcję i etykietę. Na przykład w tabeli poniżej znajdują się 3 przykłady oznaczone etykietami z modelu wyceny autoreklamy, z których każdy ma 3 cechy i 1 etykietę:

W nadzorowanych systemach uczących się modele trenują na przykładach oznaczonych etykietami i generują prognozy na przykładach bez etykiet.

Przykład oznaczony kontrastem z przykładami bez etykiet.

wyciek etykiet

Błąd w projekcie modelu, w którym funkcja jest pośrednikiem dla etykiety. Weźmy np. model klasyfikacji binarnej do prognozowania, czy potencjalny klient zakupi określony produkt. Załóżmy, że jedna z cech modelu jest wartością logiczną o nazwie SpokeToCustomerAgent. Dodatkowo załóżmy, że klient klienta jest przypisywany dopiero po zakupie produktu przez potencjalnego klienta. Podczas trenowania model szybko nauczy się powiązania między elementem SpokeToCustomerAgent a etykietą.

lambda

Synonim współczynnika regularyzacji.

Lambda to termin przeciążony. Skupiamy się na definicji tego terminu w ramach regularizacji.

LaMDA (Language Model for Dialogue Applications)

Oparty na Transformerze duży model językowy opracowany przez Google i wytrenowany na dużym zbiorze danych dialogowych, który może generować realistyczne odpowiedzi konwersacyjne.

Omówienie LaMDA: naszej przełomowej technologii konwersacyjnej.

punkty orientacyjne

Synonim punktów kluczowych.

model językowy

model, który szacuje prawdopodobieństwo wystąpienia model lub sekwencji tokenów w dłuższej sekwencji tokenów.

duży model językowy

Termin nieformalny bez dokładnej definicji, zwykle oznaczający model językowy z dużą liczbą parametrów. Niektóre duże modele językowe zawierają ponad 100 miliardów parametrów.

przestrzeń utajona

Synonim terminu umieszczanie miejsca.

warstwa

Zbiór neuronów w sieci neuronowej. Trzy najczęstsze typy warstw to:

• Warstwa wejściowa, która zawiera wartości wszystkich cech.
• Co najmniej jedna ukryta warstwa, która znajduje nieliniowe relacje między obiektami a etykietą.
• Warstwa wyjściowa, która dostarcza prognozy.

Na przykład na ilustracji poniżej przedstawiono sieć neuronowa z 1 warstwą wejściową, 2 ukrytymi warstwami i 1 warstwą wyjściową:

W TensorFlow warstwy są też funkcjami w języku Python, które przyjmują Tensory i opcje konfiguracji jako dane wejściowe i generują inne tensory jako dane wyjściowe.

Warstwy API (tf.layers)

Interfejs TensorFlow API do budowania głębokich sieci neuronowych w postaci warstw. Interfejs Warstwy API umożliwia tworzenie różnych typów warstw, takich jak:

• tf.layers.Dense w przypadku w pełni połączonej warstwy.
• tf.layers.Conv2D w przypadku warstwy splotowej.

Interfejs Warstwy jest zgodny z konwencjami interfejsu API warstw Keraswarstwowymi. Oznacza to, że oprócz innego prefiksu wszystkie funkcje w interfejsie Warstwy mają te same nazwy i podpisy co ich odpowiedniki w interfejsie Keras Layers API.

liść

Dowolny punkt końcowy w drzewie decyzji. W przeciwieństwie do warunku liść nie przeprowadza testu. Możliwy jest raczej liść. Liść jest także węzłem terminala ścieżki wnioskowania.

Na przykład następujące drzewo decyzyjne zawiera 3 liści:

Narzędzie do analizowania interpretowalności (LIT)

Wizualne, interaktywne narzędzie do rozumienia modeli i wizualizacji danych.

Możesz użyć oprogramowania LIT typu open source do interpretacji modeli lub wizualizacji danych tekstowych, graficznych i tabelowych.

tempo uczenia się

Liczba zmiennoprzecinkowa, która informuje algorytm gradientu malejącego, jak silnie ma dostosowywać wagi i odchylenia przy każdej iteracji. Na przykład tempo uczenia się równe 0,3 dostosowuje wagi i odchylenia 3 razy silniej niż tempo uczenia się 0,1.

Tempo uczenia się to kluczowy hiperparametr. Jeśli ustawisz zbyt niskie tempo uczenia się, trenowanie potrwa zbyt długo. Jeśli ustawisz zbyt wysokie tempo uczenia się, gradient gradientowy często ma problem z osiągnięciem zbieżności.

regresja metodą najmniejszych kwadratów

Model regresji liniowej wytrenowany przez minimalizację L₂ straty.

jednostajne

Relacja między co najmniej 2 zmiennymi, którą można przedstawić wyłącznie przez dodawanie i mnożenie.

Wykres zależności liniowej jest linią.

Przeciwieństwem są nieliniowe.

model liniowy

model, który przypisuje jedną model do każdej model na potrzeby model. (Modele liniowe uwzględniają też uprzedzenia). W przeciwieństwie do tego relacja cech z prognozami w modelach szczegółowych jest zasadniczo nieliniowa.

Modele liniowe są zwykle łatwiejsze do wytrenowania i bardziej interpretowalne niż modele precyzyjne. Modele głębokie mogą jednak uczyć się złożonych relacji między cechami.

Regresja liniowa i regresja logistyczna to 2 rodzaje modeli liniowych.

y' = 7 + (-2.5)(x1) + (-1.2)(x2) + (1.4)(x3)

y' = 7 + (-2.5)(4) + (-1.2)(-10) + (1.4)(5)
y' = 16

regresja liniowa

Typ modelu systemów uczących się, w którym spełnione są oba te warunki:

• Model jest modelem liniowym.
• Prognoza jest wartością zmiennoprzecinkową. (To jest część regresji w regresji liniowej).

Porównaj regresję liniową z regresją logistyczną. Dodatkowo regresja kontrastowa dzięki klasyfikacji.

LIT

Skrót od terminu Learning Interpretability Tool (LIT), który wcześniej był znany jako narzędzie Language Interpretability Tool.

LLM

Skrót od large model Language (duży model językowy).

regresja logistyczna

Typ modelu regresji, który prognozuje prawdopodobieństwo. Modele regresji logistycznej mają te cechy:

• Etykieta jest kategoryczna. Termin regresja logistyczna zwykle odnosi się do binarnej regresji logistycznej, czyli modelu, który oblicza prawdopodobieństwo dla etykiet z 2 możliwymi wartościami. Mniej popularny wariant, wielomianowa regresja logistyczna, oblicza prawdopodobieństwo dla etykiet z więcej niż 2 możliwymi wartościami.
• Funkcja utraty podczas trenowania to Log Loss (Utrata logów). W przypadku etykiet z więcej niż 2 możliwymi wartościami możesz równolegle umieścić wiele jednostek utraty logów.
• Model ma architekturę liniową, a nie głęboką sieć neuronowa. Pozostała część tej definicji ma jednak też zastosowanie do modeli szczegółowych, które prognozują prawdopodobieństwo etykiet kategorialnych.

Weźmy na przykład model regresji logistycznej, który oblicza prawdopodobieństwo, że dane wejściowe e-maile będą spamem lub nie będą spamem. Podczas wnioskowania załóżmy, że model przewiduje 0,72. Model szacuje więc:

• 72% prawdopodobieństwa, że e-mail będzie spamem
• 28% szans, że e-mail nie jest spamem.

Model regresji logistycznej wykorzystuje tę architekturę dwuetapową:

1. Model generuje nieprzetworzoną prognozę (y) przez zastosowanie funkcji liniowej cech wejściowych.
2. Model używa tej nieprzetworzonej prognozy jako danych wejściowych w funkcji sigmoidalnej, która konwertuje nieprzetworzoną prognozę na wartość z zakresu od 0 do 1 (bez tych wartości).

Podobnie jak każdy model regresji, model regresji logistycznej przewiduje liczbę. Jednak zwykle ta liczba staje się częścią modelu klasyfikacji binarnej w ten sposób:

• Jeśli prognozowana liczba jest większa niż próg klasyfikacji, model klasyfikacji binarnej przewiduje klasę pozytywną.
• Jeśli prognozowana liczba jest mniejsza niż próg klasyfikacji, model klasyfikacji binarnej przewiduje klasę ujemną.

logits

Wektor nieprzetworzonych (nieznormalizowanych) prognoz generowanych przez model klasyfikacji, który jest zwykle przekazywany do funkcji normalizacji. Jeśli model rozwiązuje problem z klasyfikacją wieloklasową, logiki zwykle stają się danymi wejściowymi dla funkcji softmax. Funkcja softmax generuje wektor (znormalizowany) prawdopodobieństwa z jedną wartością dla każdej możliwej klasy.

Logarytmiczna funkcja utraty danych

Funkcja utraty używana w regresji logistycznej.

log-odds,

Logarytm prawdopodobieństwa wystąpienia określonego zdarzenia.

Pamięć długoterminowa (LSTM)

Typ komórki w powracającej sieci neuronowej używany do przetwarzania sekwencji danych w aplikacjach takich jak rozpoznawanie pisma odręcznego, tłumaczenie maszynowe i tworzenie napisów do obrazów. Mechanizmy LSTM rozwiązują problem z znikaniem gradientu, który występuje podczas trenowania RNN z powodu długich sekwencji danych, utrzymując historię w stanie pamięci wewnętrznej na podstawie nowych danych wejściowych i kontekstu z poprzednich komórek w RNN.

LoRA

Skrót od terminu Low-Rank Adaptability.

przegrana

Podczas trenowania modelu nadzorowanego jest to miara tego, jak daleko prognoza modelu znajduje się od jego etykiety.

Funkcja straty oblicza stratę.

agregator strat

Typ algorytmu uczenia maszynowego, który poprawia wydajność modelu przez połączenie prognoz wielu modeli i wykorzystanie tych prognoz w 1 prognozie. W rezultacie agregator strat może zmniejszyć wariancję prognoz i poprawić dokładność prognoz.

krzywa straty

Wykres straty jako funkcja liczby iteracji używanych do trenowania. Ten wykres przedstawia typową krzywą utraty:

Krzywe straty pomagają określić, kiedy model jest zbieżny, a kiedy nadmierny.

Krzywe straty mogą wykreślać wszystkie te typy strat:

• utrata szkoleń
• utraty walidacji
• utraty testu

Zobacz też krzywą uogólnienia.

funkcja straty

Podczas trenowania lub testowania funkcja matematyczna, która oblicza stratę w grupie przykładów. Funkcja utraty zwraca mniejszą stratę w przypadku modeli, które generują dobre prognozy niż tych, które generują błędne prognozy.

Celem trenowania jest zwykle zminimalizowanie straty zwracanej przez funkcję utraty.

Istnieje wiele różnych rodzajów funkcji utraty. Wybierz odpowiednią funkcję utraty do rodzaju tworzonego modelu. Na przykład:

• L₂ strata (lub średni kwadrat błędu) to funkcja straty dla regresji liniowej.
• Log Loss to funkcja straty dla regresji logistycznej.

powierzchnia straty

Wykres przedstawiający stosunek wagi do wagi. Spadek gradientowy ma na celu znalezienie ciężarów, w przypadku których powierzchnia straty wynosi lokalne minimum.

Dostosowanie niskiego rankingu (LoRA)

Algorytm do dostrajania efektywności parametrów, który dostraja tylko część parametrów dużego modelu językowego. LoRA zapewnia te korzyści:

• Dostrajanie odbywa się szybciej niż w przypadku technik wymagających dostrajania wszystkich parametrów modelu.
• Zmniejsza koszty obliczeniowe wnioskowania w dostrojonym modelu.

Model dostrojony przy użyciu LoRA utrzymuje lub poprawia jakość prognoz.

LoRA umożliwia korzystanie z wielu wyspecjalizowanych wersji modelu.

Certyfikat LSTM

Skrót od Long Short-Term Memory.

P

systemy uczące się

Program lub system, który trenuje model na podstawie danych wejściowych. Wytrenowany model może tworzyć przydatne prognozy na podstawie nowych (nigdy wcześniej niewidzianych) danych pobranych z tego samego rozkładu, który został użyty do trenowania modelu.

Uczenie maszynowe odnosi się również do dziedziny badań dotyczących tych programów lub systemów.

klasa większości

Jest to częstsza etykieta w zbiorze danych o niezbalansowaniu klasy. Na przykład w zbiorze danych zawierających 99% etykiet negatywnych i 1% pozytywnych te etykiety stanowią większość klasy.

Wskaż kontrast z klasą mniejszości.

Proces podejmowania decyzji Markowa (MDP)

Wykres przedstawiający model podejmowania decyzji, w którym podejmowane są decyzje (lub działania), aby poruszać się po sekwencji stanów przy założeniu, że występuje właściwość Markowa. W ramach uczenia przez wzmacnianie takie przejścia między stanami zwracają liczbową nagrodę.

Właściwość Markowa

Właściwość określonych środowisk, w przypadku których przejście stanów jest całkowicie określone na podstawie informacji wynikających z bieżącego stanu oraz działania agenta.

zamaskowany model językowy

Model językowy, który prognozuje prawdopodobieństwo, że tokeny kandydatów wypełnią puste pola w sekwencji. Na przykład zamaskowany model językowy może obliczyć prawdopodobieństwo dla kandydatów na wyraz, w których zostanie zastąpione podkreślenie w tym zdaniu:

____ w kapeluszu wróciła.

W literaturze zwykle używany jest ciąg „MASK” zamiast podkreślenia. Na przykład:

„MASKA” w kapeluszu wróciła.

Większość współczesnych modeli językowych maskowanych działa dwukierunkowo.

matplotlib

Biblioteka 2D do tworzenia wykresów w Pythonie typu open source. matplotlib pomaga wizualizować różne aspekty systemów uczących się.

rozkład na czynniki w postaci macierzy

W matematyce jest to mechanizm znajdowania macierzy, których iloczyn skalarny przybliża macierz docelową.

W systemach rekomendacji tablica docelowa często zawiera oceny użytkowników dotyczące elementów. Na przykład macierz docelowy systemu rekomendacji filmów może wyglądać mniej więcej tak:

System rekomendacji filmów ma na celu przewidywanie ocen użytkowników filmów bez oceny. Na przykład: czy Użytkownik 1 lubi Czarną Panterę?

Jedną z metod stosowanych w systemach rekomendacji jest użycie rozkładu macierzy do wygenerowania 2 tych macierzy:

• Tablica użytkowników w kształcie liczby użytkowników pomnożona przez liczbę wymiarów wektora dystrybucyjnego.
• Tablica elementów w kształcie liczby wymiarów wektora dystrybucyjnego x liczba elementów.

Na przykład przy użyciu rozkładu macierzy na 3 użytkowników i 5 elementów można uzyskać taką macierz użytkowników i tablicę elementów:

User Matrix                 Item Matrix

1.1   2.3           0.9   0.2   1.4    2.0   1.2
0.6   2.0           1.7   1.2   1.2   -0.1   2.1
2.5   0.5

Iloczyn skalarny macierzy użytkownika i tablicy elementów generuje macierz rekomendacji, która zawiera nie tylko oryginalne oceny użytkowników, ale także prognozy dotyczące filmów, których żaden użytkownik nie widział. Weźmy na przykład ocenę użytkownika 1 Casablanca, która wynosiła 5, 0. Iloczyn skalarny odpowiadający tej komórce w tabeli rekomendacji powinien wynosić około 5, 0 i będzie to:

(1.1 * 0.9) + (2.3 * 1.7) = 4.9

Co ważniejsze, czy Użytkownik 1 lubi Czarną Panterę? Biorąc pod uwagę iloczyn skalarny odpowiadający pierwszemu wierszowi i trzeciej kolumnie, przewidywana ocena to 4,3:

(1.1 * 1.4) + (2.3 * 1.2) = 4.3

Rozkład macierzy zazwyczaj generuje macierz użytkowników i tablicę elementów, które razem są znacznie bardziej zwarte niż macierz docelowy.

Średni błąd bezwzględny (MAE)

Średnia strata na przykład przy zastosowaniu straty L₁. Oblicz średni błąd bezwzględny w ten sposób:

1. Oblicz stratę L₁ dla wsadu.
2. Podziel stratę L₁ przez liczbę przykładów w grupie.

Weźmy np. obliczenie straty L₁ w tej partii składającej się z 5 przykładów:

Zatem strata L₁ wynosi 8, a liczba przykładów to 5. Zatem średni błąd bezwzględny wynosi:

Mean Absolute Error = L1 loss / Number of Examples
Mean Absolute Error = 8/5 = 1.6

Zestawienie średniego błędu bezwzględnego za pomocą błędu średniego do kwadratu i błędu średniej kwadratu pierwiastka.

Błąd średniokwadratowy (MSE)

Średnia strata na przykład przy zastosowaniu straty L₂. Oblicz błąd średni kwadrat w ten sposób:

1. Oblicz stratę L₂ dla wsadu.
2. Podziel stratę L₂ przez liczbę przykładów w grupie.

Weźmy na przykład stratę w tej partii składającej się z 5 przykładów:

W związku z tym błąd średniokwadratowy to:

Mean Squared Error = L2 loss / Number of Examples
Mean Squared Error = 16/5 = 3.2

Średni kwadratowy błąd to popularny optymalizator trenowania, zwłaszcza regresja liniowa.

Skontrastuj średni kwadratowy błąd z średnim błędem bezwzględnym i średnią kwadratem pierwiastka.

TensorFlow Playground używa średniego kwadratowego błędu do obliczania wartości strat.

sieć typu mesh

W programowaniu równoległym w systemach uczących się termin związany z przypisywaniem danych i modelu do układów TPU oraz definiowaniem sposobu fragmentacji lub replikacji tych wartości.

Siatka to termin przeciążony, który może oznaczać:

• Fizyczny układ układów TPU.
• Abstrakcyjny konstrukt logiczny do mapowania danych i modelu na układy TPU.

W obu przypadkach siatka jest określana jako kształt.

metanauka

Podzbiór systemów uczących się, które wykrywają lub ulepszają algorytm uczenia się. System metasystemów uczących się może też wytrenować model tak, aby szybko uczył się nowych zadań na podstawie niewielkiej ilości danych lub na podstawie doświadczenia zdobytego w ramach poprzednich zadań. Algorytmy metalearningu zwykle dążą do:

• Udoskonalaj lub poznawaj samodzielnie opracowane funkcje (takie jak inicjator lub optymalizator).
• zwiększyć wydajność przetwarzania danych i przetwarzania danych.
• Popraw uogólnienie.

Meta-uczenie się jest związane z nauką krótkoterminową.

wskaźnik

Statystyka, na której Ci zależy.

Cel to wskaźnik, który system systemów uczących się próbuje zoptymalizować.

Metrics API (tf.metrics)

Interfejs TensorFlow API do oceny modeli. Na przykład tf.metrics.accuracy określa, jak często prognozy modelu pasują do etykiet.

minizbiorcza

Mały, losowo wybrany podzbiór zbiorczego przetworzonego w jednej cyklu. Rozmiar wsadu małej partii wynosi zwykle od 10 do 1000 przykładów.

Załóżmy np., że cały zbiór treningowy (pełny wsad) składa się z 1000 przykładów. Dodatkowo załóżmy, że rozmiar grupy każdej minigrupy ustawiasz na 20. Dlatego każda iteracja określa stratę na losowych 20 spośród 1000 przykładów, a następnie odpowiednio koryguje wagi i odchylenia.

O wiele efektywniej obliczysz stratę w przypadku miniwsadu niż utrata wszystkich przykładów w pełnym wsadzie.

minizbiorczy spadek stochastyczny z gradientem

Algorytm gradientu opadania, który wykorzystuje miniseryjne. Inaczej mówiąc, małe zbiorowe zestawienie stochastyczne gradientu oszacowuje gradient na podstawie niewielkiego podzbioru danych treningowych. Zwykłe zjawisko gradientu stochastycznego używa niewielkiej partii o rozmiarze 1.

minimalna strata

Funkcja utraty dla generatywnych sieci kontradyktoryjnych oparta na entropii krzyżowej między dystrybucją wygenerowanych danych a danych rzeczywistych.

W pierwszym dokumencie użyto parametru Minimax, aby opisać sieci generatywne.

klasa mniejszościowa

Rzadziej używana etykieta w zbiorze danych o niezbalansowaniu klasy. Na przykład jeśli zbiór danych zawiera 99% etykiet negatywnych i 1% pozytywnych, etykiety dodatnie są klasą mniejszości.

Kontrast z klasą większości.

ML

Skrót od terminu Machine Learning (uczenie maszynowe).

MNIST,

Zbiór danych w domenie publicznej, skompilowany przez LeCun, Cortesa i Burgesa,zawierający 60 tys. obrazów. Każdy obraz przedstawia, jak człowiek ręcznie zapisał konkretną cyfrę od 0 do 9. Każdy obraz jest przechowywany w postaci tablicy liczb całkowitych o wymiarach 28 x 28, gdzie każda liczba całkowita to wartość w skali szarości z zakresu od 0 do 255 włącznie.

MNIST to kanoniczny zbiór danych dla systemów uczących się, często używany do testowania nowych metod. Więcej informacji znajdziesz w bazie danych MNIST Database of Handwritten Digits (baza danych odręcznych cyfr).

modalność

Ogólna kategoria danych. Na przykład liczby, tekst, obrazy, film i dźwięk to 5 różnych modalności.

model

Ogólnie każdy konstrukt matematyczny, który przetwarza dane wejściowe i zwraca dane wyjściowe. Inaczej mówiąc, model to zbiór parametrów i struktury potrzebne systemowi do generowania prognoz. W nadzorowanych systemach uczących się model pobiera przykład jako dane wejściowe i wyraża prognozę jako dane wyjściowe. W nadzorowanych systemach uczących się modele nieco się różnią. Na przykład:

• Model regresji liniowej składa się ze zbioru wag i odchylenia.
• Model sieci neuronowej składa się z tych elementów:
  • Zestaw ukrytych warstw, z których każda zawiera co najmniej 1 neuron.
  • Wagi i uprzedzenia związane z każdym neuronem.
• Model drzewa decyzji składa się z:
  • Kształt drzewa, czyli wzorzec, który łączy warunki i liści.
  • Warunki i opóźnienie.

Model możesz zapisać, przywrócić lub utworzyć jego kopie.

Nienadzorowane systemy uczące się również generują modele, zwykle funkcję, która potrafi zmapować dane wejściowe na najbardziej odpowiedni klaster.

  f(x, y) = 3x -5xy + y2 + 17

def half_of_greater(x, y):
  if (x > y):
    return(x / 2)
  else
    return(y / 2)

pojemność modelu

Złożoność problemów, których model może nauczyć się. Im bardziej złożone są problemy, których może nauczyć się model, tym większa jego wydajność. Wydajność modelu zazwyczaj zwiększa się wraz z liczbą jego parametrów. Formalną definicję klasyfikatora znajdziesz w artykule Wymiar VC.

kaskadowe łączenie modeli

System, który wybiera model idealny dla określonego zapytania wnioskowania.

Wyobraź sobie grupę modeli – od bardzo dużych (z wieloma parametrami) po znacznie mniejsze (znacznie mniej parametrów). Bardzo duże modele zużywają więcej zasobów obliczeniowych w czasie wnioskowania niż mniejsze modele. Jednak bardzo duże modele mogą zwykle wnioskować bardziej złożone żądania niż mniejsze. Kaskadowe łączenie modeli określa złożoność zapytania wnioskowania i wybiera odpowiedni model, który przeprowadzi wnioskowanie. Głównym celem kaskadowania modeli jest zmniejszenie kosztów wnioskowania przez wybranie mniejszych modeli i wybór większego modelu w przypadku bardziej złożonych zapytań.

Załóżmy, że na telefonie działa mały model, a większa jego wersja działa na serwerze zdalnym. Dobry kaskadowy model pozwala zmniejszyć koszty i czas oczekiwania, ponieważ mniejszy model obsługuje proste żądania i wywołuje model zdalny w celu obsługi złożonych żądań.

Zobacz też model routera.

równoległość modelu

Sposób skalowania trenowania lub wnioskowania, który powoduje umieszczenie różnych części jednego model na różnych model. Równoległość modeli umożliwia stosowanie modeli, które są zbyt duże, aby zmieścić się na jednym urządzeniu.

Aby wdrożyć równoległość modelu, system zwykle wykonuje te czynności:

1. Fragmenty (dzielenie) modelu na mniejsze części.
2. Rozdziela trenowanie tych mniejszych części na wiele procesorów. Każdy procesor trenuje własną część modelu.
3. Łączy wyniki w celu utworzenia jednego modelu.

Równoległość modelu spowalnia trenowanie.

Zobacz też artykuł na temat równoległości danych.

model routera

Algorytm, który określa idealny model do wnioskowania w kaskadowym modelu. Model routera to zwykle model systemu uczącego się, który stopniowo uczy się, jak wybrać najlepszy model na potrzeby danych wejściowych. Router modelu może być jednak czasami prostszy, niebędący algorytmem systemów uczących się.

trenowanie modelu

Proces wyboru najlepszego model.

Wykorzystanie chwili

Zaawansowany algorytm przesuwania w postaci gradientu, w którym etap nauki zależy nie tylko od pochodnej obecnego kroku, ale także od pochodnych poprzednich kroków. Przy obliczaniu momentu pędu obliczamy ważoną wykładniczo średnią ruchomą gradientów w czasie, analogicznie do pędu w fizyce. Wykorzystanie chwili sprawia, że nauka nie utknie w lokalnej minima.

klasyfikacja wieloklasowa

W uczeniu nadzorowanym problem z klasyfikacją, w którym zbiór danych zawiera więcej niż 2 klasy etykiet. Na przykład etykiety w zbiorze danych Iris muszą być jedną z tych 3 klas:

• Irys setosa
• Irys wirginica
• Irys w wersji versicolor

Model wytrenowany na zbiorze danych Iris, który prognozuje typ przesłony na nowych przykładach, wykonuje klasyfikację wieloklasową.

W przeciwieństwie do problemów z klasyfikacją, które rozróżniają dokładnie 2 klasy, są to modele klasyfikacji binarnej. Na przykład model poczty e-mail, który prognozuje spam lub nie spam, jest modelem klasyfikacji binarnej.

W przypadku problemów grupowania klasyfikacja wieloklasowa odnosi się do więcej niż 2 klastrów.

wieloklasowa regresja logistyczna

Użycie regresji logistycznej w problemach z klasyfikacją wieloklasową.

wielogłowa autouwaga

Rozszerzenie samouważności, które stosuje mechanizm samouważności wielokrotnie w przypadku każdej pozycji w sekwencji wejściowej.

W projekcie Transformers wprowadzono wielogłową funkcję autopilnowania.

model multimodalny

Model, którego dane wejściowe lub wyjściowe zawierają więcej niż 1 modalność. Rozważmy na przykład model, w którym funkcje zawierają zarówno obraz, jak i podpisy tekstowe (2 modalności) i zwraca wynik wskazujący, w jakim stopniu podpis tekstowy pasuje do obrazu. Dane wejściowe tego modelu są multimodalne, a dane wyjściowe są jednomodalne.

klasyfikacja wielomianowa

Synonim klasyfikacji wieloklasowej.

regresja wielomianowa

Synonim wieloklasowej regresji logistycznej.

wielozadaniowość

Technika systemów uczących się, w której jeden model jest wytrenowany do wykonywania wielu zadań.

Modele wielozadaniowe są tworzone przez trenowanie na danych odpowiednich do poszczególnych zadań. Dzięki temu model może nauczyć się współdzielić informacje między zadaniami, co usprawnia jego uczenie się.

Model wytrenowany pod kątem wielu zadań często ma lepsze możliwości uogólniania i może lepiej obsługiwać różne rodzaje danych.

N

Trap NaN

Gdy jedna liczba w modelu staje się podczas trenowania NaN, co powoduje, że wiele lub wszystkie pozostałe liczby w modelu zmieniają się w NaN.

NaN to skrót od Not a Number.

rozumienie języka naturalnego

Określanie zamiarów użytkownika na podstawie tego, co wpisał lub powiedział. Na przykład wyszukiwarka używa rozumienia języka naturalnego, aby określić, czego szuka użytkownik, na podstawie tego, co wpisał lub powiedział.

klasa negatywna

W klasyfikacji binarnej jedna klasa jest określana jako pozytywna, a druga – ujemna. Klasa pozytywna to rzecz lub zdarzenie, które testuje model, a klasa ujemna to druga możliwość. Na przykład:

• Ocena negatywna w teście medycznym może oznaczać, że to nie guz.
• Wykluczona klasa w klasyfikatorze e-mail może mieć stan „Nie spam”.

Wskaż kontrast z klasą pozytywną.

próbkowanie negatywne

Synonim terminu próbkowanie kandydatów.

Neural Architecture Search (NAS)

Technika automatycznego projektowania architektury sieci neuronowej. Algorytmy NAS pozwalają skrócić czas i zasoby niezbędne do wytrenowania sieci neuronowej.

NAS zazwyczaj używa:

• Przestrzeń wyszukiwania, która jest zbiorem możliwych architektur.
• Funkcja sprawności fizycznej, czyli pomiar skuteczności konkretnej architektury w przypadku danego zadania.

Algorytmy NAS często zaczynają od niewielkiego zestawu możliwych architektur i stopniowo rozszerzają przestrzeń wyszukiwania w miarę jak algorytm uczy się więcej o skuteczności architektur. Funkcja sprawności fizycznej bazuje zazwyczaj na wydajności architektury zbioru treningowego, a algorytm jest zazwyczaj trenowany z wykorzystaniem techniki uczenia przez wzmacnianie.

Algorytmy NAS sprawdziły się w wyszukiwaniu architektur o wysokiej wydajności do różnych zadań, takich jak klasyfikacja obrazów, klasyfikacja tekstu i tłumaczenie maszynowe.

sieć neuronowa

model zawierający co najmniej 1 model. Głęboka sieć neuronowa to typ sieci neuronowej, który zawiera więcej niż 1 ukrytą warstwę. Na przykład na diagramie poniżej widać głęboką sieć neuronowa z 2 ukrytymi warstwami.

Każdy neuron w sieci neuronowej łączy się ze wszystkimi węzłami w następnej warstwie. Na przykład na poprzednim diagramie widać, że każdy z 3 neuronów w pierwszej ukrytej warstwie oddzielnie łączy się z obydwoma neuronami w drugiej ukrytej warstwie.

Sieci neuronowe stosowane na komputerach są czasem nazywane sztucznymi sieciami neuronowymi, co pozwala odróżnić je od sieci neuronowych występujących w mózgu i innych układach nerwowych.

Niektóre sieci neuronowe mogą naśladować bardzo złożone nieliniowe relacje między różnymi cechami a etykietą.

Zobacz też splotową sieć neuronowa i powracającą sieć neuronowa.

neuron

W systemach uczących się: odrębna jednostka w ukrytej warstwie sieci neuronowej. Każdy neuron wykonuje takie dwuetapowe działanie:

1. Oblicza sumę ważoną wartości wejściowych pomnożonych przez odpowiednie wagi.
2. Przekazuje sumę ważoną jako dane wejściowe do funkcji aktywacji.

Neuron w pierwszej ukrytej warstwie przyjmuje dane wejściowe z wartości cech w warstwie wejściowej. Neuron w dowolnej ukrytej warstwie poza pierwszą przyjmuje dane wejściowe z neuronów z poprzedniej ukrytej warstwy. Na przykład neuron w drugiej ukrytej warstwie przyjmuje dane wejściowe od neuronów z pierwszej ukrytej warstwy.

Na ilustracji poniżej przedstawiono 2 neurony i ich dane wejściowe.

Neuron w sieci neuronowej naśladuje zachowanie neuronów w mózgu i innych częściach układów nerwowych.

N-gram

Uporządkowana sekwencja N słów. Na przykład naprawdę do szaleństwa to 2 gramy. Kolejność ma znaczenie, więc sztucznie to nie to samo co niesamowite.

Wiele modeli rozumienia języka naturalnego korzysta z N-gramów do przewidywania następnego słowa, które użytkownik wpisał lub powie. Załóżmy na przykład, że użytkownik wpisał three blind (3 niewidome). Model NLU oparty na trygramach prawdopodobnie przewidywałby, że użytkownik w następnym przypadku wpisze myszy.

Porównaj n-gramy z torem słów, które są nieuporządkowanymi zestawami słów.

NLU

Skrót od naturalnego rozumienia.

węzeł (drzewo decyzji)

W drzewie decyzji dowolny warunek lub liść.

węzeł (sieć neuronowa)

Neuron w ukrytej warstwie.

węzeł (wykres TensorFlow)

Operacja na wykresie TensorFlow.

szum

Ogólnie rzecz biorąc, wszystko, co zasłania sygnał w zbiorze danych. Szum można wprowadzić do danych na różne sposoby. Na przykład:

• Weryfikatorzy popełniają błędy w oznaczaniu.
• Ludzie i instrumenty błędnie rejestrują lub pomijają wartości cech.

niebinarny warunek

Warunek obejmujący więcej niż 2 możliwe wyniki. Na przykład ten warunek niebinarny ma 3 możliwe rezultaty:

nieliniowy

Relacja między co najmniej 2 zmiennymi, której nie można przedstawić wyłącznie poprzez dodawanie i mnożenie. Relacja linearna może być przedstawiona w postaci linii. Relacja nieliniowa nie może być reprezentowana jako linia. Rozważmy np. 2 modele, z których każdy wiąże pojedynczą cechę z 1 etykietą. Model po lewej stronie jest liniowy, a po prawej – nieliniowy:

efekt braku odpowiedzi

Zobacz Błąd doboru.

niestacjonarny

Cecha, której wartości zmieniają się w przypadku jednego lub kilku wymiarów, zwykle w czasie. Rozważmy na przykład te przykłady niestacjonarności:

• Liczba kostiumów kąpielowych sprzedawanych w danym sklepie różni się w zależności od pory roku.
• Ilość konkretnych owoców zebranych w danym regionie wynosi zero przez większą część roku, ale przez krótki okres jest wysoka.
• Z powodu zmian klimatycznych średnia roczna temperatura się zmienia.

Przeciwieństwem jest stacjonarność.

normalizacja

Ogólnie rzecz biorąc, proces konwertowania rzeczywistego zakresu wartości zmiennej na standardowy zakres wartości, taki jak:

• Od -1 do +1
• Od 0 do 1
• rozkład normalny

Załóżmy na przykład, że rzeczywisty zakres wartości określonej cechy wynosi od 800 do 2400. W ramach inżynierii funkcji możesz znormalizować rzeczywiste wartości do standardowego zakresu, np. od -1 do +1.

Normalizacja jest częstym zadaniem w inżynierii cech. Modele zwykle trenują szybciej (i dają lepsze prognozy), gdy każda cecha liczbowa w wektorze cech ma mniej więcej taki sam zakres.

wykrywanie nowości

Proces określania, czy nowy (nowatorski) przykład pochodzi z tej samej dystrybucji co zestaw treningowy. Inaczej mówiąc, po wytrenowaniu na zbiorze treningowym wykrywanie nowości określa, czy nowy przykład (podczas wnioskowania czy podczas dodatkowego trenowania) jest wyjątkiem.

Przeciwieństwem są wykrywanie wyników odstających.

dane liczbowe

Funkcje reprezentowane w postaci liczb całkowitych lub liczb rzeczywistych. Na przykład model wyceny domu przedstawiałby prawdopodobnie rozmiar domu (w stopach kwadratowych lub metrach kwadratowych) jako dane liczbowe. Prezentowanie cechy jako danych liczbowych wskazuje, że jej wartości mają związek z etykietą matematyczną. Oznacza to, że liczba metrów kwadratowych domu ma chyba związek matematyczny z wartością domu.

Nie wszystkie dane całkowite powinny być przedstawiane jako dane liczbowe. Na przykład kody pocztowe w niektórych częściach świata są liczbami całkowitymi, ale w modelach nie należy ich podawać jako danych liczbowych. Dzieje się tak dlatego, że kod pocztowy 20000 nie jest dwa (lub o połowę) wyższy niż kod pocztowy 10000. Poza tym chociaż różne kody pocztowe wiążą się z różnymi wartościami dotyczącymi nieruchomości, nie możemy zakładać, że wartości nieruchomości dla kodu pocztowego 20000 są 2 razy cenniejsze niż wartości nieruchomości dla kodu pocztowego 10000. Kody pocztowe powinny być zamiast tego jako dane kategorialne.

Cechy liczbowe są czasami nazywane obiektami ciągłymi.

NumPy

Biblioteka matematyczna open source pozwalająca na efektywne operacje tablicowe w Pythonie. pandas jest oparty na NumPy.

O

cel

Wskaźnik, który algorytm próbuje zoptymalizować.

funkcja celu

Wzór matematyczny lub dane, które model ma zoptymalizować. Na przykład funkcja celu dla regresji liniowej to zwykle Średnia kwadratowa strata. Dlatego podczas trenowania modelu regresji liniowej trenowanie ma na celu zminimalizowanie średniej kwadratowej straty.

W niektórych przypadkach celem jest zmaksymalizowanie funkcji celu. Jeśli na przykład funkcją celu jest dokładność, celem jest maksymalizacja dokładności.

Zobacz też strata.

warunek skośny

W drzewie decyzji warunek, który obejmuje więcej niż 1 funkcję. Jeśli na przykład wysokość i szerokość są obiektami, warunek skośny wygląda tak:

  height > width

Porównaj warunek wyrównany do osi.

offline

Synonim słowa statyczny.

wnioskowanie offline

Proces generowania przez model grupy prognoz, a następnie buforowania (zapisywania) tych prognoz. Dzięki temu aplikacje mogą uzyskać dostęp do wywnioskowanej prognozy z pamięci podręcznej, bez ponownego uruchamiania modelu.

Załóżmy np., że mamy model, który co 4 godziny generuje lokalne prognozy pogody. Po każdym uruchomieniu modelu system zapisuje wszystkie lokalne prognozy pogody w pamięci podręcznej. Aplikacje pogodowe pobierają prognozy z pamięci podręcznej.

Wnioskowanie offline nazywane jest też wnioskowaniem statycznym.

Różnica z wnioskowaniem online.

kodowanie one-got

Przedstawianie danych kategorialnych w postaci wektora, w którym:

• Jeden z elementów ma wartość 1.
• Pozostałe elementy mają wartość 0.

Kodowanie jednorazowe jest zwykle stosowane do reprezentowania ciągów znaków lub identyfikatorów, które mają ograniczony zestaw możliwych wartości. Załóżmy na przykład, że cecha kategorialna o nazwie Scandinavia ma 5 możliwych wartości:

• „Dania”
• „Szwecja”
• „Norwegia”
• „Finlandia”
• „Islandia”

Jednokrotne kodowanie może reprezentować każdą z tych 5 wartości w następujący sposób:

Dzięki kodowaniu jednorazowo model może uczyć się różnych połączeń w zależności od kraju.

Przedstawienie cechy jako danych liczbowych jest alternatywą dla kodowania jeden-gorącego. Niestety liczbowe reprezentowanie krajów skandynawskich nie jest dobrym rozwiązaniem. Rozważ na przykład taką reprezentację liczbową:

• „Dania” ma wartość 0
• „Szwecja” ma 1 miejsce
• „Norwegia” ma 2 miejsce
• „Finlandia” ma 3 miejsce
• „Islandia” ma 4 miejsce

Dzięki kodowaniu numerycznemu model matematycznie zinterpretowałby nieprzetworzone liczby i spróbowałby się na nich trenować. Jednak w rzeczywistości Islandia nie jest dwa razy (albo nawet o połowę mniejsza) od Norwegii, więc wyciąganie z modelu dziwnych wniosków.

nauka jednorazowa

Podejście oparte na systemach uczących się, często używane do klasyfikacji obiektów, opracowane do uczenia skutecznych klasyfikatorów na podstawie pojedynczego przykładu trenowania.

Zapoznaj się też z nauką krótkoterminową i nauką typu zero-shot.

prompty jednorazowe

Prompt zawierający 1 przykład pokazujący, jak powinien reagować duży model językowy. Na przykład ten prompt zawiera 1 przykład, który pokazuje duży model językowy, jak powinien odpowiadać na zapytanie.

Wskaż podobieństwa i różnice między promptami jedno-strzałowymi z następującymi terminami:

• prompt typu „zero-shot”.
• krótkie prompty

jeden kontra wszystko

Biorąc pod uwagę problem klasyfikacji z klasami N, rozwiązaniem składającym się z N osobnych klasyfikatorów binarnych – jeden klasyfikator binarny dla każdego możliwego wyniku. Na przykład w modelu, który klasyfikuje przykłady jako produkty zwierzęce, warzywne lub mineralne, rozwiązanie typu „jeden kontra wszystkie” zapewniłoby te 3 osobne klasyfikatory binarne:

• zwierzę czy nie zwierzę
• warzywne czy niewarzywne
• minerał vs. nieminerał

online

Synonim terminu dynamic.

wnioskowanie online

generowanie prognoz na żądanie. Załóżmy na przykład, że aplikacja przekazuje dane wejściowe do modelu i wysyła żądanie prognozy. System wykorzystujący wnioskowanie online odpowiada na żądanie, uruchamiając model (i zwracając prognozę do aplikacji).

Przeciwieństwem są wnioskowanie offline.

operacja (operacja)

W TensorFlow każda procedura, która tworzy, manipuluje lub niszczy obiekt Tensor. Na przykład mnożenie macierzy to operacja, w której dane wejściowe składają się z 2 składników i generują jeden jako dane wyjściowe.

Optax

Biblioteka przetwarzania i optymalizacji gradientów dla języka JAX. Optax ułatwia prowadzenie badań, dostarczając elementy składowe, które można ponownie łączyć w niestandardowe sposoby w celu optymalizacji modeli parametrycznych, takich jak głębokie sieci neuronowe. Inne cele to:

• udostępnianie czytelnych, dobrze przetestowanych i wydajnych implementacji podstawowych komponentów;
• Zwiększenie produktywności przez umożliwienie łączenia składników niskiego poziomu w niestandardowych optymalizatorach (lub innych komponentach przetwarzania gradientu).
• Przyspieszanie wdrażania nowych pomysłów przez ułatwianie zgłaszania się do nich.

optymalizator

Specjalna implementacja algorytmu gradientu gradientu. Popularne optymalizatory to:

• AdaGrad – ADAptive GRADient descent.
• Adam oznacza skrót ADAptive od Momentum.

efekt jednorodności grupy zewnętrznej

To tendencja do postrzegania członków poza grupą jako bardziej podobnych niż w grupie przy porównywaniu postaw, wartości, cech osobowości i innych cech. Określenie w grupie odnosi się do osób, z którymi regularnie się kontaktujesz, a „poza grupą” odnosi się do osób, z którymi nie komunikujesz się regularnie. Jeśli utworzysz zbiór danych z prośbą o podanie atrybutów dotyczących osób spoza grupy, atrybuty te mogą być mniej niuanse i bardziej stereotypowe niż te, które uczestnicy wymieniają w przypadku osób w ich grupie.

Liliputowie mogą na przykład bardzo szczegółowo opisywać domy innych liliputów, powołując się na niewielkie różnice w stylach architektonicznych, oknach, drzwiach i rozmiarach. Ci sami liliputowie mogą jednak po prostu zadeklarować, że wszyscy mieszkańcy Robdingnagii mieszkają w identycznych domach.

Błąd ujednolicania grupy zewnętrznej to forma uprzedzenia atrybucji w grupie.

Zobacz też uprzedzenia w grupie.

wykrywanie wyników odstających

Proces identyfikowania wartości odstających w zbiorze treningowym.

Przeciwieństwem są wykrywanie nowości.

nietypowych danych

Wartości, które są oddalone od większości innych wartości. W przypadku uczenia maszynowego żadne z tych stwierdzeń są odstające:

• Dane wejściowe, których wartości są większe niż mniej więcej 3 odchylenia standardowe od średniej.
• Wagi z wysokimi wartościami bezwzględnymi.
• Prognozowane wartości są stosunkowo oddalone od wartości rzeczywistych.

Załóżmy na przykład, że widget-price jest cechą określonego modelu. Załóżmy, że średnia widget-price to 7 euro z odchyleniem standardowym 1 euro. Przykłady zawierające wartość widget-price w wysokości 12 euro lub 2 euro są więc uznawane za wartości odstające, ponieważ każda z tych cen to 5 standardowych odchyleń od średniej.

Wyniki odstające są często spowodowane literówkami lub innymi błędami w danych wejściowych. W innych przypadkach wartości odstające nie są błędami. W końcu wartości odchyleń o 5 standardowych odchyleń od średniej są w rzeczywistości rzadko, ale są praktycznie niemożliwe.

Wartości odstające często powodują problemy podczas trenowania modelu. Przycinanie to jeden ze sposobów zarządzania elementami odstającymi.

ocena bezpośrednia

Mechanizm oceny jakości lasu decyzyjnego przez przetestowanie każdego drzewa decyzyjnego na podstawie przykładów nieużywanych podczas trenowania danego drzewa decyzyjnego. Na przykład na poniższym diagramie widać, że system trenuje każde drzewo decyzyjne na około 2/3 przykładów, a potem ocenia wyniki względem pozostałej 1/3 przykładów.

Ocena bezpośrednia to wydajna i zachowawcza metoda obliczeniowa, która pozwala oszacować mechanizm weryfikacji krzyżowej. W ramach weryfikacji krzyżowej trenowany jest 1 model na każdą rundę weryfikacji krzyżowej (np. 10 modeli jest trenowanych w ramach 10-krotnej weryfikacji). W przypadku oceny OOB trenowany jest 1 model. Ponieważ bagowanie powoduje wstrzymanie części danych z każdego drzewa podczas trenowania, ocena OOB może wykorzystać te dane do przybliżonej weryfikacji krzyżowej.

warstwa wyjściowa

„Ostatnia” warstwa sieci neuronowej. Warstwa wyjściowa zawiera prognozę.

Na ilustracji poniżej przedstawiono małą głęboką sieć neuronowa z warstwą wejściową, 2 ukrytymi warstwami i warstwą wyjściową:

nadmierne dopasowanie

Utworzenie model, który pasuje do model, tak aby nie przewidywał poprawnych prognoz na podstawie nowych danych.

Regularizowanie może ograniczyć nadmierne dopasowanie. Trening na dużym i zróżnicowanym zestawie treningowym może również ograniczyć nadmierne dopasowanie.

nadmierne próbkowanie

Ponowne wykorzystanie przykładów klasy mniejszości w zbiorze danych niezrównoważonych w klasie, aby utworzyć bardziej zrównoważony zbiór treningowy.

Rozważmy na przykład problem z klasyfikacją binarną, w którym stosunek klasy większości do klasy mniejszości wynosi 5000:1. Jeśli zbiór danych zawiera milion przykładów, oznacza to, że zawiera tylko około 200 przykładów klasy mniejszości. To może być za mało, aby skutecznie trenować. Aby przezwyciężyć ten brak danych, możesz wielokrotnie wykorzystać te 200 przykładów w nadmiernej ilości, co może doprowadzić do uzyskania wystarczającej ilości przykładów do wykorzystania podczas trenowania.

Uważaj, aby nie dopuścić do nadmiernego dopasowania w przypadku nadmiernego próbkowania.

Przeciwieństwem jest niedostateczne próbkowanie.

P

spakowane dane

Metoda bardziej efektywnego przechowywania danych.

Spakowane dane przechowują dane w formacie skompresowanym lub w inny sposób, który umożliwia ich bardziej wydajny dostęp. Spakowane dane minimalizują ilość pamięci i obciążeń obliczeniowych wymaganych do uzyskania do nich dostępu, co prowadzi do szybszego trenowania i wydajniejszego wnioskowania na model.

Dane spakowane są często używane razem z innymi technikami, takimi jak rozszerzanie danych i regularizacja, co dodatkowo zwiększa wydajność modeli.

pandy

Interfejs API analizy danych z orientacją na kolumny oparty na numpy. Wiele platform systemów uczących się, w tym TensorFlow, obsługuje jako dane wejściowe struktury danych Pandas. Więcej informacji znajdziesz w dokumentacji Pandas.

parametr

wagi i odchylenia, których model uczy się podczas trenowania. Na przykład w modelu regresji liniowej parametry składają się z odchylenia (b) i wszystkich wag (w₁, w₂ itd.) w tej formule:

W przeciwieństwie do tego hiperparametr to wartości, które Ty (lub usługa dostrajania hiperparametrów) dostarcza modelowi. Na przykład szybkość uczenia się jest hiperparametrem.

dostrajanie zapewniające wydajność parametrów

Zestaw technik do dostrajania dużego już wytrenowanego modelu językowego (PLM) bardziej wydajnie niż pełne dostrajanie. Dostrajanie z użyciem parametrów zwykle dostosowuje znacznie mniej parametrów niż pełne dostrajanie, ale zwykle tworzy duży model językowy, który działa równie dobrze (lub prawie tak samo dobrze), jak duży model językowy utworzony w ramach pełnego dostrajania.

Porównaj dostrajanie ekonomiczne w zakresie:

• dostrajanie instrukcji
• dostrajanie promptów

Dostrajanie pod kątem wydajności jest też nazywane dostrajaniem energooszczędnym.

Serwer parametrów (PS)

Zadanie, które śledzi parametry modelu w ustawieniu rozproszonym.

aktualizacja parametru

Operacja dostosowywania parametrów modelu podczas trenowania, zwykle w ramach pojedynczej iteracji opadania gradientowego.

pochodna cząstkowa

Pochodna, w której wszystkie zmienne oprócz jednej są uznawane za stałą. Na przykład pochodna cząstkowa funkcji f(x, y) w odniesieniu do x jest pochodną funkcji f uważanej za funkcję funkcji x (tzn. zachowanie stałej y). Częściowa pochodna f w odniesieniu do x skupia się tylko na tym, jak zmienia się x, i ignoruje pozostałe zmienne w równaniu.

efekt uczestnictwa

Synonim uprzedzeń w postaci braku odpowiedzi. Zobacz Błąd doboru.

strategia partycjonowania

Algorytm, według którego zmienne są dzielone między serwery parametrów.

PAX

Platforma programowania przeznaczona do trenowania dużych sieci neuronowych modeli tak dużych, że obejmują one wiele układów akceleratora układów akceleratora wycinków lub podów.

Pax korzysta z platformy Flax, która jest oparta na platformie JAX.

Perceptron

System (sprzęt lub oprogramowanie), który przyjmuje co najmniej jedną wartość wejściową, uruchamia funkcję na ważonej sumie danych wejściowych i przetwarza jedną wartość wyjściową. W przypadku systemów uczących się funkcja jest zwykle nieliniowa, np. ReLU, sigmoid czy tanh. Na przykład poniższy perceptron przetwarza 3 wartości wejściowe przy użyciu funkcji sigmoidalnej:

Na tej ilustracji perceptron pobiera trzy dane wejściowe, z których każdy jest modyfikowany za pomocą wagi przed wprowadzeniem do perceptronu:

Perceptrony to neurony w sieciach neuronowych.

występ

Hasło przeciążone o tym znaczeniu:

• Standardowe znaczenie w inżynierii oprogramowania. Jak szybko (lub efektywnie) działa to oprogramowanie?
• Znaczenie uczenia maszynowego. Skuteczność odpowiada na pytanie: na ile poprawny jest dany model? Czyli jak dobre są prognozy modelu?

znaczenie zmiennej permutacji

Rodzaj zmiennej ważności, który ocenia wzrost błędu prognozy modelu po permutowaniu wartości funkcji. Znaczenie zmiennej permutacji to dane niezależne od modelu.

zakłopotanie

Jedna z miar, jak dobrze model wykonuje swoje zadanie. Załóżmy na przykład, że Twoim zadaniem jest przeczytanie pierwszych kilku liter słowa, które użytkownik wpisuje na klawiaturze telefonu, i przedstawienie listy możliwych do uzupełnienia słów. Niedokładność (P) dla tego zadania to przybliżona liczba odgadań, które musisz podać, aby na liście znalazły się słowa, które użytkownik próbuje wpisać.

Zdezorientowanie jest związane z entropią krzyżową w następujący sposób:

potok

Infrastruktura otaczająca algorytm systemów uczących się. Potok obejmuje gromadzenie danych, umieszczanie ich w plikach danych treningowych, trenowanie co najmniej 1 modelu oraz eksportowanie modeli do środowiska produkcyjnego.

potokowanie

Forma równoległości modelu, w której przetwarzanie modelu jest podzielone na kolejne etapy, a każdy z nich jest wykonywany na innym urządzeniu. Gdy etap przetwarza 1 wsad, poprzedni etap może pracować z kolejnym.

Zobacz też trenowanie etapowe.

pjit

Funkcja JAX, która dzieli kod w celu uruchomienia na wielu układach akceleratora. Użytkownik przekazuje funkcję do pjit, która zwraca funkcję o równoważnej semantyce, ale jest skompilowana w celu obliczenia XLA, który działa na wielu urządzeniach (np. GPU lub TPU).

pjit umożliwia użytkownikom dzielenie obliczeń na fragmenty bez ich przepisywania za pomocą partycjonowania SPMD.

W marcu 2023 r. konto pjit zostało połączone z domeną jit. Więcej informacji znajdziesz w artykule Tablice rozproszone i automatyczna równoległość.

PLM

Skrót od terminu wstępnie wytrenowanego modelu językowego.

Pmap

Funkcja JAX, która wykonuje kopie funkcji wejściowej na wielu bazowych urządzeniach sprzętowych (procesorach, GPU lub procesorach TPU) z różnymi wartościami wejściowymi. pmap korzysta z SPMD.

policy

Podczas uczenia przez wzmacnianie agencji probabilistyczne mapowanie stanów z działań.

grupowanie

Zmniejszanie macierzy (lub macierzy) utworzonych przez wcześniejszą warstwę splotową do mniejszej. Łączenie w ramach zazwyczaj obejmuje wartość maksymalną lub średnią na wspólnym obszarze. Załóżmy na przykład, że mamy taką macierz 3 x 3:

Operacja łączenia, podobnie jak operacja splotowa, dzieli tę macierz na wycinki, a następnie przesuwa tę splotową operację według kroków. Załóżmy na przykład, że operacja grupowania dzieli splotową macierz na wycinki 2 x 2 z krokiem 1 x 1. Jak widać na diagramie poniżej, mają miejsce 4 operacje łączenia. Załóżmy, że każda operacja grupowania wybiera maksymalną wartość z 4 w tym wycinku:

Grupowanie pomaga egzekwować niezmienność translacji w tablicy danych wejściowych.

Łączenie w puli dla aplikacji do rozpoznawania obrazów jest nazywane łączeniem przestrzennym. Aplikacje wykorzystujące ciągi czasowe zwykle nazywają się agregacją tymczasową. Mniej formalnie nazywane jest „podpróbkowaniem” lub „downsamplingiem”.

kodowanie pozycjonujące

Technika dodawania w sekwencji do umieszczania tokena informacji o pozycji tokena. Modele transformerów używają kodowania pozycjonowego, aby lepiej rozumieć zależności między różnymi częściami sekwencji.

Typowa implementacja kodowania pozycyjnego wykorzystuje funkcję sinusoidalną. Częstotliwość i amplituda funkcji sinusoidalnej są określane przez pozycję tokena w sekwencji. Dzięki tej metodzie model Transformer może nauczyć się uwzględniać różne części sekwencji w zależności od ich pozycji.

klasa pozytywna

Zajęcia, których dotyczy test.

Na przykład klasą pozytywną w modelu raka może być „guz”. Pozytywną klasą w klasyfikatorze e-mail może być „spam”.

Ustaw kontrast z klasą ujemną.

obróbka

Dostosowywanie danych wyjściowych modelu po jego uruchomieniu. Za ich pomocą można egzekwować ograniczenia związane z obiektywnością bez konieczności modyfikowania modeli.

Na przykład można zastosować przetwarzanie po przetwarzaniu do klasyfikatora binarnego, ustawiając próg klasyfikacji w taki sposób, aby w przypadku danego atrybutu zachować równość możliwości. W tym celu należy sprawdzić, czy prawdziwie dodatni współczynnik prawdziwie pozytywnych jest taki sam dla wszystkich wartości danego atrybutu.

PR AUC (obszar pod krzywą PR)

Obszar pod interpolowaną krzywą precyzji i czułości uzyskany przez naniesienie punktów (czułości, precyzji) dla różnych wartości progu klasyfikacji. Zależnie od sposobu obliczania PR AUC może być odpowiednikiem średniej precyzji modelu.

Praxis

Podstawowa, wysoko wydajna biblioteka ML Pax. Praxis jest często nazywana „biblioteką warstw”.

Praxis zawiera nie tylko definicje klasy warstwy, ale też większość jej komponentów pomocniczych, w tym:

• dane wejściowe
• biblioteki konfiguracji (HParam i Fiddle)
• optymalizatorów

Praxis podaje definicje klasy modelu.

precyzja

Dane dla modeli klasyfikacji, które odpowiadają na to pytanie:

Jaki odsetek prognoz był poprawny, gdy model przewidział klasę dodatnią?

Oto wzór:

gdzie:

• Wskazuje, że model prawidłowo przewidział klasę pozytywną.
• Wynik fałszywie pozytywny oznacza, że model błędnie przewidział klasę pozytywną.

Załóżmy na przykład, że model dokonał 200 pozytywnych prognoz. Z tych 200 pozytywnych prognoz:

• 150 osób było wynikiem prawdziwie pozytywnych.
• 50 wyników to wynik fałszywie pozytywnych.

W takim przypadku:

Zbadaj dokładność i czułość.

krzywej precyzji i czułości

Krzywa dokładności i czułości przy różnych progach klasyfikacji.

prognoza

Dane wyjściowe modelu. Na przykład:

• Prognoza modelu klasyfikacji binarnej może być klasą pozytywną lub ujemną.
• Prognoza modelu klasyfikacji wieloklasowej to jedna klasa.
• Prognoza modelu regresji liniowej jest liczbą.

efekt prognozy

Wartość wskazująca, jak daleko od średniej odległości prognoz dzieli się od średniej etykiet w zbiorze danych.

Nie należy ich mylić z terminem uprzedzeń stosowanym w modelach systemów uczących się ani z uprzedzeniami w kwestiach etyki i uczciwości.

predykcyjne systemy uczące się

Dowolny standardowy („klasyczny”) system systemów uczących się.

Termin przewidywanie ML nie ma oficjalnej definicji. Termin ten definiuje kategorię systemów ML nie na podstawie generatywnej AI.

parzystość prognozowana

Wskaźnik obiektywności, który sprawdza, czy współczynniki dokładności dla danego klasyfikatora są równoważne w uwzględnianych podgrupach.

Na przykład model, który przewiduje przyjęcie na uczelnię i spełnia prognozowaną parzystość narodowości, jeśli jego wskaźnik precyzji jest taki sam w przypadku liliputów i brobdingnagiów.

Paryfikacja prognozująca jest czasem również nazywana parzystością stawek prognozowanych.

Bardziej szczegółowe informacje o spójności prognozowanej (sekcja 3.2.1) znajdziesz w sekcji „Fairness Definitions Explained” (sekcja 3.2.1).

parytet współczynnika prognozowanego

Inna nazwa parytyczności prognozowanej.

wstępne przetwarzanie

wytrenowany model

Modele lub komponenty modelu (takie jak wektor umieszczania), które zostały już wytrenowane. Czasami przesyłasz do sieci neuronowej już wytrenowane wektory dystrybucyjne. Innym razem model sam trenuje wektory dystrybucyjne, zamiast korzystać z już wytrenowanych wektorów dystrybucyjnych.

Termin wstępnie wytrenowany model językowy odnosi się do dużego modelu językowego, który został sprawdzony przed trenowaniem.

trening wstępny

Wstępne trenowanie modelu na dużym zbiorze danych. Niektóre wytrenowane modele to niezdarne olbrzymy, które trzeba zwykle ulepszyć przez dodatkowe trenowanie. Eksperci ds. systemów uczących się mogą na przykład wstępnie wytrenować duży model językowy na ogromnym zbiorze danych tekstowych, takim jak wszystkie strony w języku angielskim w Wikipedii. Po wstępnym trenowaniu wynikowy model można dopracować za pomocą dowolnej z tych technik:

• destylacja
• dostrajania
• dostrajanie instrukcji
• dostrajanie energetyczne
• dostrajanie promptów

wcześniejsze przekonanie

Twoje przekonania na temat danych przed rozpoczęciem ich trenowania. Na przykład regularyzacja L₂ opiera się na wcześniejszym przekonaniu, że wagi powinny być małe i zwykle rozkładane około zera.

model regresji prawdopodobnej

Model regresji, który wykorzystuje nie tylko wagi poszczególnych cech, ale także ich niepewność. Model regresji prawdopodobnej generuje prognozę i jej niepewność. Na przykład model prawdopodobieństwa regresji może dać prognozę 325 z odchyleniem standardowym o wartości 12. Więcej informacji o modelach regresji prawdopodobnej znajdziesz na tej stronie o Colab na stronietensorflow.org.

funkcja gęstości prawdopodobieństwa

Funkcja, która określa częstotliwość próbek danych mających dokładnie konkretną wartość. Gdy wartości zbioru danych są ciągłymi liczbami zmiennoprzecinkowymi, dopasowania ścisłe rzadko występują. Jednak integrating funkcji gęstości prawdopodobieństwa z wartości x do wartości y daje oczekiwaną częstotliwość próbek danych między x a y.

Załóżmy na przykład, że rozkład normalny ma średnią 200 i odchylenie standardowe 30. Aby określić oczekiwaną częstotliwość próbek danych w zakresie od 211,4 do 218,7, możesz zintegrować funkcję gęstości prawdopodobieństwa dla rozkładu normalnego od 211,4 do 218,7.

prompt

Każdy tekst wpisany jako dane wejściowe dużego modelu językowego w celu uwarunkowania działania modelu w określony sposób. Prompty mogą mieć postać krótkiej frazy lub dowolnej długości (np. całego tekstu powieści). Prompty należą do wielu kategorii, m.in. w tej tabeli:

Model generatywnej AI może odpowiedzieć na prompt za pomocą tekstu, kodu, obrazów, umieszczania treści, filmów...

uczenie się oparte na promptach

Funkcja określonych modeli, która pozwala im dostosować swoje działanie w odpowiedzi na dowolnie wybrany tekst (prompty). W typowym modelu uczenia się opartym na promptach duży model językowy odpowiada na prompt przez wygenerowanie tekstu. Załóżmy na przykład, że użytkownik wpisuje taki prompt:

Podsumuj trzecią zasadę dynamiki Newtona.

Model zdolny do uczenia się na podstawie promptów nie został specjalnie wytrenowany tak, aby odpowiadał na poprzedni prompt. Model „wie” raczej dużo faktów o fizyce, dużo o ogólnych regułach językowych i o tym, co stanowi na ogół przydatne odpowiedzi. Wiedza ta wystarczy, aby udzielić (mamy nadzieję) przydatnej odpowiedzi. Dodatkowe informacje zwrotne („Ta odpowiedź była zbyt skomplikowana” lub „Co to jest reakcja?”) umożliwiają niektórym systemom uczenia się opartym na promptach stopniowe zwiększanie przydatności odpowiedzi.

projektowanie promptów

Synonim wyrażenia inżynieria promptów.

techniki tworzenia promptów

Sztuka tworzenia próśb, które skłaniają do uzyskania pożądanych odpowiedzi za pomocą dużego modelu językowego. Ludzie pracują nad promptami. Tworzenie dobrze ustrukturyzowanych promptów to kluczowy element zapewniania przydatnych odpowiedzi z dużego modelu językowego. Przygotowanie promptów zależy od wielu czynników, w tym:

• Zbiór danych używany do wstępnego trenowania i ewentualnego dostrajania dużego modelu językowego.
• temperatura i inne parametry dekodowania, których model używa do generowania odpowiedzi.

Więcej informacji o tworzeniu pomocnych promptów znajdziesz w artykule Wprowadzenie do projektowania promptów.

Projektowanie promptów to synonim inżynierii promptów.

dostrajanie promptów

Mechanizm dostrajania parametrów wydajności, który uczy się „prefiksu”, który system dołącza do rzeczywistego promptu.

Jedną z wariantów dostrajania promptów (czasami nazywanych dostrajaniem prefiksu) jest dodanie prefiksu do każdej warstwy. W przeciwieństwie do tego większość dostrajania promptów dodaje tylko prefiks do warstwy wejściowej.

etykiety serwera proxy

Dane używane do określania przybliżonych etykiet, które nie są bezpośrednio dostępne w zbiorze danych.

Załóżmy np., że musisz wytrenować model do prognozowania poziomu stresu pracowników. Zbiór danych zawiera wiele funkcji prognozowanych, ale nie ma etykiety poziom stresu. Nie zniechęcając się, wybierasz „wypadki w miejscu pracy” jako zastępczą etykietę poziomu stresu. Przecież ci pracownicy, którzy są pod dużym stresem, będą popełniać więcej wypadków niż uspokajani pracownicy. Czy tak? Może liczba wypadków w miejscu pracy wznosi się i spada z wielu powodów.

W drugim przykładzie załóżmy, że w przypadku zbioru danych chcesz użyć etykiety czy pada? jako wartości logicznej, ale zbiór danych nie zawiera danych o deszczu. Jeśli dostępne są zdjęcia, możesz umieścić zdjęcia osób niosących parasole, aby określić, czy pada?. Czy to dobra etykieta proxy? Prawdopodobnie, ale w niektórych kulturach ludzie mogą bardziej nosić parasole chroniące przed słońcem niż deszcz.

Etykiety serwera proxy są często niedoskonałe. Jeśli to możliwe, wybieraj rzeczywiste etykiety zamiast etykiet serwera proxy. Dlatego w przypadku braku rzeczywistej etykiety wybieraj ją bardzo ostrożnie, wybierając najmniej najgorszą kandydaturę.

serwer proxy (atrybuty poufne)

funkcja czysta

Funkcja, której dane wyjściowe opierają się wyłącznie na jej danych wejściowych i nie mają skutków ubocznych. W szczególności funkcja czysta nie wykorzystuje ani nie zmienia żadnego stanu globalnego, na przykład zawartości pliku czy wartości zmiennej spoza funkcji.

Do tworzenia kodu bezpiecznego w wątkach można używać czystych funkcji, co jest przydatne podczas fragmentacji kodu model na wiele model.

Metody przekształcania funkcji JAX wymagają, aby funkcje wejściowe były funkcjami czystymi.

P

Funkcja Q

W uczeniu przez wzmacnianie jest to funkcja, która prognozuje oczekiwany zwrot po wykonaniu działania w stanie, a następnie na podstawie danej zasady.

Funkcja Q jest też nazywana funkcją wartości stanu działania.

Q-learning

W uczeniu przez wzmacnianie jest to algorytm, który umożliwia agentowi poznanie optymalnej funkcji Q procesu decyzyjnego Markowa przez zastosowanie równania Bellmana. Proces decyzyjny Markowa określa środowisko.

kwantyl

Każdy zasobnik w zasobniku kwantylowym.

zasobnik kwantylowy

Rozłożenie wartości funkcji na zasobniki tak, aby każdy zasobnik zawierał taką samą (lub prawie taką samą) liczbę przykładów. Na przykład na tym rysunku widać podział 44 punktów na 4 zasobniki, z których każdy zawiera 11 punktów. Aby każdy zasobnik na rysunku zawierał taką samą liczbę punktów, niektóre segmenty mają różną szerokość wartości x.

kwantyzacja

Przeciążone hasło, którego można użyć na dowolny z tych sposobów:

• Wdrożenie zasobnika kwantylowego do konkretnej funkcji.
• Przekształcanie danych w zera i jedynki w celu przyspieszenia ich przechowywania, trenowania i wnioskowania. Dane logiczne są bardziej odporne na szumy i błędy niż inne formaty, więc kwantyzacja może poprawić prawidłowość modelu. Techniki kwantyzacji obejmują zaokrąglanie, obcinanie i binowanie.

• Zmniejszenie liczby bitów używanych do przechowywania parametrów modelu. Załóżmy np., że parametry modelu są przechowywane jako 32-bitowe liczby zmiennoprzecinkowe. Kwantyzacja konwertuje te parametry z 32 bitów na 4, 8 lub 16 bitów. Kwantyzacja zmniejsza te koszty:

  • Wykorzystanie mocy obliczeniowej, pamięci, dysku i sieci
  • Czas do określenia prognozy
  • Zużycie energii

  Kwantyzacja czasami jednak zmniejsza trafność prognoz modelu.

kolejka

Operation TensorFlow, która implementuje strukturę danych kolejki. Zwykle używany podczas I/O.

R

RAGIA

Skrót oznaczający generowanie rozszerzone przez pobieranie.

Losowy las

Zbiór drzew decyzyjnych, w którym każde drzewo decyzyjne jest wytrenowane z wykorzystaniem konkretnego losowego szumu, np. bagowania.

Lasy losowe to rodzaj lasu decyzji.

zasada losowej

W przypadku uczenia przez wzmacnianie zasada, która wybiera działanie losowo.

ranking

Rodzaj uczenia nadzorowanego, którego celem jest uporządkowanie listy elementów.

ranga (liczba całkowita)

Pozycja porządkowa klasy w zadaniu systemów uczących się, który klasyfikuje klasy od najwyższej do najniższej. Na przykład system rankingowy zachowań może uszeregować psy w kolejności od wartości najwyższej (stek) do najniższej (zgniły jarmuż).

Pozycja (Tensor)

Liczba wymiarów w Tensor. Na przykład skalarny ma ranking 0, wektor ma pozycję 1, a tablica 2.

Nie należy mylić z rankingiem (liczbą liczebności).

oceniający

Osoba, która zapewnia etykiety przykładów. „Komentator” to inna nazwa oceniającego.

wycofanie

Dane dla modeli klasyfikacji, które odpowiadają na to pytanie:

Jaki odsetek prognoz został poprawnie zidentyfikowany przez model jako klasa pozytywna, gdy dane podstawowe były klasą pozytywną?

Oto wzór:

\[\text{Recall} = \frac{\text{true positives}} {\text{true positives} + \text{false negatives}} \]

gdzie:

• Wskazuje, że model prawidłowo przewidział klasę pozytywną.
• Wartość fałszywie negatywny oznacza, że model błędnie przewidział klasę ujemną.

Załóżmy na przykład, że model dokonał 200 prognoz na przykładach, w których dane podstawowe były klasą pozytywną. Z tych 200 prognoz:

• 180 osób było wynikiem prawdziwie pozytywnych.
• 20 wyników fałszywie negatywnych.

W takim przypadku:

\[\text{Recall} = \frac{\text{180}} {\text{180} + \text{20}} = 0.9 \]

recall = TP / (TP + FN)
recall = 30 / (30 + 20) = 0.6 = 60%

accuracy = (TP + TN) / (TP + TN + FP + FN)
accuracy = (30 + 4,999,000) / (30 + 4,999,000 + 950 + 20) = 99.98%

system rekomendacji

System, który wybiera dla każdego użytkownika stosunkowo mały zestaw odpowiednich elementów z dużego korpusu. Na przykład system rekomendacji może polecić 2 filmy ze zbioru 100 tys. filmów: dla jednego użytkownika wybierz Casablanca i The Philadelphia Story, a w przypadku innego użytkownika – Wonder Woman i Czarna Pantera. System rekomendacji filmów może opierać swoje rekomendacje na takich czynnikach jak:

• Filmy ocenione lub obejrzane przez podobnych użytkowników.
• Gatunek, reżyserzy, aktorzy, docelowa grupa demograficzna...

Prostokątna jednostka liniowa (ReLU)

funkcję aktywacji o takim działaniu:

• Jeśli dane wejściowe mają wartość ujemną lub zero, wynik wynosi 0.
• Jeśli dane wejściowe są dodatnie, wynik jest równy wartości wejściowej.

Na przykład:

• Jeśli wartość wejściowa to -3, wynik to 0.
• Jeśli podana wartość to +3, wynik to 3,0.

Oto fabuła ReLU:

ReLU to bardzo popularna funkcja aktywacyjna. Pomimo swojego prostego działania ReLU nadal umożliwia sieci neuronowej uczenie się nieliniowych powiązań między funkcjami a etykietą.

nawracająca sieć neuronowa

Sieć neuronowa celowo uruchamiana wielokrotnie, w której fragmenty każdego uruchomionego pliku danych są przekazywane do kolejnego uruchomienia. Konkretnie chodzi o to, że warstwy ukryte z poprzedniego uruchomienia dostarczają część danych wejściowych do tej samej ukrytej warstwy przy następnym uruchomieniu. Powracające sieci neuronowe są szczególnie przydatne przy ocenie sekwencji, ponieważ ukryte warstwy mogą uczyć się z poprzednich przebiegów sieci neuronowej z wcześniejszych części sekwencji.

Na przykład na ilustracji poniżej widać powtarzającą się sieć neuronowa, która działa 4 razy. Zwróć uwagę, że wartości zapamiętane w ukrytych warstwach przy pierwszym uruchomieniu stają się częścią danych wejściowych dla tych samych ukrytych warstw przy drugim uruchomieniu. Podobnie wartości zapamiętane w warstwie ukrytej podczas drugiego uruchomienia stają się częścią danych wejściowych w tej samej ukrytej warstwie przy trzecim uruchomieniu. W ten sposób powracająca sieć neuronowa stopniowo trenuje i prognozuje znaczenie całej sekwencji, a nie tylko znaczenie poszczególnych słów.

model regresji

Nieformalnie model generujący prognozę liczbową. (W przeciwieństwie do tego model klasyfikacji generuje prognozę klasy). Poniżej znajdują się na przykład wszystkie modele regresji:

• Model, który prognozuje wartość konkretnej domu,np. 423 000 euro.
• Model, który prognozuje oczekiwaną długość życia drzewa, np.23,2 roku.
• Model prognozujący ilość deszczu, który będzie padał w danym mieście w ciągu najbliższych 6 godzin, np.0,18 cala.

2 typowe modele regresji to:

• Regresja liniowa, która znajduje linię, która najlepiej pasuje do wartości etykiet do cech.
• Regresja logistyczna, która generuje prawdopodobieństwo z zakresu od 0,0 do 1,0, które system zwykle mapuje na prognozę klasy.

Nie każdy model, który generuje prognozy liczbowe, jest modelem regresji. W niektórych przypadkach prognoza numeryczna jest w rzeczywistości tylko modelem klasyfikacji, który ma takie nazwy klas liczbowych. Na przykład model prognozujący numeryczny kod pocztowy jest modelem klasyfikacji, a nie modelem regresji.

regularyzacja

Każdy mechanizm, który ogranicza nadmierne dopasowanie. Popularne typy regularyzacji to między innymi:

• L₁ regularyzacja
• L₂ regularyzacja
• regularizacja porzucania
• wczesne zaprzestanie (nie jest to formalna metoda regularnego regulowania, ale może skutecznie ograniczyć nadmierne dopasowanie).

Regularizację można też zdefiniować jako karę ze względu na złożoność modelu.