TFX, što je kratica za TensorFlow Extended, sveobuhvatna je end-to-end platforma za izgradnju cjevovoda strojnog učenja spremnih za proizvodnju. Pruža skup alata i komponenti koji olakšavaju razvoj i implementaciju skalabilnih i pouzdanih sustava strojnog učenja. TFX je dizajniran za rješavanje izazova upravljanja i optimizacije cjevovoda strojnog učenja, omogućujući znanstvenicima i inženjerima podataka da se usredotoče na izgradnju i ponavljanje modela umjesto da se bave složenošću infrastrukture i upravljanja podacima.
TFX organizira cjevovod strojnog učenja u nekoliko horizontalnih slojeva, od kojih svaki služi određenoj svrsi u cjelokupnom tijeku rada. Ovi slojevi rade zajedno kako bi osigurali nesmetan protok podataka i artefakata modela, kao i učinkovito izvođenje cjevovoda. Istražimo različite slojeve u TFX-u za upravljanje cjevovodom i optimizaciju:
1. Unos i provjera podataka:
Ovaj je sloj odgovoran za unos sirovih podataka iz različitih izvora, poput datoteka, baza podataka ili sustava za strujanje. TFX pruža alate kao što je TensorFlow Data Validation (TFDV) za provjeru valjanosti podataka i generiranje statistike. TFDV pomaže identificirati anomalije, vrijednosti koje nedostaju i pomicanje podataka, osiguravajući kvalitetu i dosljednost ulaznih podataka.
2. Predobrada podataka:
U ovom sloju TFX nudi TensorFlow Transform (TFT) za izvođenje predobrade podataka i inženjering značajki. TFT omogućuje korisnicima da definiraju transformacije na ulaznim podacima, kao što su skaliranje, normalizacija, one-hot kodiranje i više. Ove se transformacije dosljedno primjenjuju i tijekom obuke i tijekom posluživanja, osiguravajući dosljednost podataka i smanjujući rizik od iskrivljenja podataka.
3. Obuka modela:
TFX iskorištava TensorFlow-ove moćne mogućnosti obuke u ovom sloju. Korisnici mogu definirati i trenirati svoje modele strojnog učenja koristeći TensorFlow API-je visoke razine ili prilagođeni TensorFlow kod. TFX pruža alate kao što je TensorFlow Model Analysis (TFMA) za procjenu i provjeru valjanosti obučenih modela pomoću metrike, vizualizacija i tehnika rezanja. TFMA pomaže u procjeni izvedbe modela i identificiranju potencijalnih problema ili pristranosti.
4. Validacija i evaluacija modela:
Ovaj se sloj usredotočuje na provjeru valjanosti i evaluaciju obučenih modela. TFX pruža TensorFlow Data Validation (TFDV) i TensorFlow Model Analysis (TFMA) za izvođenje sveobuhvatne provjere i evaluacije modela. TFDV pomaže provjeriti valjanost ulaznih podataka u odnosu na očekivanja definirana tijekom faze unosa podataka, dok TFMA omogućuje korisnicima da procijene izvedbu modela u odnosu na unaprijed definirane metrike i odsječke.
5. Implementacija modela:
TFX podržava implementaciju modela u različitim okruženjima, uključujući TensorFlow Serving, TensorFlow Lite i TensorFlow.js. TensorFlow Serving omogućuje korisnicima da svoje modele poslužuju kao skalabilne i učinkovite web usluge, dok TensorFlow Lite i TensorFlow.js omogućuju implementaciju na mobilnim odnosno web platformama. TFX pruža alate i pomoćne programe za jednostavno pakiranje i implementaciju obučenih modela.
6. Orkestracija i upravljanje tijek rada:
TFX se integrira sa sustavima upravljanja tijekovima rada, kao što su Apache Airflow i Kubeflow Pipelines, kako bi orkestrirao i upravljao cijelim cjevovodom strojnog učenja. Ovi sustavi pružaju mogućnosti za planiranje, praćenje i rukovanje pogreškama, osiguravajući pouzdano izvođenje cjevovoda.
Organiziranjem cjevovoda u ove horizontalne slojeve, TFX omogućuje znanstvenicima i inženjerima podataka da učinkovito razviju i optimiziraju sustave strojnog učenja. Pruža strukturiran i skalabilan pristup za upravljanje složenošću unosa podataka, predprocesiranja, obuke modela, provjere valjanosti, evaluacije i implementacije. Uz TFX, korisnici se mogu usredotočiti na izgradnju visokokvalitetnih modela i isporuku vrijednosti svojim organizacijama.
TFX za upravljanje i optimizaciju cjevovoda uključuje horizontalne slojeve za unos i provjeru valjanosti podataka, pretprocesiranje podataka, obuku modela, provjeru valjanosti i procjenu modela, implementaciju modela te orkestraciju i upravljanje tijekovima rada. Ovi slojevi rade zajedno kako bi pojednostavili razvoj i implementaciju cjevovoda strojnog učenja, omogućujući znanstvenicima i inženjerima podataka da izgrade skalabilne i pouzdane sustave strojnog učenja.
Ostala nedavna pitanja i odgovori u vezi Osnove EITC/AI/TFF TensorFlow:
- Kako se može koristiti sloj za ugradnju za automatsko dodjeljivanje odgovarajućih osi za prikaz predstavljanja riječi kao vektora?
- Koja je svrha maksimalnog udruživanja u CNN-u?
- Kako se postupak izdvajanja značajki u konvolucijskoj neuronskoj mreži (CNN) primjenjuje na prepoznavanje slike?
- Je li potrebno koristiti asinkronu funkciju učenja za modele strojnog učenja koji se izvode u TensorFlow.js?
- Koji je parametar maksimalnog broja riječi za TensorFlow Keras Tokenizer API?
- Može li se TensorFlow Keras Tokenizer API koristiti za pronalaženje najčešćih riječi?
- Što je TOCO?
- Kakav je odnos između broja epoha u modelu strojnog učenja i točnosti predviđanja iz pokretanja modela?
- Proizvodi li API susjeda paketa u Neural Structured Learning TensorFlowa prošireni skup podataka za obuku na temelju podataka prirodnog grafikona?
- Što je API susjeda paketa u neuralno strukturiranom učenju TensorFlowa?
Pogledajte više pitanja i odgovora u EITC/AI/TFF TensorFlow Fundamentals