Valentina Zadrija’s Post

Above Clouds 06/2024 ⛅ Next Monday, June 10th, I'll be speaking at the Above Clouds 06/2024 event. I'll be talking about my journey as an engineer, the one thing that I know something about (AI), but also about leadership and family. I am excited and a bit nervous. Join us at Business club 5, Sky Office, Zagreb at 16h and fill the audience with some friendly faces. Kako Kung Fu Panda kaže Paklenoj petorki: "Ekipa, moramo se družit'!" Skadoosh. Tickets: https://lnkd.in/eTAsPDQJ (još malo pa nestalo) Cc Ivan Čuljak Lea Gagulić Dejan Murko Filip Fucic Ivan Krnic

Halucinacije, RAG & AI u pravu (malo "laganog" štiva za vikend) ⚖ Iako se ne bavim pravom, volim držati otvorene oči i pratim razne teme u AI svijetu jer mislim da se najbolje ideje rađaju iz kolaboracije različitih područja. Pažnja mi je ovaj vikend otišla na pravo i borbu protiv halucinacija, odnosno ovaj članak: https://lnkd.in/d7WxeY-P Mnogima su poznati slučajevi (https://lnkd.in/d4WXwHxQ, https://lnkd.in/dhbJ3Ng7) gdje su odvjetnici konzultirali prijatelja ChatGPT-a ili Google Barda, što je rezultiralo referenciranjem nepostojećih parnica. Od tada su razni alati tvrdili da su riješili problem halucinacija primjenom pretraživanja i dohvata dokumenata iz pravnih baza koje bi onda proslijedili LLM-u kao kontekst za generiranje odgovora (tzv. Retrieval Augumented Generation, RAG). To zapravo nije ništa novo, RAG danas koriste mnogi kako bi LLM-ovima rješili konkretne probleme u fintechu, pravu, marketingu i drugdje. Pristup je atraktivan jer u načelu zaobilazi do-treniranje jezičnog modela za specifičnu namjenu, a GPU treniranje je skupo. Članak evaluira tri chatbota temeljena na RAG principu (Lexis, Practical Law & Westlaw) i GPT4 na baby datasetu od 202 pitanja, od kojih su ~11% tzv. suparnička pitanja, gdje korisnik u upitu daje netočne navode i traži odgovor. Rezultati pokazuju da 👉 RAG smanjuje udio halucinacija sa 43% (GPT-4) na 17% (Lexis) nauštrb smanjenja ”korisnosti”: većeg broja odbijenih odgovora (18%, Lexis), a u nekim slučajevima i smanjenu točnost (Westlaw, Practical Law). 👉 On the bright side, RAG metode ipak uspijevaju detektirati pitanja postavljena pod lažnom premisom (false premise) te ne odgovaraju na njih halucinacijama. Čak i GPT-4 ih uspjeva detektirati, a GPT-s nema nužno pristup pravnim bazama, samo Internetu. Kao razlog autori navode da su pravni procesi složeni, temeljeni na nizu presuda koje se grade jedna na drugu i često dovode jedna drugu u pitanje - to otežava problem dohvata relevantnih dokumenata. Također, relevantni dokumenti ne moraju nužno sadržavati slične riječi kao i upit, odnosno tekstualna sličnost ovdje nije dovoljna. Sve to navodi da je ipak potrebno fino podešavanje LLM-ova za pravne namjene i razvoj reprezentacija iznad koncepta sličnosti teksta, već dubljeg razumijevanja konteksta i procesa zaključivanja. Također, dataset mi se čini maleni (iako je i na toj skali bio dovoljan da se pokaže da RAG ne rješava u potpunosti halucinacije) i potencijalno ne predstavlja realističnu distribuciju slučajeva (Marijana Sarolic Robic what say you?) #ai #rag #legal #hallucinations

The DSC Adria TLDR: androids are dreaming about electric sheep, but they are also solving everyday tasks in marketing, finance, warehouses, homes, fields 🚀. Read along -- these are the droids 🤖 you were looking for. The DSC ADRIA was held last week in Zagreb, but the impressions are still settling down 🚀 There's been a lot of talk about what's next: safety, security, data governance, but also how will AI be used in the future. As the reality we live in is the physical world, not browsers, phones, I’ve talked about how to learn to drive, load and unload pallets, deliver groceries without having large annotated datasets of cars, pallets or forklifts, i.e. embodied AI. In his humorous authentic way, Dr. Luc JULIA reminded us of the Gartner hype cycle and showcased the correlations with generative AI. He believes that an AI is a powerful tool and can help us in various specific applications (narrowing the application area is the key). 🧷 Safety and security: there are no large-scale applications without safety and security. Kristian Kamber talked about jailbreaks, red teaming and safety alignment of LLMs. Katherine Munro has shown us some important lessons gained from testing chatbots: from internal testing to customer-faced, but she also highlighted the importance of simulation. I agree with her - in the case of embodied AI exhaustive testing of all possible scenarios may not be possible in the real world, and in some situations even dangerous. Following this line of thought, I had some interesting discussions with Marija Drašković on how to incorporate safety by design when we are talking about deploying in the real world. 🌍 Open-source: Radovan Baćović and ved prakash have highlighted the importance of open source in AI by showcasing how to automate devops tasks with AI. I agree that the openness is the way to go -- if we want to have AI in our homes, roads and warehouses, we need to understand under which scenarios does it fail and how we fix it as a community. I've shared the idea of OpenScenarioMap intended for exhaustive testing of embodied AI driving tasks. In retrospective, DSC Adria: it was fun, thanks for all the fish 🐟 -- see you next year. #ai #llms #safety #embodiedai #opensource

Today was an exciting day at DSC Adria 🔥 . It was a pleasure to discuss generative AI with professor Sanda Martincic, Davor Anicic and Petar Babić. I talked about generative embodied AI as the next step in the AI revolution, and the importance of safety when deploying the AI solutions in public spaces 🚀 . Professor Sanda Martincic highlighted the importance of reasoning and explainability of large multimodal models, and I completely agree with her. Additionally, I learned that A1 Hrvatska d.o.o. is utilizing large language models (LLMs) both as recommender systems and for sentiment analysis, as shared by Petar Babić. Davor Anicic provided valuable insights on implementing AI in different companies. He shared that people often dream big and set ambitious goals... But the best way is actually to start small: by building a proof of concept side by side with the people from this company (people are the key!) and then scale-up. 💡 Tomorrow, I'll be giving a talk about large multimodal models at Yaak Technologies and how to scale them from browsers to embodied AI.

Svaka ima krila, samo poletjeti mora 🚀 ... rekla nam je Medeja Loncar na ovogodišnjem eventu Inženjerka godine HR na kojem smo dobili novu inženjerku godine -- Lada Kovjanić. A Lada je stvarno pravi primjer za to: upisala je faks kad je dijete krenulo u prvi razred, završila ga i danas radi kao inženjerka. Potvrdio nam je to i Boris Jokić sa statistikom da 15-godišnjakinje postižu bolje rezultate na STEM području na PISA ispitima. Bila sam kratko, odjurila dalje na posao (jer kako Inženjerka godine HR 2023 Snjezana Milisa kaže - mi inženjeri smo skloni zabiti se u posao), ali ne bi taj event propustila ni za što na svijetu. #stem #womeninengineering #inzenjerkagodine

Star Trek TNG meets Start Trek TOS, aka Inženjerka godine 2024 🚀 Malo geeky naziv za post, ali po meni na mjestu. Inicijativa Inženjerka godine HR predstavila je novu generaciju inženjerki (aka TNG) koje će ove godine promicati inženjersku struku i svojim primjerom pokazati da je inženjerstvo za sve. Prošle sam godine sudjelovala u ovoj inicijativi (aka TOS). Puno sam naučila 🙏 od drugih inženjerki i na leadership radionica koje je inicijativa organizirala. Imala sam priliku podijeliti svoju priču u srednjim školama, robotičkim natjecanjima i medijima. Ovih je dana izašao članak u IRT3000 ADRIA / АДРИА o inicijativi Inženjerka godine HR i mojim iskustvima: https://lnkd.in/dPAMa5-G Hvala 🙏 IRT3000 ADRIA / АДРИА Inženjerka godine HR na prilici da promoviram inženjerstvo kao životni put. Obratite pažnju na TNG inženjerke, rasturaju sve od geologije, graditeljstva, prehrambene tehnologije, strojarstva, metalne industrije, programskog inženjerstva i AI-a: https://lnkd.in/dvcyDS9a Ja znam da ja hoću 🖖🏼

Zahvalna sam 🙏 da sam imala priliku sudjelovati u EUROAVIA Zagreb radionici FEMME STEM koja već treću godinu za redom spaja studentice i žene u tehnici. Upoznala sam radoznale i hrabre studentice, snažne i uspješne inženjerke biotehnologije, strojarstva, elektrotehnike i računarstva. Zabavile smo ne na pub kvizu i potpuno otvoreno popričale o svim temama (bez zadrške). Ostala sam do "fajrunta" i na kraju došla doma sretna i ispunjena. Hvala Magdalena Vukovic, Lucija Friščić i Petra Rogošić na odličnoj organizaciji, cure -- bile ste top 🔝 .

Hibridni rad i efikasna komunikacija: vrlo zanimljiva tema o kojoj ljudi najčešće imaju "strong opinion" 👇 Neki stručnjaci (e.g. Ivica Vrancic) kažu da timovi ne mogu postati "top performing" u remote/hibridnom načinu rada. S druge strane, svojedobno je Ian Goodfellow (father of generative adversarial networks) dao otkaz na mjesto šefa strojnog učenja u Appleu jer su zahtijevali povratak u ured i ukinuli remote rad. Ivana Brkljača, MBA, PhD candidate je odlučila problemu pristupiti sa znanstvene strane - istraživanjem i podacima. Odvojite par minuta i podijelite svoja iskustva u njezinoj anketi. I, for one se veselim vidjeti rezultate.

Aligning the AI models with human values is the key step for unleashing their power from our browsers all the way to the real world -- to embodied AI: robots, drones, cars & smart homes. It's no secret that large multimodal models and their safety are a hot topic for me. Hence, after spending 3 years at Gideon , working with remarkable people through hardships and victories, solving real-life problems that no one before us solved, I am moving onto a new challenge. I will be joining Yaak Technologies as Technical Lead AI/ML to build the foundation models and scenario cards for embodied AI. Stay tuned, support me and my new team, and let's make embodied AI safe and open for everyone.