MOLLKOM / AI și machine learning
Research Engineer, AI Evaluation & Agent Reliability
Transformă evaluarea AI dintr-o impresie subiectivă în dovezi clare pentru decizii mai bune.
Misiunea
Rezultatele în comerț cer mai mult decât răspunsuri fluente. Construiește evaluări care disting formularea plăcută de acuratețea informației și de acțiunile finalizate cu succes, ajutând echipa să lanseze optimizări cu efecte măsurabile.
Responsabilități principale
- Dezvoltă benchmarkuri pentru sarcini legate de catalog, conținut, conversații și apelarea instrumentelor.
- Creează criterii detaliate de evaluare umană și automată, însoțite de analiza concordanței, a bias-ului și a gradului de acoperire.
- Elaborează teste de regresie și teste de securitate pentru permisiuni și afirmații nefondate.
- Analizează experimentele și comparațiile dintre modele, formulând concluzii aplicabile și evidențiind limitele statistice.
Profilul căutat
- Experiență în evaluarea modelelor ML, cercetare aplicată sau asigurarea calității sistemelor AI.
- Cunoștințe solide de Python, analiză de date și metodologie experimentală.
- Înțelegerea limitărilor evaluării automate de tip LLM-as-judge, a contaminării datelor și a erorilor sistematice de evaluare.
- Abilitatea de a comunica limpede concluziile și de a le traduce în îmbunătățiri tehnice concrete.
ARATĂ-NE CUM GÂNDEȘTI
Lasă proiectele tale să deschidă conversația.
Prezintă un cadru de evaluare conceput de tine și modul în care acesta a influențat o lansare sau alegerea unui model.
Trimite linkuri publice sau o scurtă prezentare, fără a divulga informații confidențiale din activitatea anterioară.
Despre Mollkom
Mollkom este un mediu integrat de operare în comerț, bazat pe AI. Conectăm pregătirea produselor, conținutul, marketingul și asistența pentru clienți cu procesarea comenzilor, gestiunea stocurilor, POS-ul și livrarea, astfel încât toate etapele să funcționeze pe baza acelorași date.
Descoperă platforma