Kaip priversti kalbos modelį atsakyti stulpeliais

PulseDesk skaito atkeliaujančius komentarus ir tuos, kurie yra tikros problemos, paverčia užklausomis su jau uždėta kategorija, prioritetu ir vienos eilutės santrauka. Sprendžia Llama-3-8B-Instruct kreipinys.

Beveik nė vienas kodo gabalas nėra apie modelį.

Siūlė

Yra lygiai viena klasė, žinanti, kad egzistuoja kalbos modelis — HuggingFaceService — ir visas jos darbas yra grąžinti tai, kas jau yra duomenys:

• ticketWorthy — loginė reikšmė
• category — BUG, FEATURE, BILLING, ACCOUNT arba OTHER
• priority — LOW, MEDIUM arba HIGH
• summary — viena eilutė

CommentService mato sprendimą. TicketRepository mato įrašą. Nė vienas neturi nuomonės, iš kur tai atsirado, ir abu veiktų toliau, jei modelį pakeistų taisyklių variklis arba žmogus.

Kodėl tokia forma, o ne tekstas

Modelis, paklaustas atviro klausimo, atsako tekstu, o tekstas nėra stulpelis. Blogiau — jis beveik stulpelis: gausi „Prioritetas: aukštas (nors tai priklauso...)“, ir parseris, savaitę veikęs puikiai, produkcijoje ima gaminti tuščias reikšmes.

Todėl užklausa prašo uždaros aibės, o parseris nepriima nieko už jos ribų. Jei atsakymas netelpa į enum, komentaras tiesiog netampa užklausa. Tai gerokai geresnis gedimas nei užklausa, kurios prioritetas yra HIGH (turbūt).

Riboti išvestį reikia ten, kur ją parsini, o ne tik ten, kur jos prašai. Užklausa yra prašymas; parseris yra sutartis.

Nuobodus rėmas

Kontroleriai, servisai, repozitorijos, JPA esybės — sąmoningai įprasta. Nepažįstama šios sistemos dalis yra vienas HTTP kreipinys į modelį, o nepažįstamą dalį peržiūrimą padaro būtent aplinkui esančios dalys, apie kurias niekam nereikia galvoti.

Saugykla — H2 atmintyje, ir demonstracijai tai teisingas atsakymas: tai, kam prieš paleidžiant reikia įdiegti duomenų bazę, yra tai, ko niekas nepaleis.