Millised on üldised soovitused ja tähelepanekud suurte keelemudelite jaoks promptide e viipade koostamisel?

Postitas Erki Eessaar 18.04.2025 11:34 (muudeti 26.04.2025 09:21)
Järgnevad soovitused põhinevad tähelepanekutel, mis on tehtud selle aine jaoks tehiste reeglitele vastavuse kontrollimise promptide koostamisel. Osa sellest tekstist on genereeritud Google Gemini 2.5 poolt vastustena küsimustele. Soovitan promptide vaatamise kohta vaadata ka seda videot.

  • Kasutage prompti alamosade esiletõstmiseks markdowni või XMLi.
    • Markdown
      • ## Üldised märkused keelemudelile
      • *   **Sinu roll:** ..
      • *   **Konteksti eeldus:** ...
    • XML
      • <GeneralNotes>
      •     <Note>
      •         <Title>Sinu roll</Title>
      •         <Content>...</Content>
      •     </Note>
      •     <Note>
      •         <Title>Konteksti eeldus</Title>
      •         <Content>...</Content>
      •     </Note>
      • </GeneralNotes>
  • Soovitatav struktuur:
    • # Roll ja eesmärgid
    • # Juhised
      ## Detailsemate juhiste alamkategooriad
    • # Väljundi formaat
    • # Näited
      ## Näide 1
    • # Kontekst
      <kontrollitav tekst>
    • # Lõplikud juhised
      <veelkord kõige tähtsamad juhised>
  • Kui peate promptiga kontrollima tehiste vastavust reeglitele, siis andke keelemudelile reeglid ja paluge need keelemudelile sobivalt ümber sõnastada. Uue reegli versiooni saamisel andke keelemudelile kontrollimiseks ette mõni tehis kus vigu ei ole ja kui keelemudel osutab sellele, et mõni reegel ei ole täidetud, siis paluge väljastada reeglite täiendus, mis arvestab sellega, et raporteeritud veaolukord ei ole tegelikult viga.  Korrake kuni keelemudel ei anna enam valepositiivseid vastuseid. Samamoodi saate anda ette tehiseid, kus on vigu ja kui neid ei leita, siis paluda keelemudelil reeglit täpsustada, et see viga üles leida. Korrake kuni keelemudel ei anna enam valenegatiivseid vastuseid.
  • Kui näiteks oleks vaja kontrollida 100 reegli täidetust, siis töökindlam ja täpsem on kontrolli teha mitmes osas. Põhjused:
    • Kontekstiakna piirangud.
    • Keelemudeli tähelepanu hajumine.
    • Keerukuse haldamine.
    • Väljundi selgus ja kontrollitavus.
    • Potentsiaalne kiirus (mitte alati garanteeritud).
  • Parim viis sõnastada keelemudelile reegel P=>Q, kui kehtib tingimus P, siis peab kehtima ka tingimus Q:
    • Reegel [number] on rikutud, kui [tingimus P on täidetud], AGA [tingimus Q EI OLE täidetud].
      • Näide: "Reegel 5 on rikutud, kui dokumendis mainitakse uut tarkvaraarendust (P), AGA sellega seotud turvariskide maandamise plaan EI OLE kirjeldatud (Q)."
      • Plussid: Suunab mudeli otse otsima spetsiifilist vastuolu, mis vastab teie soovile leida ainult rikkumisi. Väga selge. Väldib "valepositiivseid" mainimisi, kui P pole täidetud.
      • Miinused: Vajab harjumist, kui olete harjunud reegleid positiivselt sõnastama.
  • Kui kontrollida sama struktuuriga tehiste erinevaid versioone, siis isegi kui kasutada iga kord uut vestluse akent peaks keelemudelile andma selge juhise, et unusta kogu eelnev info, mis on saadud selliste tehiste kontrollimisega ja keskendu ainul sellele konkreetsele tehisele. Põhjused:
    • Selguse tagamine: Annab mudelile ühemõttelise juhise keskenduda ainult sellele, mis on selles konkreetses vestluses esitatud. See välistab igasuguse võimaliku kahemõttelisuse.
    • Võimalike mustrite vältimine: Kuigi mudel ei "mäleta" eelmise dokumendi sisu, võib järjestikuste sarnaste ülesannete täitmine teoreetiliselt mõjutada selle "meeleseisundit" või mustreid, mida ta järgmises vastuses kasutab. Paludes selgelt keskenduda ainult praegusele, vähendad seda riski.
    • Hallutsinatsioonide vältimine: Mudelid võivad vahel "hallutsineerida" või püüda olla liiga "abivalmid", tuues sisse elemente, mida tegelikult pole antud. Selge juhis aitab seda ära hoida.
    • Järjepidevus: Annab sulle kindluse, et iga analüüs algab täpselt samadelt alustelt, sõltumata sellest, mitu sarnast analüüsi oled varem teinud.
    • Kuidas seda öelda:
      • **Sinu ülesanne:** Keskendu AINULT ülaltoodud reeglitele ja ÄSJA esitatud kontrollitavale dokumendile. Ära arvesta ega viita ühelegi varasemale dokumendile või analüüsile. Kontrolli dokumenti reeglite suhtes.
  • Enne reeglite kontrolli käivitamist vaadake, kas saate reguleerida keelemudeli loovust. Näiteks Google Gemini 2.5 on see võimalik ja selleks tuleb muuta temperatuuri. Mida väiksem temperatuur, seda väiksem loovus, kuid seda vähem ka hallutsioneerimist e antud juhul valepositiivseid tulemusi. Nii peaks paranema vastuste täpsus.

    Määrake Goole Geminis (2.5) temperatuuriks 0.2 (vaikimisi 1 asemel). Võite ka katsetada väärtustega 0 ja 0.1. Keelemudeli enda selgitus:
    • "Madal temperatuur muudab mudeli väljundi väga fokusseerituks ja deterministlikuks. See tähendab, et mudel valib kõige tõenäolisemad järgmised sõnad/märgid, mis on reeglite järgimise ülesande puhul soovitav. See vähendab oluliselt riski, et mudel "hallutsioneerib" reeglirikkumisi, mida pole, või jätab reegleid loovalt tõlgendades tähelepanuta rikkumisi, mis on olemas. Temperatuur 0.0 võib olla liiga jäik, kuid 0.1-0.2 annab piisavalt determinismi, säilitades siiski minimaalse paindlikkuse." (Gemini 2.5)

    Top-P väärtuseks võiks panna 1. 
    • Top-P muudab seda, kuidas mudel valib väljundisse sõnet (tokenit). Sõned valitakse kõige tõenäolisemast kuni kõige vähem tõenäoliseni, kuni nende tõenäosuste summa saavutab top-P väärtuse. Näiteks, kui sõnede A, B ja C tõenäosused on vastavalt 0,3, 0,2 ja 0,1 ning top-P väärtus on 0,5, siis valib mudel järgmise sõnena kas A või B, kasutades temperatuuri, ning välistab C kui võimaliku kandidaadi.  Madalama väärtuse määramine annab vähem juhuslikud vastused, kõrgema väärtuse määramine aga rohkem juhuslikud vastused.
    • Keelemudeli enda selgitus: "Kui temperatuur on juba väga madal, on tõenäosusjaotus niigi väga terav (suurem osa tõenäosusmassist koondub vähestele tippvalikutele). Top P piirab valimit veelgi, võttes arvesse ainult kõige tõenäolisemaid valikuid, mille kumulatiivne tõenäosus ületab P lävendi. Väga madala temperatuuri korral ei ole Top P langetamisel (nt väärtusele 0.8 või 0.9) enamasti suurt lisamõju, sest vähetõenäolised valikud on juba niigi alla surutud. Top P väärtusel 1.0 lubatakse mudelil kaaluda kõiki võimalusi (kuigi madal temperatuur suunab teda ikkagi kõige tõenäolisemate poole), mis võib olla kasulik, kui õige reegli rakendamine pole absoluutselt kõige tõenäolisem, kuid siiski väga kõrge tõenäosusega variant. Top P liigne piiramine koos madala temperatuuriga võib muuta mudeli liiga piiratuks. Seega, usalda peamiselt madalat temperatuuri ja jäta Top P vaikimisi (1.0)." (Gemini 2.5)

Hinda postitust:

Keskmine hinne : Pole veel hinnanguid!