Az utóbbi években a nagy nyelvi modellek (LLM) fejlődése hatalmas előrelépéseket hozott az érvelés és a problémamegoldás területén. Azonban a hagyományos prompting technikák, mint például a gondolatlánc (Chain of Thought, CoT), hosszadalmas és részletes lépésekben bontják ki a válaszokat, ami magas tokenfelhasználással, lassabb válaszidővel és megnövekedett számítási költségekkel jár.
A Chain of Draft (CoD) prompting egy innovatív megközelítés, amely a hatékonyságot optimalizálja anélkül, hogy csökkenne a válaszok pontossága. Ez a módszer az emberi gondolkodás természetes szerveződéséből merít inspirációt: ahelyett, hogy hosszú magyarázatokat adna, a lényeges érvelési elemeket tömör vázlatokká alakítja. Ennek eredményeként jelentősen csökken a tokenhasználat, miközben az AI modellek gyorsabban és költséghatékonyabban működnek olyan területeken, mint az egészségügy, az oktatás és a pénzügyi előrejelzések.
Mi az a Vázlatlánc (CoD) prompting?
A CoD egy újfajta érvelési módszer, amely az LLM-eket arra ösztönzi, hogy tömör, de információgazdag vázlatokat hozzanak létre ahelyett, hogy minden egyes lépést részletesen kifejtenének. A CoT-vel szemben, amely hosszadalmas és olykor redundáns érvelési struktúrát alkalmaz, a CoD egy lényegre törőbb megközelítést kínál, amely akár 92,4%-kal is csökkentheti a tokenhasználatot, így gyorsabb válaszokat eredményez.
Például egy egyszerű számtani feladat esetében:
Feladat: Jasonnak 20 nyalókája volt. Adott néhányat Dennynek. Most Jasonnek 12 maradt. Hányat adott el?
CoT-megoldás:
- lépés: Jasonnak 20 nyalókája volt.
- lépés: Adott belőle Dennynek.
- lépés: Most 12 maradt neki.
- lépés: 20 – 12 = 8. Válasz: 8 nyalóka.
CoD-megoldás: 20 – x = 12 → x = 8 Válasz: 8
Ez a módszer megőrzi a logikai érthetőséget, miközben felesleges szószaporítás nélkül adja meg a választ.
A CoD előnyei
- Hatékonyabb tokenhasználat és alacsonyabb költségek
A CoD jelentősen csökkenti az AI-modellek által generált tokenek számát, így alacsonyabb költségeket eredményez. Benchmark tesztek szerint az aritmetikai feladatok esetén akár 80%-os tokencsökkentés érhető el, míg a szimbolikus érvelési problémákban 92,4%-kal kevesebb tokent igényel, mint a CoT. Ezáltal csökkenthető a felhőalapú AI-szolgáltatások költsége is.
- Gyorsabb válaszidő
A rövidebb válaszok kevesebb számítási kapacitást igényelnek, így az AI gyorsabban reagál. Ez különösen előnyös olyan területeken, mint az ügyfélszolgálat, a valós idejű egészségügyi diagnosztika vagy a tőzsdei előrejelzések, ahol a gyorsaság kritikus tényező.
- Megőrzött vagy javított pontosság
A CoD módszerével az LLM-ek felesleges érvelési lépések kihagyásával is pontos válaszokat adnak. A GSM8K benchmark teszt szerint a CoD 91%-os pontosságot ért el, ami megegyezik a CoT teljesítményével, míg egyes szimbolikus érvelési feladatokban a logikai hibák kiküszöbölésével 100%-os pontosságot mutatott.
- Jobban értelmezhető válaszok
A CoD által generált válaszok az emberi jegyzetelési szokásokat követik: tömörek, lényegre törőek és könnyen átláthatóak. Ez különösen előnyös az egészségügyi AI alkalmazásokban, az oktatásban és a pénzügyi elemzésekben, ahol a gyors információfeldolgozás kiemelten fontos.
A CoD prompting gyakorlati példái
- Aritmetikai problémamegoldás
- Feladat: Jasonnek 20 nyalókája volt, és adott belőle Dennynek. Most 12 maradt. Hányat adott el?
- CoD-megoldás: 20 – x = 12 → x = 8. Válasz: 8
- Józan ész érvelés
- Feladat: Egy esős napon valaki elfelejti az esernyőjét. Mi a legvalószínűbb megoldása?
- CoD-megoldás: Menedék keresése, futás, esőkabát használata.
- Logikai rejtvények
- Feladat: Egy érme fejjel felfelé van. Robyn, Peggy és Grant feldobja, Vanessa nem. Milyen állásban marad?
- CoD-megoldás: Kimenetel véletlenszerű, mert többször feldobták.
- Stratégiai tervezés
- Feladat: Tervezzen meg egy olyan vállalati rendezvényt korlátozott költségvetésből, amely biztosítja a dolgozók magas szintű elkötelezettségét.
- Kódolás hibakeresés
- Feladat: „IndexError: List index out of range”. Mi okozza ezt a hibát, és hogyan lehet kijavítani?
Összegzés
A Vázlatlánc (CoD) prompting egy hatékonyabb, gyorsabb és költséghatékonyabb módszer az AI érvelési képességeinek optimalizálására. A felesleges szóhasználat csökkentésével és a logikailag strukturált válaszokkal a CoD kiváló megoldás a valós idejű döntéshozatalban, a pénzügyi elemzésekben és az egészségügyi AI-megoldásokban. Ahogy a mesterséges intelligencia egyre inkább beépül a mindennapjainkba, a CoD módszer lehet az egyik kulcs a hatékonyabb és intelligensebb AI-alapú érvelveléshez.
Eredeti cikk: https://www.linkedin.com/pulse/chain-draft-cod-prompting-faster-smarter-ai-reasoning-alex-velinov-zdkxf/
