ಹಿಂದಿನ ಲೇಖನಗಳಲ್ಲಿ ಕೃತಕ ಬುದ್ಧಿಮತ್ತೆಯು (AI) ಪದಗಳನ್ನು ವಿಂಗಡಿಸಿ, ಗಣಿತದ ನಕ್ಷೆಯಲ್ಲಿ ಜೋಡಿಸುವುದನ್ನು ನಾವು ನೋಡಿದೆವು. ಆದರೆ, ನೂರಾರು ಪದಗಳಿರುವ ಒಂದು ಉದ್ದನೆಯ ವಾಕ್ಯವನ್ನು ಕೊಟ್ಟಾಗ, ಆ ವಾಕ್ಯದ ನಿಜವಾದ 'ಪೂರ್ವಾಪರ ಸಂಬಂಧ'ವನ್ನು (Context) ಆ ಯಂತ್ರವು ಅರ್ಥಮಾಡಿಕೊಳ್ಳುವುದು ಹೇಗೆ?

ಇದಕ್ಕೆ ಉತ್ತರವೇ ಗಮನ ಕೇಂದ್ರೀಕರಿಸುವ ತಂತ್ರ (Attention Mechanism).

ಹಳದಿ ಗುರುತುಗದ ಹೋಲಿಕೆ (The Yellow Marker Analogy)

ನೀವು ಪರೀಕ್ಷೆಗೆ ಓದುವಾಗ ಒಂದು ಉದ್ದನೆಯ ಪ್ಯಾರಾಗ್ರಾಫ್ ಇದ್ದರೆ, ನೀವು ಪ್ರತಿಯೊಂದು ಪದಕ್ಕೂ ಒಂದೇ ಸಮನೆ ಗಮನ ಕೊಡುವುದಿಲ್ಲ. ಬದಲಾಗಿ, ವಾಕ್ಯದ ಅರ್ಥವನ್ನು ನಿರ್ಧರಿಸುವ 'ಮುಖ್ಯ ಪದಗಳನ್ನು' ಮಾತ್ರ ಒಂದು ಹಳದಿ ಬಣ್ಣದ ಗುರುತುಗದಿಂದ (Yellow Marker) ಹೈಲೈಟ್ ಮಾಡಿಕೊಳ್ಳುತ್ತೀರಲ್ಲವೇ?

ಕೃತಕ ಬುದ್ಧಿಮತ್ತೆ ಕೂಡ ಅಕ್ಷರಶಃ ಇದೇ ಕೆಲಸ ಮಾಡುತ್ತದೆ! ಒಂದು ವಾಕ್ಯವನ್ನು ಓದುವಾಗ, ಯಾವ ಪದಕ್ಕೆ ಹೆಚ್ಚು "ಗಮನ" (Attention) ಕೊಡಬೇಕು ಮತ್ತು ಯಾವ ಪದವನ್ನು ಕಡೆಗಣಿಸಬೇಕು ಎಂಬುದನ್ನು ಅದು ಗಣಿತದ ಮೂಲಕ ಲೆಕ್ಕ ಹಾಕುತ್ತದೆ.

ಉದಾಹರಣೆಗೆ: ೧. "ನದಿ ದಂಡೆ (The bank of the river)." ೨. "ಇಂದು ಬ್ಯಾಂಕ್ ಮುಚ್ಚಲಾಗಿದೆ (The bank is closed today)."

ಈ ಎರಡೂ ವಾಕ್ಯಗಳಲ್ಲಿ ಆಂಗ್ಲ ಭಾಷೆಯ "bank" ಎಂಬ ಪದವಿದೆ. ಆದರೆ 'ಗಮನ ಕೇಂದ್ರೀಕರಿಸುವ ತಂತ್ರ'ವು, ಮೊದಲ ವಾಕ್ಯದಲ್ಲಿರುವ "river" ಮತ್ತು ಎರಡನೇ ವಾಕ್ಯದಲ್ಲಿರುವ "closed" ಎಂಬ ಪದಗಳ ಮೇಲೆ ತನ್ನ ಗಮನವನ್ನು ಹೈಲೈಟ್ ಮಾಡುತ್ತದೆ. ಇದರಿಂದ ಯಂತ್ರಕ್ಕೆ ಆಯಾ ವಾಕ್ಯದಲ್ಲಿ "bank" ಪದದ ಅರ್ಥ ಏನಾಗಿದೆ ಎಂಬುದು ತಕ್ಷಣವೇ ತಿಳಿಯುತ್ತದೆ.

ಗೂಗಲ್‌ ( Google )ನ ಕ್ರಾಂತಿಕಾರಿ ಪ್ರಬಂಧ: "ಗಮನವೊಂದೇ ಸಾಕು" (Attention Is All You Need)

೨೦೧೭ಕ್ಕೂ ಮೊದಲು ಕೃತಕ ಬುದ್ಧಿಮತ್ತೆಗಳು ವಾಕ್ಯವೊಂದನ್ನು ಓದುವಾಗ, ಒಂದೊಂದೇ ಪದವನ್ನು ಓದುತ್ತಿದ್ದವು. ಇದರಿಂದಾಗಿ ಉದ್ದನೆಯ ವಾಕ್ಯದ ಕೊನೆಗೆ ಬರುವಷ್ಟರಲ್ಲಿ, ವಾಕ್ಯದ ಆರಂಭದಲ್ಲಿ ಏನು ಹೇಳಲಾಗಿತ್ತು ಎಂಬುದನ್ನು ಯಂತ್ರ ಮರೆತುಬಿಡುತ್ತಿತ್ತು!

ಆಗ ೨೦೧೭ರಲ್ಲಿ ಗೂಗಲ್‌ನ (Google) ಸಂಶೋಧಕರ ತಂಡವು ಕೃತಕ ಬುದ್ಧಿಮತ್ತೆಯ ಇತಿಹಾಸವನ್ನೇ ಬದಲಾಯಿಸಿದ ಒಂದು ಸಂಶೋಧನಾ ಪ್ರಬಂಧವನ್ನು (Research Paper) ಪ್ರಕಟಿಸಿತು. ಅದರ ಹೆಸರೇ "Attention Is All You Need" (ನಿಮಗೆ ಕೇವಲ ಗಮನವೊಂದೇ ಸಾಕು).

ಹಳೆಯ ತಂತ್ರಜ್ಞಾನಗಳನ್ನೆಲ್ಲಾ ಕೈಬಿಟ್ಟು, ಕೇವಲ 'ಗಮನ ಕೇಂದ್ರೀಕರಿಸುವ ತಂತ್ರ'ವನ್ನು ಬಳಸಿದರೆ ಸಾಕು, ಯಂತ್ರವು ಭಾಷೆಯನ್ನು ಅತ್ಯದ್ಭುತವಾಗಿ ಕಲಿಯುತ್ತದೆ ಎಂದು ಈ ಪ್ರಬಂಧ ಸಾಬೀತುಪಡಿಸಿತು.

ರೂಪಾಂತರಕ ವಿನ್ಯಾಸ (The Transformer Architecture)

ಇದೇ ಸಂಶೋಧನಾ ಪ್ರಬಂಧದಲ್ಲಿ ಗೂಗಲ್ ಪರಿಚಯಿಸಿದ ಆ ಹೊಸ ಪ್ರಬಲ ತಂತ್ರಜ್ಞಾನದ ವಿನ್ಯಾಸವೇ 'ರೂಪಾಂತರಕ' (Transformer).

ಇದರ ವಿಶೇಷತೆ ಎಂದರೆ, ಇದು ವಾಕ್ಯವನ್ನು ಒಂದೊಂದೇ ಪದವಾಗಿ ಓದುವುದಿಲ್ಲ. ಬದಲಾಗಿ ವಾಕ್ಯದ ಎಲ್ಲಾ ಪದಗಳನ್ನೂ ಏಕಕಾಲದಲ್ಲಿ (Parallel processing) ಓದುತ್ತದೆ! ನಂತರ ಅದರಲ್ಲಿರುವ 'ಗಮನ ಕೇಂದ್ರೀಕರಿಸುವ ತಂತ್ರ'ವು, ಯಾವ ಪದದ ಅರ್ಥವು ಯಾವ ಪದಕ್ಕೆ ತಳುಕುಹಾಕಿಕೊಂಡಿದೆ ಎಂದು ಮಿಂಚಿನ ವೇಗದಲ್ಲಿ ಲೆಕ್ಕಾಚಾರ ಮಾಡುತ್ತದೆ.

ಇಂದು ನಾವು ನೋಡುತ್ತಿರುವ ChatGPT ಯ ಕೊನೆಯಲ್ಲಿರುವ "T" ಎಂದರೆ ಇದೇ Transformer. ಜಗತ್ತಿನ ಎಲ್ಲಾ ಪ್ರಸಿದ್ಧ ಸೃಷ್ಟಿಶೀಲ ಕೃತಕ ಬುದ್ಧಿಮತ್ತೆ ಮಾದರಿಗಳೂ (Generative AI models) ಇಂದು ಇದೇ ಗೂಗಲ್ (Google) ಸೃಷ್ಟಿಸಿದ 'ರೂಪಾಂತರಕ' ಮತ್ತು 'ಗಮನ ಕೇಂದ್ರೀಕರಿಸುವ' ವಿನ್ಯಾಸದ ಮೇಲೆಯೇ ನಿಂತಿವೆ.

ಸಾರಾಂಶ: ಒಂದು ಉದ್ದನೆಯ ಪಠ್ಯದಲ್ಲಿ ಯಾವ ಪದಗಳಿಗೆ ಹೆಚ್ಚಿನ 'ತೂಕ' ಅಥವಾ 'ಗಮನ' ನೀಡಬೇಕು ಎಂದು ನಿರ್ಧರಿಸುವ ವ್ಯವಸ್ಥೆಯೇ ಗಮನ ಕೇಂದ್ರೀಕರಿಸುವ ತಂತ್ರ. ಇದು ಕೃತಕ ಬುದ್ಧಿಮತ್ತೆಗೆ ಕೇವಲ ಭಾಷಾಂತರ ಮಾಡುವುದನ್ನಷ್ಟೇ ಅಲ್ಲ, ಮನುಷ್ಯರಂತೆಯೇ 'ಪೂರ್ವಾಪರ ಸನ್ನಿವೇಶ'ವನ್ನು ಗ್ರಹಿಸುವ ಶಕ್ತಿಯನ್ನು ನೀಡಿದೆ.