ನಾವು Gemini ಯಂತಹ AI ಗಳಿಗೆ ಯಾವುದೇ ಪ್ರಶ್ನೆ ಕೇಳಿದರೂ ಅವು ಅತ್ಯಂತ ವಿನಯದಿಂದ, ಸಭ್ಯವಾಗಿ ಮತ್ತು ನಮಗೆ ಸಹಾಯವಾಗುವಂತೆ ಉತ್ತರಿಸುತ್ತವೆ ಅಲ್ಲವೇ? ಆದರೆ ಇಂಟರ್ನೆಟ್‌ನಲ್ಲಿರುವ ಎಲ್ಲಾ ಕೆಟ್ಟ ಮಾತುಗಳು, ಜಗಳಗಳು, ಸುಳ್ಳುಗಳನ್ನೂ ಓದಿಕೊಂಡಿರುವ ಈ AI ಇಷ್ಟೊಂದು ಸಭ್ಯನಾಗಿರಲು ಹೇಗೆ ಸಾಧ್ಯ?

ಅದಕ್ಕೆ ಸಾಕುಪ್ರಾಣಿಗಳಿಗೆ ನೀಡುವ ತರಬೇತಿಯಂತಹ ಒಂದು ವಿಶೇಷ ಶಿಸ್ತಿನ ಪಾಠವನ್ನು ಮಾಡಲಾಗಿರುತ್ತದೆ. ಅದನ್ನೇ ತಾಂತ್ರಿಕ ಜಗತ್ತಿನಲ್ಲಿ RLHF (Reinforcement Learning from Human Feedback) ಎನ್ನುತ್ತಾರೆ.

ನಾಯಿಮರಿಯ ತರಬೇತಿ ಮತ್ತು AI ಗೆ ನೀಡುವ 'ಬಹುಮಾನ'

ಒಂದು ಮುದ್ದಾದ ನಾಯಿಮರಿಯನ್ನು ಮನೆಗೆ ತಂದಿದ್ದೀರಿ ಎಂದು ಕಲ್ಪಿಸಿಕೊಳ್ಳಿ. ಅದಕ್ಕೆ ಎಲ್ಲವನ್ನೂ ಬಲ್ಲ ಸಾಮಾನ್ಯ ಜ್ಞಾನವಿರುತ್ತದೆ (ಅದನ್ನು ಮುಂಚಿತ-ತರಬೇತಿ ಅಥವಾ Pre-training ಅಂದುಕೊಳ್ಳಿ).

  • ತಪ್ಪು ವರ್ತನೆ: ಆ ನಾಯಿಮರಿ ಮನೆಯ ಸೋಫಾ ಕಚ್ಚುವುದು ಅಥವಾ ಎಲ್ಲೆಂದರಲ್ಲಿ ಮಲವಿಸರ್ಜನೆ ಮಾಡುವುದನ್ನು ನೀವು ನೋಡುತ್ತೀರಿ. ಆಗ ನೀವು ಅದಕ್ಕೆ ಬೈದು, ಅದು ತಪ್ಪು ಎಂದು ಅರ್ಥ ಮಾಡಿಸುತ್ತೀರಿ.

  • ಸರಿಯಾದ ವರ್ತನೆ (ಬಹುಮಾನ): ಅದೇ ನಾಯಿಮರಿ ನೀವು 'ಷೇಕ್ ಹ್ಯಾಂಡ್' (Shake hand) ಎಂದಾಗ ಸರಿಯಾಗಿ ಕೈ ನೀಡಿದರೆ, ತಕ್ಷಣ ನೀವು ಅದಕ್ಕೆ ಬಿಸ್ಕೆಟ್ ಕೊಟ್ಟು, ಬೆನ್ನು ಸವರಿ "ಗುಡ್ ಬಾಯ್" ಎಂದು ಹೊಗಳುತ್ತೀರಿ. ಇಲ್ಲಿ ಬಿಸ್ಕೆಟ್ ಸಿಕ್ಕಾಗ ನಾಯಿಮರಿಗೆ ಏನರ್ಥವಾಗುತ್ತದೆ? "ಓಹೋ! ನಾನು ಈ ರೀತಿ ಮಾಡಿದರೆ ನನಗೆ ಬಹುಮಾನ ಸಿಗುತ್ತದೆ, ಇದು ಒಳ್ಳೆಯ ಕೆಲಸ" ಎಂದುಕೊಂಡು ಮುಂದಿನ ಬಾರಿಯೂ ಅದನ್ನೇ ಮಾಡಲು ಕಲಿಯುತ್ತದೆ.

AI ಗೂ ಕೂಡ ಮನುಷ್ಯರು ಅಕ್ಷರಶಃ ಇದೇ ರೀತಿ "ಬಿಸ್ಕೆಟ್ ಮತ್ತು ಶಿಕ್ಷೆ"ಯ ತಂತ್ರವನ್ನು ಬಳಸಿ ತರಬೇತಿ ನೀಡುತ್ತಾರೆ!

ತಾಂತ್ರಿಕವಾಗಿ ಇದು ಹೇಗೆ ಕೆಲಸ ಮಾಡುತ್ತದೆ? (ಮೂರು ಹಂತಗಳು)

  1. ಆಯ್ಕೆಗಳನ್ನು ನೀಡುವುದು: AI ಗೆ ಒಂದು ಪ್ರಶ್ನೆ ಕೇಳಿದಾಗ, ಅದು ಮೂರ್ನಾಲ್ಕು ವಿಭಿನ್ನ ಶೈಲಿಯ ಉತ್ತರಗಳನ್ನು ಸಿದ್ಧಪಡಿಸುತ್ತದೆ.

  2. ಮನುಷ್ಯರ ತೀರ್ಪು (Human Feedback): ತರಬೇತುದಾರರಾದ ಮನುಷ್ಯರು ಆ ನಾಲ್ಕೂ ಉತ್ತರಗಳನ್ನು ಓದುತ್ತಾರೆ. ಯಾವುದು ಸಭ್ಯವಾಗಿದೆ, ನಿಖರವಾಗಿದೆ ಮತ್ತು ಸುರಕ್ಷಿತವಾಗಿದೆ ಎಂದು ನೋಡಿ ಅದಕ್ಕೆ 'Rank 1' (ಹೆಚ್ಚಿನ ಅಂಕ) ನೀಡುತ್ತಾರೆ. ಯಾವುದು ಅಸಭ್ಯವಾಗಿದೆಯೋ ಅದಕ್ಕೆ 'ಕಡಿಮೆ ಅಂಕ' ನೀಡುತ್ತಾರೆ.

  3. ಬಹುಮಾನದ ಮಾದರಿ (Reward Model): ಈ ಮನುಷ್ಯರ ತೀರ್ಪನ್ನು ನೋಡಿ ಕಂಪ್ಯೂಟರ್ ಒಂದು 'ಬಹುಮಾನದ ನಿಯಮ'ವನ್ನು (Reward Model) ಸೃಷ್ಟಿಸಿಕೊಳ್ಳುತ್ತದೆ. ಮುಂದಿನ ಬಾರಿ ಕೋಟ್ಯಂತರ ಜನರು ಪ್ರಶ್ನೆ ಕೇಳಿದಾಗ, AI ತನಗೆ ಹೆಚ್ಚಿನ ಅಂಕ ಸಿಗುವಂತಹ (ಮನುಷ್ಯರಿಗೆ ಇಷ್ಟವಾಗುವಂತಹ) ಸಭ್ಯ ಮತ್ತು ಸುರಕ್ಷಿತ ಉತ್ತರಗಳನ್ನೇ ನೀಡಲು ಕಲಿಯುತ್ತದೆ.

ಇದು ನಮಗೇಕೆ ಅಷ್ಟೊಂದು ಮುಖ್ಯ?

ಒಂದು ವೇಳೆ ಈ RLHF ಅಥವಾ ಮಾನವ ಮಾರ್ಗದರ್ಶನದ ಶಿಸ್ತುಬದ್ಧ ಕಲಿಕೆ ಇಲ್ಲದಿದ್ದರೆ ಏನಾಗುತ್ತಿತ್ತು ಗೊತ್ತಾ?

  • ನೀವು AI ಗೆ ಹೋಗಿ, "ನಾನು ಕಾರ್ ಕದಿಯುವುದು ಹೇಗೆ?" ಅಥವಾ "ಬಾಂಬ್ ತಯಾರಿಸುವುದು ಹೇಗೆ?" ಎಂದು ಕೇಳಿದರೆ, ಇಂಟರ್ನೆಟ್‌ನಲ್ಲಿರುವ ಮಾಹಿತಿಯನ್ನೆಲ್ಲಾ ಹುಡುಕಿ ಅದು ತಕ್ಷಣವೇ ನಿಮಗೆ ಸಹಾಯ ಮಾಡಿಬಿಡುತ್ತಿತ್ತು!

  • ಆದರೆ ಈ ಶಿಸ್ತಿನ ಪಾಠ ಇರುವುದರಿಂದಲೇ, ಅಂತಹ ಪ್ರಶ್ನೆ ಕೇಳಿದಾಗ AI ತಕ್ಷಣ ಹದ್ದುಬಸ್ತಿನಲ್ಲಿ ನಿಂತು, "ಕ್ಷಮಿಸಿ, ನಾನು ಇಂತಹ ಕಾನೂನುಬಾಹಿರ ಕೆಲಸಗಳಿಗೆ ಸಹಾಯ ಮಾಡಲು ಸಾಧ್ಯವಿಲ್ಲ" ಎಂದು ಅತ್ಯಂತ ವಿನಯದಿಂದ ನಿರಾಕರಿಸುತ್ತದೆ.

ಸಾರಾಂಶ: ಮಾನವ ಮಾರ್ಗದರ್ಶನದ ಶಿಸ್ತುಬದ್ಧ ಕಲಿಕೆ (RLHF) ಎಂದರೆ, ಕೇವಲ ಇಂಟರ್ನೆಟ್ ಜ್ಞಾನವನ್ನು ಹೊಂದಿರುವ AI ಗೆ, ಮನುಷ್ಯರು ಯಾವುದು ಸರಿ, ಯಾವುದು ತಪ್ಪು ಎಂದು ತಿದ್ದಿ, ಅದರ ವರ್ತನೆಯನ್ನು ಸಮಾಜಕ್ಕೆ ಒಪ್ಪುವಂತೆ 'ಸಭ್ಯ ಮತ್ತು ಜವಾಬ್ದಾರಿಯುತ' ನನ್ನಾಗಿ ರೂಪಿಸುವ ಅಂತಿಮ ತರಬೇತಿ ಪ್ರಕ್ರಿಯೆ.