ಕಂಪ್ಯೂಟರ್‌ಗಳಿಗೆ ಮನುಷ್ಯರ ಭಾಷೆ, ಅಕ್ಷರ ಅಥವಾ ವಾಕ್ಯಗಳು ನೇರವಾಗಿ ಅರ್ಥವಾಗುವುದಿಲ್ಲ. ಅವುಗಳಿಗೆ ಗೊತ್ತಿರುವುದು ಕೇವಲ ಸೊನ್ನೆ ಮತ್ತು ಒಂದರ (0 ಮತ್ತು 1) ಗಣಿತದ ಭಾಷೆ ಮಾತ್ರ. ಹಾಗಾದರೆ, ಕೃತಕ ಬುದ್ಧಿಮತ್ತೆಗೆ (AI) ನಾವು ನೀಡುವ ಸೂಚನೆಗಳು (Prompts) ಅರ್ಥವಾಗುವುದು ಹೇಗೆ? ಮತ್ತು ಅದು ಅಷ್ಟು ಬುದ್ಧಿವಂತಿಕೆಯಿಂದ ಉತ್ತರ ಕೊಡುವುದು ಹೇಗೆ?

ಈ ಸಂಪೂರ್ಣ ಪ್ರಕ್ರಿಯೆಯನ್ನು ನಾವು ಎರಡು ಮುಖ್ಯ ಹಂತಗಳಲ್ಲಿ ಅರ್ಥಮಾಡಿಕೊಳ್ಳಬಹುದು: ಟೋಕನ್‌ಗಳು (ಭಾಷೆಯ ವಿಂಗಡನೆ) ಮತ್ತು ನಿಯತಾಂಕಗಳು (ಜ್ಞಾನದ ಬಳಕೆ).

೧. ಟೋಕನ್‌ಗಳು (Tokens): ಭಾಷೆಯನ್ನು ಕಟ್ಟುವ 'ಇಟ್ಟಿಗೆಗಳು'

ಭಾಷೆಯನ್ನು ನೇರವಾಗಿ ಓದುವ ಬದಲು, AI ವಾಕ್ಯಗಳನ್ನು ಮತ್ತು ಪದಗಳನ್ನು ಸಣ್ಣ ಸಣ್ಣ 'ಅಕ್ಷರಗಳ ತುಣುಕುಗಳಾಗಿ' ಕತ್ತರಿಸಿಕೊಳ್ಳುತ್ತದೆ. ಈ ಪ್ರತಿಯೊಂದು ತುಣುಕನ್ನೂ 'ಟೋಕನ್' (Token) ಎನ್ನುತ್ತಾರೆ.

ಒಂದು ದೊಡ್ಡ ಮನೆಯನ್ನು ಕಟ್ಟಲು ನೀವು ಸಣ್ಣ ಸಣ್ಣ 'ಇಟ್ಟಿಗೆಗಳನ್ನು' ಬಳಸುತ್ತೀರಲ್ಲವೇ? ಟೋಕನ್‌ಗಳು ಕೂಡ ಭಾಷೆಯನ್ನು ಕಟ್ಟುವ ಇಟ್ಟಿಗೆಗಳಿದ್ದಂತೆ.

ಉದಾಹರಣೆಗೆ: ಇಂಗ್ಲಿಷ್‌ನ "Unbelievable" ಎಂಬ ಪದವನ್ನು ಕೃತಕ ಬುದ್ಧಿಮತ್ತೆ ಒಂದೇ ಪದವಾಗಿ ಓದುವುದಿಲ್ಲ. ಬದಲಾಗಿ ಇದನ್ನು 3 ಇಟ್ಟಿಗೆಗಳಾಗಿ ವಿಂಗಡಿಸುತ್ತದೆ:

  1. Un 2. believ 3. able

ಕನ್ನಡದ ಪದಗಳು ಸಾಮಾನ್ಯವಾಗಿ ಉದ್ದವಾಗಿರುತ್ತವೆ. ಉದಾಹರಣೆಗೆ, "ಹೋಗುತ್ತಿದ್ದಾನೆ" ಎಂಬ ಪದವನ್ನು AI ನೋಡಿದಾಗ, ಅದನ್ನು ನೇರವಾಗಿ ಅರ್ಥಮಾಡಿಕೊಳ್ಳಲು ಒದ್ದಾಡುತ್ತದೆ. ಆಗ ಅದು ಟೋಕನ್‌ಗಳ ಮೊರೆ ಹೋಗುತ್ತದೆ:

  • ಹೋಗು + ತ್ತಿ + ದ್ದಾನೆ ಹೀಗೆ ಪದವನ್ನು ಅರ್ಥಪೂರ್ಣ ತುಣುಕುಗಳಾಗಿ ಒಡೆಯುವುದರಿಂದ ಹೊಸ ಪದಗಳನ್ನು ಓದಲು ಸುಲಭವಾಗುತ್ತದೆ ಮತ್ತು ಕಂಪ್ಯೂಟರ್‌ನ ನೆನಪಿನ ಶಕ್ತಿ (Memory) ಉಳಿಯುತ್ತದೆ. ನಾವು ಟೈಪ್ ಮಾಡುವ ಪ್ರತಿಯೊಂದು ಪದವೂ ಮೊದಲು ಈ ರೀತಿ ಟೋಕನ್‌ಗಳಾಗಿ (ಸಂಖ್ಯೆಗಳಾಗಿ) ಬದಲಾಗುತ್ತದೆ.

೨. ನಿಯತಾಂಕಗಳು (Parameters): ಕೃತಕ ಬುದ್ಧಿಮತ್ತೆಯ ಜ್ಞಾನಭಂಡಾರ

ಟೋಕನ್‌ಗಳು ಒಳಬಂದ ನಂತರ, ಆ ಇಟ್ಟಿಗೆಗಳನ್ನು ಓದಿ, ಅರ್ಥಮಾಡಿಕೊಂಡು ಸರಿಯಾದ ಉತ್ತರವನ್ನು ಕಟ್ಟಿಕೊಡುವ ಕೆಲಸವನ್ನು AI ನ "ಮೆದುಳು" ಮಾಡುತ್ತದೆ. ಈ ಮೆದುಳಿನ ಶಕ್ತಿಯೇ ನಿಯತಾಂಕಗಳು (Parameters).

ಕಂಪ್ಯೂಟರ್ ಕಲಿಯುವ ಪ್ರತಿಯೊಂದು ವಿಷಯವೂ 'ತೂಕ ಮತ್ತು ಪ್ರವೃತ್ತಿ' (Weights and Biases) ಎಂಬ ಸಂಖ್ಯೆಗಳ ರೂಪದಲ್ಲಿ ಶೇಖರವಾಗುತ್ತದೆ. ಇವೆರಡನ್ನೂ ಒಟ್ಟಾಗಿ 'ಪ್ಯಾರಾಮೀಟರ್ಸ್' ಎನ್ನುತ್ತಾರೆ.

  • ಹೆಚ್ಚು ಪ್ಯಾರಾಮೀಟರ್ಸ್ = ಹೆಚ್ಚು ಜ್ಞಾನ: ೧ ಮಿಲಿಯನ್ ಪ್ಯಾರಾಮೀಟರ್ ಇರುವ ಮಾಡೆಲ್ ಒಂದು ಸಣ್ಣ ಹಳ್ಳಿಯ ಲೈಬ್ರರಿ ಇದ್ದಂತೆ. ಅದೇ ೧೦೦ ಬಿಲಿಯನ್ ಪ್ಯಾರಾಮೀಟರ್ಸ್ ಇರುವ ಮಾಡೆಲ್ ಒಂದು ದೊಡ್ಡ ನ್ಯಾಷನಲ್ ಲೈಬ್ರರಿ ಇದ್ದಂತೆ (ಪ್ರಪಂಚದ ಎಲ್ಲಾ ವಿಷಯಗಳ ಸಂಪೂರ್ಣ ಜ್ಞಾನ).

  • ಸಕ್ರಿಯ ಮತ್ತು ನಿಷ್ಕ್ರಿಯ ನಿಯತಾಂಕಗಳು (Active vs. Passive): ಒಂದು ಮಾಡೆಲ್‌ನಲ್ಲಿರುವ ಎಲ್ಲ ಜ್ಞಾನವೂ ಒಂದೇ ಬಾರಿಗೆ ಬಳಕೆಯಾಗುವುದಿಲ್ಲ. ಉದಾಹರಣೆಗೆ, ನೀವು AI ಗೆ ಕೋಡಿಂಗ್ ಬಗ್ಗೆ ಪ್ರಶ್ನೆ ಕೇಳಿದರೆ, ಕೇವಲ ಕೋಡಿಂಗ್‌ಗೆ ಸಂಬಂಧಿಸಿದ 'ಎಕ್ಸ್‌ಪರ್ಟ್' ಪ್ಯಾರಾಮೀಟರ್ಸ್ ಮಾತ್ರ ಸಕ್ರಿಯವಾಗಿ (Active) ಕೆಲಸ ಮಾಡುತ್ತವೆ. ಉಳಿದವು ನಿಷ್ಕ್ರಿಯವಾಗಿ (Passive) ಸುಮ್ಮನಿರುತ್ತವೆ. ಇದರಿಂದ ಕಂಪ್ಯೂಟರ್‌ನ ಶಕ್ತಿ ಮತ್ತು ಸಮಯ ಉಳಿಯುತ್ತದೆ.

ಕೆಲವು ಪ್ರಸಿದ್ಧ ಮುಕ್ತ ಮೂಲ (Open Source) ಮಾಡೆಲ್‌ಗಳು:

  • Llama 3 (Meta): 8B (೮ ಬಿಲಿಯನ್) ಮತ್ತು 70B ಪ್ಯಾರಾಮೀಟರ್‌ಗಳ ಆವೃತ್ತಿಗಳು.

  • Qwen 2.5 (Alibaba): 7B ಯಿಂದ 72B ವರೆಗಿನ ವಿವಿಧ ಸೈಜ್‌ಗಳು.

  • DeepSeek-R1: ಇದು ಒಟ್ಟು 671B ಪ್ಯಾರಾಮೀಟರ್‌ಗಳನ್ನು ಹೊಂದಿದ್ದರೂ, ಒಂದು ಪ್ರಶ್ನೆಗೆ ಉತ್ತರಿಸಲು ಕೇವಲ 37B ಸಕ್ರಿಯ (Active) ಪ್ಯಾರಾಮೀಟರ್‌ಗಳನ್ನು ಮಾತ್ರ ಬಳಸುತ್ತದೆ.

೩. ಮ್ಯಾಟ್ರಿಕ್ಸ್ ಗುಣಾಕಾರ (Matrix Multiplication): ಟೋಕನ್ ಮತ್ತು ಜ್ಞಾನದ ಮಿಲನ

ಈಗ ನಿಮ್ಮ ತಲೆಯಲ್ಲಿ ಒಂದು ಪ್ರಶ್ನೆ ಮೂಡಿರಬಹುದು: "ನಾನು ಕೊಟ್ಟ ಟೋಕನ್‌ಗಳನ್ನು, ೭೦ ಬಿಲಿಯನ್ ಪ್ಯಾರಾಮೀಟರ್‌ಗಳ ಜೊತೆ ಒಂದೊಂದಾಗಿ ಲೆಕ್ಕಹಾಕುತ್ತಾ ಹೋದರೆ, ಒಂದು ಉತ್ತರ ಕೊಡಲು AI ಗೆ ವರ್ಷಗಳೇ ಬೇಕಲ್ಲವೇ?"

ಇಲ್ಲೇ ಮ್ಯಾಟ್ರಿಕ್ಸ್ ಗುಣಾಕಾರದ (Matrix Multiplication) ಮ್ಯಾಜಿಕ್ ಶುರುವಾಗುವುದು. ನಾವು ಕೊಟ್ಟ 'ಟೋಕನ್‌ಗಳು' ಮತ್ತು AI ಒಳಗೆ ಇರುವ 'ಪ್ಯಾರಾಮೀಟರ್ಸ್' ಪರಸ್ಪರ ಸೇರುವುದು ಈ ಗಣಿತದ ಸೂತ್ರದ ಮೂಲಕವೇ:

Y = W . X + B

  • X ಎಂದರೆ ನೀವು ಕೊಟ್ಟಿರುವ ಇನ್‌ಪುಟ್ (ಟೋಕನ್‌ಗಳ ಮ್ಯಾಟ್ರಿಕ್ಸ್).

  • W ಎಂದರೆ AI ನಲ್ಲಿರುವ ಕೋಟ್ಯಂತರ ವೇಟ್ಸ್‌ಗಳ ಬೃಹತ್ ಮ್ಯಾಟ್ರಿಕ್ಸ್ (ಜ್ಞಾನ).

  • B ಎಂದರೆ ಬಯಾಸ್ ವೆಕ್ಟರ್ (ಸಹಜ ಪ್ರವೃತ್ತಿ).

  • Y ಎಂದರೆ AI ಊಹಿಸುವ ಮುಂದಿನ ಟೋಕನ್ (ನಿಮ್ಮ ಉತ್ತರ).

ಈ ಕೋಟ್ಯಂತರ ಗುಣಾಕಾರಗಳನ್ನು ಒಂದರ ನಂತರ ಒಂದರಂತೆ ಮಾಡುವುದಿಲ್ಲ. ಇಂದಿನ ಅತ್ಯಾಧುನಿಕ ಗ್ರಾಫಿಕ್ಸ್ ಕಾರ್ಡ್‌ಗಳು (GPUs) ಈ ಮ್ಯಾಟ್ರಿಕ್ಸ್ ಗುಣಾಕಾರವನ್ನು ಏಕಕಾಲದಲ್ಲಿ (Parallel processing) ಅತ್ಯಂತ ವೇಗವಾಗಿ ಮಾಡುತ್ತವೆ.

ಸಾರಾಂಶ: ನಾವು ನೀಡುವ ಸೂಚನೆಯು ಮೊದಲು ಟೋಕನ್‌ಗಳಾಗಿ (ಇಟ್ಟಿಗೆಗಳಾಗಿ) ತುಂಡರಿಸಲ್ಪಡುತ್ತದೆ. ನಂತರ ಆ ಟೋಕನ್‌ಗಳು AI ನ ನಿಯತಾಂಕಗಳ (ಜ್ಞಾನಭಂಡಾರದ) ಜೊತೆ ಮ್ಯಾಟ್ರಿಕ್ಸ್ ಗುಣಾಕಾರದ ಮೂಲಕ ಸೆಕೆಂಡಿನ ಮಿಲಿಯನ್ ಭಾಗದಷ್ಟು ವೇಗದಲ್ಲಿ ಪ್ರೊಸೆಸ್ ಆಗಿ, ನಮಗೆ ಅದ್ಭುತವಾದ ಉತ್ತರವಾಗಿ ಹೊರಹೊಮ್ಮುತ್ತದೆ!