ಎಐ ಜಗತ್ತಿನಲ್ಲಿ ಪ್ರತಿವರ್ಷ ಮಾದರಿಗಳ (Models) ಗಾತ್ರ ಮತ್ತು ಜಟಿಲತೆ ದ್ವಿಗುಣಗೊಳ್ಳುತ್ತಿದೆ. ಆದರೆ ಈ ಎಐ ಕ್ರಾಂತಿಗೆ ಶಕ್ತಿ ತುಂಬುತ್ತಿರುವ ಮೂಲಸೌಕರ್ಯವು ತೀವ್ರ ಬಿಕ್ಕಟ್ಟನ್ನು ಎದುರಿಸುತ್ತಿದೆ. ಸಾಂಪ್ರದಾಯಿಕ GPUಗಳು (Graphics Processing Units) ಹಾಗೂ ಅವುಗಳನ್ನು ಸಂಪರ್ಕಿಸುವ ತಾಮ್ರದ (Copper) ಕೇಬಲ್‌ಗಳು ತಮ್ಮ ಭೌತಿಕ ಮತ್ತು ವಿದ್ಯುತ್ ಸಾಮರ್ಥ್ಯದ ಅಂತಿಮ ಗೆರೆಯನ್ನು ತಲುಪಿವೆ.

ಸಾವಿರಾರು ಜಿಪಿಯುಗಳನ್ನು ಹೊಂದಿರುವ ಬೃಹತ್ ಎಐ ಡೇಟಾ ಸೆಂಟರ್‌ಗಳಲ್ಲಿ, ಅರ್ಧಕ್ಕಿಂತ ಹೆಚ್ಚು ವಿದ್ಯುತ್ ಸಮ್ಮಿಶ್ರಿತ ವೈರ್‌ಗಳಲ್ಲಿ ಡೇಟಾವನ್ನು ರವಾನಿಸಲು ಮತ್ತು ಅದರಿಂದ ಉಂಟಾಗುವ ತಾಪಮಾನವನ್ನು ತಂಪುಗೊಳಿಸಲು (Cooling) ವೆಚ್ಚವಾಗುತ್ತಿದೆ. ಈ "Power Wall" (ವಿದ್ಯುತ್ ಮಿತಿ) ಮತ್ತು "Thermal Wall" (ಉಷ್ಣತೆಯ ಮಿತಿ) ಸವಾಲುಗಳನ್ನು ಮೀರಿ ನಿಲ್ಲಲು ಸಿಲಿಕಾನ್ ಫೋಟೋನಿಕ್ಸ್ (Silicon Photonics) ಮತ್ತು ಕಸ್ಟಮ್ ಎಸಿಕ್ ಚಿಪ್‌ಗಳು (Custom ASICs) ರಂಗಪ್ರವೇಶ ಮಾಡಿವೆ.

೧. ಬೆಳಕಿನ ಕ್ರಾಂತಿ: In-Package Optical I/O ಹಾಗೂ CPO

ಸಾಂಪ್ರದಾಯಿಕ ಮದರ್‌ಬೋರ್ಡ್‌ಗಳಲ್ಲಿ ಎಲೆಕ್ಟ್ರಾನ್‌ಗಳನ್ನು (ವಿದ್ಯುತ್) ತಾಮ್ರದ ವೈರ್‌ಗಳ ಮೂಲಕ ಕಳುಹಿಸಿದಾಗ ಪ್ರತಿರೋಧ (Resistance) ಉಂಟಾಗಿ ತಾಪಮಾನ ಹೆಚ್ಚುತ್ತದೆ ಮತ್ತು ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್ ಮಿತಿಗೊಳ್ಳುತ್ತದೆ. ಇದಕ್ಕೆ ಪರಿಹಾರವೇ ಸಿಲಿಕಾನ್ ಫೋಟೋನಿಕ್ಸ್—ಅಂದರೆ ಎಲೆಕ್ಟ್ರಾನ್‌ಗಳ ಬದಲಾಗಿ ಫೋಟಾನ್‌ಗಳನ್ನು (ಬೆಳಕಿನ ತರಂಗಗಳು) ಬಳಸಿ ಚಿಪ್‌ಗಳ ನಡುವೆ ಡೇಟಾ ವರ್ಗಾಯಿಸುವುದು.

ಕೋ-ಪ್ಯಾಕೇಜ್ಡ್ ಆಪ್ಟಿಕ್ಸ್ (CPO) vs ಇನ್-ಪ್ಯಾಕೇಜ್ ಆಪ್ಟಿಕಲ್ I/O (In-Package Optical I/O)

ಆಪ್ಟಿಕಲ್ ಸಂಪರ್ಕದಲ್ಲಿ ಎರಡು ಮುಖ್ಯ ವಿಭಾಗಗಳಿವೆ:

  • Co-Packaged Optics (CPO): ಎತರ್ನೆಟ್ ಸ್ವಿಚ್‌ಗಳು ಹಾಗೂ ನೆಟ್‌ವರ್ಕಿಂಗ್ ರಾಕ್‌ಗಳ ಮಟ್ಟದಲ್ಲಿ ತಾಮ್ರದ ಕೇಬಲ್‌ಗಳನ್ನು ತೆಗೆದು ಆಪ್ಟಿಕಲ್ ಇಂಜಿನ್‌ಗಳನ್ನು ಸಂಯೋಜಿಸುವುದು. ಇದು ರ‍್ಯಾಕ್-ಟು-ರ‍್ಯಾಕ್ ಸಂಪರ್ಕದ ವಿದ್ಯುತ್ ಬಳಕೆಯನ್ನು ಗಮನಾರ್ಹವಾಗಿ ತಗ್ಗಿಸುತ್ತದೆ.

  • In-Package Optical I/O: ಇದು ನೆಟ್‌ವರ್ಕಿಂಗ್‌ಗಷ್ಟೇ ಸೀಮಿತವಾಗಿರದೆ, ಚಿಪ್‌ನ ಪ್ಯಾಕೇಜ್‌ ಒಳಗೇ (Silicon Substrate/Chiplet) ಪ್ರೊಸೆಸರ್ ಮತ್ತು HBM ನೆನಪಿನ ಶಕ್ತಿಯ ಪಕ್ಕದಲ್ಲೇ ಬೆಳಕಿನ ಲೇಸರ್ ಕನೆಕ್ಟರ್‌ಗಳನ್ನು ನೇರವಾಗಿ ಅಳವಡಿಸುತ್ತದೆ.

ಪ್ರಮುಖ ಪ್ರಗತಿಗಳು

  • TSMC COUPE Platform: ಟಿಸಿಎಮ್‌ಸಿಯ COUPE (Compact Optical Engine) ತಂತ್ರಜ್ಞಾನವು 3D ಪ್ಯಾಕೇಜಿಂಗ್ ಮೂಲಕ ಆಪ್ಟಿಕಲ್ ಡೈಗಳನ್ನು ನೇರವಾಗಿ ಕಂಪ್ಯೂಟ್ ಚಿಪ್‌ಗಳೊಂದಿಗೆ ಜೋಡಿಸುತ್ತಿದೆ.

  • Lightmatter & Ayar Labs: ಲೈಟ್‌ಮ್ಯಾಟರ್‌ನ Passage™ ನಂತಹ ಪ್ಲಾಟ್‌ಫಾರ್ಮ್‌ಗಳು ಪ್ರತಿ ಫೈಬರ್ ಇಂಟರ್‌ಕನೆಕ್ಟ್‌ಗೆ 1.6 Tbps ಗೂ ಹೆಚ್ಚಿನ ವೇಗವನ್ನು ಸಾಧಿಸಿದ್ದು, ಡೇಟಾ ರವಾನೆಯ ಲ್ಯಾಟೆನ್ಸಿಯನ್ನು ಸಿಂಗಲ್-ಡಿಜಿಟ್ ನ್ಯಾನೋಸೆಕೆಂಡ್‌ಗೆ ಇಳಿಸಿವೆ.

  • ಪ್ರಯೋಜನಗಳು: ವಿದ್ಯುತ್ ಬಳಕೆಯಲ್ಲಿ ಶೇ. 70ರಷ್ಟು ಕಡಿತ, ಶೂನ್ಯ ತಾಪಮಾನದ ಹಾನಿ, ಮತ್ತು ತಾಮ್ರದ ಕೇಬಲ್‌ಗಳಿಗಿಂತ ನೂರಾರು ಪಟ್ಟು ಹೆಚ್ಚಿನ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್ ಸಾಂದ್ರತೆ.

೨. ಕಸ್ಟಮ್ ಸಿಲಿಕಾನ್ ಚಿಪ್‌ಗಳ ಸಮರ: Groq LPU vs Google TPU v7

ಎಐ ಸಿಲಿಕಾನ್ ಕ್ಷೇತ್ರದಲ್ಲಿ 'ಎಲ್ಲಾ ಕೆಲಸಕ್ಕೂ ಒಂದೇ ಜಿಪಿಯು' (General Purpose GPU) ಎಂಬ ಮಾದರಿ ಬದಲಾಗಿ, ನಿರ್ದಿಷ್ಟ ಎಐ ಅಗತ್ಯಗಳಿಗಾಗಿಯೇ ರೂಪುಗೊಂಡ Custom ASICs ಪ್ರಾಬಲ್ಯ ಸಾಧಿಸುತ್ತಿವೆ.

Groq LPU (Language Processing Unit): ಇನ್‌ಫರೆನ್ಸ್‌ಗೆ ಶೂನ್ಯ ಲ್ಯಾಟೆನ್ಸಿ

Groq ಕಂಪನಿಯು ಸಾಂಪ್ರದಾಯಿಕ ಚಿಪ್ ವಿನ್ಯಾಸವನ್ನು ಸಂಪೂರ್ಣವಾಗಿ ಮರುಪರಿಶೀಲಿಸಿದೆ.

  • On-Chip SRAM ಪ್ರೈಮರಿ ಮೆಮೊರಿ: ಸಾಂಪ್ರದಾಯಿಕ ಚಿಪ್‌ಗಳು ಬಾಹ್ಯ DRAM ಅಥವಾ HBM ಮೆಮೊರಿಯನ್ನು ನೆಚ್ಚಿಕೊಂಡಿರುತ್ತವೆ, ಇದು ತೀವ್ರ ಲ್ಯಾಟೆನ್ಸಿಗೆ ಕಾರಣವಾಗುತ್ತದೆ. Groq LPU ನೂರಾರು ಮೆಗಾಬೈಟ್‌ನ ಬೃಹತ್ SRAM ಅನ್ನು ನೇರವಾಗಿ ಚಿಪ್‌ನ ಮೇಲೆಯೇ ಪ್ರೈಮರಿ ಶೇಖರಣೆಯಾಗಿ ಬಳಸುತ್ತದೆ.

  • Deterministic Execution: ಜಿಪಿಯುಗಳಲ್ಲಿ ಕಾರ್ಯಗತಗೊಳ್ಳುವ ಪ್ರಕ್ರಿಯೆಗಳು ಅನಿಶ್ಚಿತವಾಗಿರುತ್ತವೆ (Non-deterministic). ಆದರೆ Groq ನ ಕಸ್ಟಮ್ ಕಂಪೈಲರ್ ಪ್ರತಿಯೊಂದು ಇನ್‌ಸ್ಟ್ರಕ್ಷನ್ ಯಾವ ಕ್ಲಾಕ್ ಸೈಕಲ್‌ನಲ್ಲಿ ನಡೆಯಬೇಕು ಎಂಬುದನ್ನು ಪೂರ್ವನಿರ್ಧರಿತವಾಗಿ ನಿಗದಿಪಡಿಸುತ್ತದೆ.

  • ಫಲಿತಾಂಶ: LLM (Large Language Models) ಮತ್ತು MoE (Mixture of Experts) ಮಾಡೆಲ್‌ಗಳಲ್ಲಿ ನಂಬಲಾಗದ ಇನ್‌ಫರೆನ್ಸ್ ವೇಗ ಹಾಗೂ ಕಡಿಮೆ ವಿದ್ಯುತ್ ಬಳಕೆ.

Google TPU v7 (Ironwood Generation): ಬೃಹತ್ ತರಬೇತಿ ಮತ್ತು ಪ್ರೊಸೆಸಿಂಗ್ ದೈತ್ಯ

ಗೂಗಲ್‌ನ ಸಪ್ತಮ ಪೀಳಿಗೆಯ TPU v7 (Ironwood) ಎಐ ತರಬೇತಿ (Training) ಮತ್ತು ಅತ್ಯಂತ ಜಟಿಲ ಇನ್‌ಫರೆನ್ಸ್‌ಗಳನ್ನು ನಿಭಾಯಿಸಲು ರೂಪುಗೊಂಡಿದೆ.

  • Scale-Out Architecture: ಪ್ರತಿ ಪೋಡ್‌ಗೆ (Pod) 9,216 ಚಿಪ್‌ಗಳನ್ನು 3D ಟೋರಸ್ (3D Torus) ನೆಟ್‌ವರ್ಕ್ ಮೂಲಕ ಸಂಯೋಜಿಸಬಹುದಾಗಿದೆ.

  • Optical Circuit Switches (OCS): ಗೂಗಲ್ ತನ್ನ TPU ಸಾಲಿನಲ್ಲಿ ಆಪ್ಟಿಕಲ್ ಸರ್ಕ್ಯೂಟ್ ಸ್ವಿಚ್‌ಗಳನ್ನು ಬಳಸಿಕೊಂಡು, ವಿದ್ಯುತ್ ಸಂಪರ್ಕವಿಲ್ಲದೆಯೇ ಪ್ರೊಸೆಸರ್‌ಗಳ ನಡುವೆ ನೇರ ಬೆಳಕಿನ ಚಾನಲ್‌ಗಳನ್ನು ರೂಪಿಸುತ್ತದೆ.

  • Multi-tiered Memory: ಪ್ರತಿ ಚಿಪ್‌ಗೆ 192 GB HBM (7.37 TB/s ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್) ಜೊತೆಗೆ ಹೈ-ಸ್ಪೀಡ್ ಆನ್-ಚಿಪ್ vector memory (VMEM/SRAM) ಒಳಗೊಂಡಿದ್ದು, ತರಬೇತಿಯ ವೇಗವನ್ನು ಶೇ. 500ರಷ್ಟು ಹೆಚ್ಚಿಸುತ್ತದೆ.

೩. ತಾಮ್ರದ ಯುಗದ ಅಂತ್ಯ ಮತ್ತು ಎಐ ಡೇಟಾ ಸೆಂಟರ್‌ಗಳ ಭವಿಷ್ಯ

ಬೃಹತ್ ಪ್ರಮಾಣದ ಎಐ ಸೂಪರ್‌ಕಂಪ್ಯೂಟಿಂಗ್‌ಗೆ ತಾಮ್ರದ ವೈರ್‌ಗಳು ಇನ್ನು ಮುಂದೆ ಸೂಕ್ತವಲ್ಲ ಎಂಬುದು ಸ್ಪಷ್ಟವಾಗಿದೆ.

ವೈಶಿಷ್ಟ್ಯ (Feature)ತಾಮ್ರದ ಕೇಬಲ್ / ಸಾಂಪ್ರದಾಯಿಕ GPUಸಿಲಿಕಾನ್ ಫೋಟೋನಿಕ್ಸ್ / Custom ASICsಮಾಧ್ಯಮ (Medium)ಎಲೆಕ್ಟ್ರಾನ್ (ವಿದ್ಯುತ್ ವಾಹನ)ಫೋಟಾನ್ (ಬೆಳಕಿನ ತರಂಗಗಳು)ಉಷ್ಣತೆ (Heat)ವಿಪರೀತ - ದ್ರವ ಕೂಲಿಂಗ್ (Liquid Cooling) ಕಡ್ಡಾಯಅತ್ಯಂತ ಕಡಿಮೆ / ಗಾಳಿಯ ಕೂಲಿಂಗ್‌ನಲ್ಲೇ ನಿರ್ವಹಣೆ ಸಾಧ್ಯಬ್ಯಾಂಡ್‌ವಿಡ್ತ್ (Bandwidth)ಮಿತಿಗೊಳಿಸಲ್ಪಟ್ಟ ಸೀರಿಯಲ್ ಚಾನಲ್‌ಗಳುಸಮಾಂತರ ಆಪ್ಟಿಕಲ್ ವೇವ್‌ಲೆಂಗ್ತ್‌ಗಳು (1.6 Tbps+)ಆರ್ಕಿಟೆಕ್ಚರ್General Purpose (ಹೆಚ್ಚು ಓವರ್‌ಹೆಡ್)Domain-Specific (Groq LPU/TPU - ಶೂನ್ಯ ಲ್ಯಾಟೆನ್ಸಿ)

ಆಪ್ಟಿಕಲ್ I/O ಮತ್ತು ಕಸ್ಟಮ್ ಆರ್ಕಿಟೆಕ್ಚರ್ ಎಐ ಮೂಲಸೌಕರ್ಯದ ಸಂಪೂರ್ಣ ಚಿತ್ರಣವನ್ನೇ ಬದಲಾಯಿಸುತ್ತಿವೆ. ಮುಂಬರುವ ಸೂಪರ್‌ಕಂಪ್ಯೂಟರ್‌ಗಳು ಕೇವಲ ಹೆಚ್ಚಿನ ಜಿಪಿಯುಗಳನ್ನು ಸೇರಿಸುವುದಕ್ಕೆ ಸೀಮಿತವಾಗದೆ, ಬೆಳಕಿನ ವೇಗದ ಆಪ್ಟಿಕಲ್ ಇಂಟರ್‌ಕನೆಕ್ಟ್‌ಗಳು ಮತ್ತು ವಿಶೇಷ ಕಸ್ಟಮ್ ಚಿಪ್‌ಗಳ ಸಮ್ಮಿಲನದೊಂದಿಗೆ ಕಾರ್ಯನಿರ್ವಹಿಸಲಿವೆ.