I think we have barely scratched the surface of post-trained inference/generative model inference efficiency.
A uniquely efficient hardware stack, for either training or inference, would be a great moat in an industry that seems to offer few moats.
I keep waiting to here of more adoption of Cerebras Systems' wafer-scale chips. They may be held back by not offering the full hardware stack, i.e. their own data centers optimized around wafer-scale compute units. (They do partner with AWS, as a third party provider, in competition with AWS own silicon.)
Re: cerebras, they filed a S1 [1] last year when attempting to go public. It showed something like a $60M+ loss for the first 6 months of 2024. The IPO didn’t happen because the CEO’s past included some financial missteps and the banks didn’t want to deal with this. At the time the majority of their revenue came from a single source in Abu Dhabi, as well. They did end up benefiting by the slew of open source model releases which enabled them to become inference providers via APIs rather than needing to provide the full stack for training.
8 comments
[ 2.4 ms ] story [ 30.2 ms ] threadA uniquely efficient hardware stack, for either training or inference, would be a great moat in an industry that seems to offer few moats.
I keep waiting to here of more adoption of Cerebras Systems' wafer-scale chips. They may be held back by not offering the full hardware stack, i.e. their own data centers optimized around wafer-scale compute units. (They do partner with AWS, as a third party provider, in competition with AWS own silicon.)
[1] https://www.sec.gov/Archives/edgar/data/2021728/000162828024...
I found this in some Chinese app/website (not sure if it's the same thing):
打开CSDN APP Copyright © 1999-2020, CSDN.NET, All Rights Reserved
打开APP
LightGen: All-optical synthesis chip for large-scale intelligent semantic vision generation 原创
2025-12-30 20:54:42 阅读量 539
收藏 20
10赞
Xy-unu
码龄6年
关注 论文基本信息 (Basic Information) 标题 (Title) All-optical synthesis chip for large-scale intelligent semantic vision generation Adress https://www.science.org/doi/abs/10.1126/science.adv7434 Journal/Time Science 2025 Author 上海交通大学（电子信息与电气工程学院）和 清华大学（自动化系/电子工程系） 1. 核心思想 (Core Idea) 全光计算芯片在生成式人工智能领域应用的探索。
解决的是生成式 AI 算力与能耗的矛盾，设计并制造了一款名为 LightGen 的全光计算芯片，用于大规模的智能语义视觉生成 。
2. 研究背景与动机 (Background and Motivation) 传统的全光计算芯片主要局限于小规模、分类任务，光电级联或复用又会严重削弱光计算速度。
光计算的优势：速度快、功耗低。 劣势：
规模太小： 生成任务需要百万级神经元，以前的光芯片（如 MZI、微环）通常只有几十到几百个 。 维度固定：模拟光信号在传播中很难改变维度（Dimension Variation），而生成模型通常需要“压缩特征再解压”的过程（即 VAE 架构） 训练依赖真值： 以前的光芯片训练依赖输出和标准答案的一一对应，但生成式 AI 是要创造“不存在的数据”，没有标准答案 。 3. 方法论 (Methodology) 输入（Input）： 高分辨率的图像或语义信息（例如 512×512512 \times 512512×512 像素的图像），不需要像以前的光芯片那样切分成小块。 输出（Output）： 经过语义生成或操控后的图像甚至视频。具体任务包括语义生成（凭空画图）、风格迁移（如把照片变成梵高画风）、去噪（修复模糊图像）以及 3D 视觉生成（如 NeRF）。 实现形式：物理上的光子芯片，集成了数百万个光神经元，通过光纤阵列连接 。
3.1 核心创新 继承规模增大（3D Packaging）：采用了 3D 封装技术，在仅 136.5 mm2136.5\ mm^2136.5 mm 2 的空间内集成了超过 200 万个光神经元。这比之前的光芯片规模提高了数个数量级，使其能够处理 512×512512 \times 512512×512 的高分辨率图像。 全光维度变换（Optical Latent Space, OLS）：利用单模光纤的物理特性，全光地实现了维度压缩和转换 。 非监督训练算法（BOGT）：提出了基于贝叶斯的光生成模型训练算法（BOGT）。训练它学习数据的概率分布 Q(Z∣X)Q(Z|X)Q(Z∣X)，使其接近先验分布 P(Z)P(Z)P(Z) 。 在这里插入图片描述 图 1B，以前的 MZI 或微环芯片（Microring）结构简单，神经元少。图 1D，LightGen 是密集的衍射层堆叠，中间通过 OLS（光纤束）连接 。图 1E (OLS 原理)，物理层面的维度压缩 。
在这里插入图片描述 把光信号的数据提取出来做可视化（t-SNE）。
3.1 核心流程： 空间光调制器 (Spatial Light Modulator, SLM)，数字信号到模拟信号。数字端接收数字图片，物理端把一束平行的、均匀的激光打在 SLM 上。SLM 上每一个像素点的液晶单元会根据图像的像素数值，改变光线的振幅（亮度）或相位（延迟）。从而得到一束携带了图像信息的光场 光编码器 (Encoder)： 光线穿过集成的衍射超表面，提取高维图像特征 。类似cv 的编码器，都是提取特征。 光学潜空间 (OLS)：光信号通过单模光纤阵列，利用物理特性完成维度的“压缩”和“采样”，这是生成的...
This is at the very beginning of begin feasible. I do not know anything about photonics, maybe someone who does can comment on scalability?
Can a model's weights be hard-coded into a physical chip for cheap fast local AI?