LiteRT Tensor API

offers three execution routes: CPU with XNNPACK, LiteRT on CPU, GPU, or supported NPUs, and ML Drift on GPUs via OpenCL or WebGPU

“Dezelfde C++-graaf heeft drie uitvoerroutes: direct op de CPU met XNNPACK, via LiteRT op CPU, GPU of ondersteunde NPU’s, of met ML Drift op GPU’s via OpenCL of WebGPU.”

exports graphs as .tflite files

“een graaf is te exporteren als .tflite-bestand.”

reads weights directly from Hugging Face .safetensors files without separate conversion scripts

“Gewichten zijn direct uit Hugging Face .safetensors-bestanden in te lezen, zonder aparte conversiescripts”

supports scaled dot-product attention, RMSNorm, and KV-cache updates

“Daaronder vallen ook bouwstenen voor taalmodellen, zoals scaled dot-product attention, RMSNorm en updates van de KV-cache.”

supports more than 90 operations, including matrix multiplication, convolution, normalization, and quantization

“Google’s API ondersteunt meer dan 90 bewerkingen, van matrixvermenigvuldiging en convolutie tot normalisatie en kwantisering.”