diff --git a/openllm-python/src/openllm_cli/entrypoint.py b/openllm-python/src/openllm_cli/entrypoint.py
index 59369822a..ec979c2f5 100644
--- a/openllm-python/src/openllm_cli/entrypoint.py
+++ b/openllm-python/src/openllm_cli/entrypoint.py
@@ -633,6 +633,7 @@ def process_environ(
       'OPENLLM_SERIALIZATION': serialisation,
       'OPENLLM_BACKEND': llm.__llm_backend__,
       'OPENLLM_CONFIG': config.model_dump_json(flatten=True).decode(),
+      'TORCH_DTYPE': str(llm._torch_dtype).split('.')[-1]
     }
   )
   if llm.quantise: