build / build (push) Failing after 1m6s
Premier run : actions/checkout@v4 échouait sur « exec: node: executable file not found » — le runner exécute les actions avec le node du conteneur, et l'image nvidia/cuda n'en a pas.
93 lines
4.0 KiB
Markdown
93 lines
4.0 KiB
Markdown
# CTranslate2 avec CUDA pour Linux arm64
|
|
|
|
Roue Python et paquets Debian de [CTranslate2](https://github.com/OpenNMT/CTranslate2)
|
|
compilés **avec le backend CUDA** pour Linux aarch64 : NVIDIA DGX Spark (GB10,
|
|
sm_121), Grace Hopper (sm_90) et Jetson Orin (sm_87).
|
|
|
|
## Pourquoi
|
|
|
|
Le projet amont publie sur PyPI des roues `ctranslate2` pour aarch64 **sans CUDA**
|
|
(sa chaîne de construction n'installe le toolkit que pour x86_64). Sur un DGX Spark,
|
|
`faster-whisper` et `WhisperX` tournent donc en CPU alors que CUDA 13 est bien là.
|
|
Ce dépôt reproduit la construction amont en y ajoutant CUDA, et publie le résultat.
|
|
|
|
## Installation
|
|
|
|
Roue Python (index de paquets Gitea, à côté de PyPI) :
|
|
|
|
```bash
|
|
pip install ctranslate2 --extra-index-url https://git.lemesre.org/api/packages/<owner>/pypi/simple
|
|
pip install faster-whisper # tire la roue ci-dessus
|
|
```
|
|
|
|
Paquets Debian (bibliothèque C++ et en-têtes, pour un programme C++ ou une liaison
|
|
FFI comme la crate Rust `ct2rs`) :
|
|
|
|
```bash
|
|
sudo curl -fsSL https://git.lemesre.org/api/packages/<owner>/debian/repository.key -o /etc/apt/keyrings/gitea-<owner>.asc
|
|
echo "deb [signed-by=/etc/apt/keyrings/gitea-<owner>.asc] https://git.lemesre.org/api/packages/<owner>/debian noble main" | sudo tee /etc/apt/sources.list.d/gitea-<owner>.list
|
|
sudo apt update && sudo apt install libctranslate2-4 libctranslate2-dev
|
|
```
|
|
|
|
Les bibliothèques CUDA **ne sont pas embarquées** : CTranslate2 les charge à
|
|
l'exécution (`CUDA_DYNAMIC_LOADING`). Il faut cuBLAS 13 et cuDNN 9 trouvables,
|
|
soit par le toolkit CUDA de la machine (`/usr/local/cuda`), soit par les paquets
|
|
pip `nvidia-cublas` et `nvidia-cudnn-cu13` (ceux que `torch` cu130 installe déjà).
|
|
Pilote NVIDIA 580 ou plus récent. Sans GPU, la même roue tourne en CPU.
|
|
|
|
Contrat des artefacts :
|
|
|
|
| Artefact | Étiquette | Cible |
|
|
| --- | --- | --- |
|
|
| `ctranslate2-4.6.3-cp3*-manylinux_2_35_aarch64.whl` | glibc ≥ 2.35 | Ubuntu 22.04, DGX OS / Ubuntu 24.04, JetPack 6 |
|
|
| `libctranslate2-4_4.6.3-1~cuda13_arm64.deb`, `libctranslate2-dev_…deb` | jammy, noble | idem |
|
|
|
|
## Construction
|
|
|
|
Tout passe par `build.sh`, dans l'image CUDA (aucun GPU nécessaire) :
|
|
|
|
```bash
|
|
docker build -t ct2-cuda-arm64 .
|
|
docker run --rm -v "$PWD:/src" -e JOBS=20 ct2-cuda-arm64 all # ≈ 20 min sur 20 cœurs
|
|
ls dist/
|
|
```
|
|
|
|
Étapes séparées : `deps`, `source` (clone amont avec sous-modules), `deb`
|
|
(`dpkg-buildpackage -b`, compile la bibliothèque), `wheel` (roue liée à la
|
|
bibliothèque du paquet, réparée par `auditwheel`), `check` (symboles CUDA
|
|
présents, `lintian`). Les versions sont épinglées dans `versions.env`.
|
|
|
|
Validation sur une machine avec GPU, après installation de la roue :
|
|
|
|
```bash
|
|
python3 tools/smoke-gpu.py # compte les GPU vus par CTranslate2
|
|
python3 tools/smoke-gpu.py reunion.wav # faster-whisper large-v3, langue forcée fr
|
|
```
|
|
|
|
## Intégration continue
|
|
|
|
`.gitea/workflows/build.yml` tourne sur un runner Gitea Actions arm64
|
|
(étiquette `ubuntu-22.04-arm64`) dans l'image CUDA, sans GPU. Chaque poussée
|
|
construit et dépose les artefacts ; un tag `v*` les publie en plus dans les
|
|
registres PyPI et Debian du propriétaire du dépôt.
|
|
|
|
L'image CUDA n'a pas de `node` : le workflow l'installe avant le checkout, sinon les actions JavaScript échouent (« exec: "node": executable file not found »).
|
|
|
|
Secrets attendus dans le dépôt : `PACKAGES_USER` et `PACKAGES_TOKEN` (jeton
|
|
personnel Gitea à portée `write:package`). Le jeton automatique du job n'a pas
|
|
cette portée.
|
|
|
|
Le runner borne un job à 6 CPU et 24 Go, deux heures au plus. `nproc` y
|
|
annonce pourtant tous les cœurs de l'hôte : `JOBS=6` est fixé dans le workflow.
|
|
|
|
## Versions et maintenance
|
|
|
|
Une reconstruction par version amont de CTranslate2 et par version majeure de
|
|
CUDA : modifier `versions.env` et `debian/changelog`, tagger `v<amont>-<révision>`.
|
|
La liste `CUDA_ARCH_LIST` est explicite parce que la valeur amont `Common`
|
|
ignore sm_121.
|
|
|
|
Ce dépôt ne fait que compiler et empaqueter : aucune modification du code
|
|
amont. Licence MIT, comme CTranslate2 ; Ruy et cpu_features (sous-modules) sont
|
|
sous Apache-2.0.
|