Um software que reconhece gestos de Libras e gestos customizados e os transforma em input de teclado ou mouse.
🚧 PROJETO EM DESENVOLVIMENTO 🚧
O LibrasController utiliza comunicação via WebSocket entre o backend (Python) e o frontend (JavaScript/TypeScript) para:
- Capturar frames da câmera selecionada pelo usuário usando OpenCV.
- Processar a posição da mão com MediaPipe.
- Reconhecer gestos por meio de um algoritmo próprio.
- Enviar comandos de teclado e mouse em nível baixo (low-level) usando C.
Certifique-se de que você possui:
- Python (>=3.8)
- Node.js (>=16.0)
- Gerenciador de pacotes
pip
enpm
.
Clone o repositório:
git clone https://github.com/ofelipelucca/librascontroller.git
cd librascontroller
Instale as dependências do backend (Python):
pip install -r requirements.txt
Instale as dependências do frontend (JavaScript/TypeScript):
npm install
Para construir o projeto:
npm run build
Inicie o software:
npm run start
- Python: Backend e reconhecimento de gestos.
- TypeScript/JavaScript: Frontend.
- Node.js: Comunicação e integração.
- Electron: Interface desktop.
- React: Construção da interface gráfica.
- OpenCV: Processamento de imagens.
- MediaPipe: Estimativa da posição da mão.
Envie um pull request :)