支持语音输入扩展插件

[xingwozhonghua126]

linux语音输入法已经很多了。可以做一个类似云语音的客户端，让各个语音输入法厂商通过修改配置的方式接入语音输入功能。

[wengxt]

这个基本上就是单独写一个可以接收语音的程序，然后fcitx那边只处理很少量的数据
不过语音在 PC 上来说应该作为和普通的输入法引擎并行的系统，而不是一个单独的输入法，就好像手机的语音输入就是在键盘上一个额外的 button 启用，但还是随时会返回键盘模式

[AnLazyOtter]

我也很希望能有语音输入功能。
我观察到，微软手机输入法swifty key中，语音输入功能是通过调用安卓系统当前安装的语音识别软件 来实现语音识别与上屏的，并不需要自己写一个语音到文本转换的功能。
是否小企鹅输入法也有可能使用这种方式来实现语音输入功能呢？

[calllivecn]

需要这个功能，目前尝试了下，pyaudio + whisper(openAI) 。转录效果很不错。
但是文字自动上屏遇到了困难。

[LumenYoung]

Hi, 我也在考虑基于 openai 的 whipser 做这么一个东西。因为我是在 wayland 上，所以在寻找了几个简单办法无果之后，还是把目光投向了 fcitx 。如果做成一个 fcitx 的模块，我个人认为比较容易解决自动上屏的内容，但我自己对于 fcitx5 的细节不了解，所以我现在有以下几个疑虑，不知道 @wengxt 能否提供一些信息来帮我评估一下可行性和难度。

1）我个人想象是想要做成一个 fcitx5 的 addon，成为一个类似双拼一样的可切换的输入方法，然后设置1/2个快捷键（开始录音和停止录音/toggle 录音）来控制语言输入。
2）同时这个 code 因为是在使用 openai-whisper 最好是直接在 python 里面 implement。

我想问问这个想法是否可行呢？或者有什么可以补充的细节，欢迎各位讨论。

[wengxt]

ydotool 不可能能用来输入任意 unicode 文本，因为它的本质是模拟物理键盘按键。
xdotool 可以的原因是它操作 xserver 的键盘布局给任意 unicode 文本映射成了按键，再模拟这个不存在的按键。而 ydotool 是在设备文件级别操作的，只能生成原始按键。wayland compositor 并没有能修改按键映射的统一接口（事实上大部分情况也没有这样的接口）。

[LumenYoung]

谢谢回复。我理解的话，ydotool 会在输入比如中文字符的时候遇到问题，确实，我没有办法输入中文，ydotool 只能对英语使用者方便。

那我更希望之后可以在 fcitx 的框架下实现这个功能。想问问 wengxt 是否可以推荐我看哪部分的文档？有哪些需要注意的部分？谢谢

[wengxt]

https://fcitx-im.org/wiki/Develop_an_simple_input_method 输入法也是一种 addon，文件结构是类似的

关于 fcitx 内的 dbus api 的使用可以参考，当然最好你先了解一下 dbus 的基本知识
https://github.com/fcitx/fcitx5/blob/master/test/testdbus.cpp#L18

[LumenYoung]

谢谢老K 的帮忙。我已经写了一个在 KDE wayland 上面运行的 dictation app 了，你可以在这里看到它。我今天试了一下，应该是正常可以用的。

写的过程中我发现了一个问题：使用 whisper 的时候是需要加载模型的，如果我们使用 cpu 这个加载速度其实大概要几秒钟，比较不方便，所以我的 app 设计成了 server client 的形式，让这个模型在平时就在 background 中运行，且模型本身的 ram 占用也不算小 (base 700~MB, small 1.5GB)。我想如果在 fcitx5 中使用也会遇到类似的考虑，如果在背景运行就会占用大量内存，如果不放在背景运行那么每次使用都会需要长时间的加载（如果有显卡可能会好很多，但是考虑大部分人的使用情况）。

如果你觉得这样的设计不合适，且在之前的讨论中你谈到 语言输入和输入法分开，那么我现在提供的办法应该已经比较接近了，完全可以通过加入一个 tray app 之类的来方便大部分人的使用。

[wengxt]

和输入法结合就是把用一个模块把fcitx变成client即可。中间你还可以利用fcitx显示一些信息，例如正在加载/计算etc，而不是毫无反馈

[catcherxuefeng]

安卓端有离线语音输入方案了，可以完美融合到小企鹅输入法中
https://github.com/ElishaAz/Sayboard

[fastfading]

PC端根本不需要什么输入法软件, 直接写个Python代码就可以做,
这行消息就是用这个代码发出来的

[Yikai-Liao]

Cloudflare has offered a cheap speech to text service based on whisper. It would be great if there is fcitx plugin that can call this api.

| Price | | $0.0039 per minute of audio input|

https://developers.cloudflare.com/workers-ai/platform/pricing/#speech-to-text