リソースファイルのエンコーディングを UTF-8 (BOM無し) に変更 #251

kobake · 2018-07-14T01:57:18Z

リソースファイルで SJIS 以外の文字列表現が扱えるように、ファイルエンコーディングを UTF-8 (BOM無し) に変更します。

※ BOM があるとリソースエディタで開けなくなるのであえて付けない。

対応内容

.rc のファイルエンコーディングを UTF-8 (BOM無し) に変更
.rc ファイルの先頭で#pragma code_page(65001) を宣言
.rc のビルドオプションとして /c 65001 を追加

NOTE

この PR は当初 UTF-16 で対応する方針で進めていましたが、途中から UTF-8 にする方針に変更されました。そのため、本 PR 前半のコメントは UTF-16 方針時に対するコメントとなっています。

m-tmatma

github で差分が全く確認できなくなるので
逆に不便になると思います。

どの文字を使いたいか、具体的なものはありますか？

m-tmatma · 2018-07-14T02:01:58Z

また英語のリソースに関しては、対応の必要がないのではないかと思いますが、どうでしょうか？

kobake · 2018-07-14T02:11:48Z

原因追ってる最中ではあるのですが、UTF-8 化されたヘッダを SJIS の .rc に読み込ませるとエラーになってしまうことがあり、それへの対策の意味が大きいです。

kobake · 2018-07-14T02:18:33Z

差分表示のうまい対策があれば良いのですが…

https://github.com/kobake/sakura/blob/master/.gitattributes こういう設定を試してみたりしていますが、まだうまくいってないです

berryzplus · 2018-07-14T02:20:35Z

また英語のリソースに関しては、対応の必要がないのではないかと

英語リソースこそ対応が必要だと考えております。

現状： sakura_lang_en_US.dllのリソースファイルはShift-JIS（＝日本語）で記述されている
将来： sakura_rc.rcにユニコードで記述した各国語リソースを用意したい

標準的な英語のコードページは ISO8859-15(cp1252) です。
サクラエディタの文字列リソースには日本語の記号が使われているので、
ローカライズ版にもあえてShift-JIS(cp932, Windows-31J)が選択されています。

sourceforge.net時代にもこの点は突っ込んだことがあります。
当時Shift-JIS以外のファイルを管理するのには抵抗がある、
ということだったので対応は見送られました。

エンコーディング混在もよしとする、
という方針になった今、変更を見送る理由が見つからないです。

というか、GitHubがコードページを正しく認識できない理由って、
Shift-JISにはBOMが付けられないから認識しづらいのが原因だと思っています。
多数派ではないのかも知れませんがBOMが付いていたらUTF16LEを認識してくれたりしないかな～という期待。

kobake · 2018-07-14T02:24:08Z

本 PR では UTF16LE BOM 付きにしてあるのですが、なかなかうまく認識してくれませんね……何か追加設定で認識してくれるようになると良いのですが……

m-tmatma · 2018-07-14T02:26:44Z

そもそも、utf8 対応は github で文字化けして
差分が読めないことに対応するために導入しようと
したはずなので、utf 8 化することによって、リソースファイルの差分が確認できないのであれば、該当するファイルの utf8 はやらないようにすればいいと思います。

berryzplus · 2018-07-14T02:26:53Z

ちょっと待って。
*.rcの文字コード変換したら少なくとも1箇所は絶対変更しないといけない記述があるはずです。

前にどっかで書きましたが、rc.exeにはドキュメントの途中で文字コードを変更する命令がありますので。

kobake · 2018-07-14T02:33:43Z

#pragma code_page(932) の行は消してます（すみません、この説明は書き忘れてました）。

kobake · 2018-07-14T02:35:57Z

反応見る限り、けっこう微妙なところですね。（自分でも微妙だな、とは思っていたのですが、何か良い改善案が出てくることを少し期待していましたが、今のところ無いですね）

.rc は ANSI のままにしておいて、仮に SJIS 以外の文字列を扱いたいことがあるときには .rc とは違う形式の外部テキストファイルを UTF-8 で作って、それを読み込ませるとかでも良いかな、とか思いました。

kobake · 2018-07-14T02:36:30Z

一旦 WIP に戻しておきます

berryzplus · 2018-07-14T02:39:30Z

まったく認識しませんね。＜UTF-16LE差分

https://github.com/berryzplus/sandbox/commit/8a89ed8382fd8454e0733914902736bf257ff509

こっちのsandboxで実験すればよかった、と後になって気づくなど。

kobakeさん

#pragma code_page(932) の行は消してます（すみません、この説明は書き忘れてました）。

消す、じゃなくてUTF16LEの CP_xxx を確認してそれを書かないといけないはず。
たしか 12000 だったような気がしないでもないですが、ちゃんと調べて。

kobake · 2018-07-14T02:42:11Z

コードポイント値は最初はUTF16のもの(確か1200)設定してみたのですが、その値は不正ですみたいなエラー出たので行そのものを削ってしまいました

berryzplus · 2018-07-14T03:54:11Z

sshでGitHubにログインする、って出来るんですかね？
.git/config に設定しないとうまくいかなさそうな気がしてきました。

git config diff.utf16.textconv 'iconv -f utf-16 -t utf-8'

実験資材をこっちにも入れてみました。
sakura-editor/sandbox@4dcba24

ファイル単体だと中身を表示できるけど、差分表示が無理みたいですね。
表示上、BINって出てるのが気になるわけで・・・。

k-takata · 2018-07-14T05:18:46Z

rc /c 65001 でコンパイルすれば UTF-8 でいけるような。
UTF-8のBOMを見てくれないのは残念ですが。

m-tmatma · 2018-07-14T07:03:44Z

ヘルプには、/c オプション載ってますね。

https://docs.microsoft.com/en-us/windows/desktop/menurc/using-rc-the-rc-command-line-

m-tmatma · 2018-07-14T07:59:52Z

参考サイト
http://0mg.hatenadiary.jp/entry/2013/10/02/170502

berryzplus · 2018-07-14T08:45:32Z

何が問題なのかよく分らなくなってきたので表にしてみます。

文字コード	良いこと	困ること
Shift-JIS	現状通りなので変更しなくていい	GitHubで差分表示が化ける
UTF-8	GitHubで差分表示できる	rc.exeが認識してくれない
UTF-16LE	rc.exeでunicode扱うときの標準	GitHubで差分表示できない

メリットとデメリットで主体がズレてるので、よく分からない表になりました。
この表を主体（＝軸）を揃えて分析しなおしてみます。

文字コード	差分表示(GitHub)	リソースコンパイル(rc.exe)
Shift-JIS	△(化ける)	○(現状通り)
UTF-8	○(標準)	△(オプション指定で対応可能)
UTF-16LE	×(BIN扱い)	○(標準)

う～む、これはつまり。

kobake · 2018-07-14T20:14:24Z

/c 等というものが……！情報ありがとうございます。
夜あたりに試してみたいと思います。

m-tmatma · 2018-07-14T22:22:06Z

/c 等というものが……！情報ありがとうございます。

http://0mg.hatenadiary.jp/entry/2013/10/02/170502 によると以下とあります。

さらに、ソースコード中で指定する方法もある。すなわち #pragma code_page(65001) である。簡単。

m-tmatma · 2018-07-14T22:22:54Z

↑　/c を使うよりも簡単な気がします。

k-takata · 2018-07-15T01:35:24Z

さらに、ソースコード中で指定する方法もある。すなわち #pragma code_page(65001) である。簡単。

これ、Visual Studioで作ったリソースファイルだと、

sakura/sakura_core/sakura_rc.rc

Line 32 in 92d6a3b

#pragma code_page(932)

のようにファイルの途中に挿入されるのですが、これを 932 から 65001 に書き換えても、それより前の行でエラーが出ます。
あと、Visual Studioでちゃんと編集できるかは未確認です。

berryzplus · 2018-07-15T09:15:11Z

これを 932 から 65001 に書き換えても、それより前の行でエラーが出ます。
あと、Visual Studioでちゃんと編集できるかは未確認です。

ありがとうございます。なんとか確認が取れました。

文字コード	差分表示(GitHub)	リソースコンパイル(rc.exe)	vs2017リソースエディタ
UTF-8(BOM付)	○	×	×
UTF-8(BOM無)	○	○	△(編集は可能)

UTF-8Nのrcを編集して保存するとShiftJISに戻る、という怪現象が起きます。

もともとリソースエディタを使わない人が主流でやってきたプロジェクトなので、いったんは差分表示ができることを優先してUTF-8Nに移行で良いのかな？と思っています。リソースエディタ使うとファイルが壊れるのは元からなので。

編集すべき箇所をチェックしてみました。

sakura/sakura_core/sakura_rc.rc

Lines 15 to 20 in 92d6a3b

    
           ///////////////////////////////////////////////////////////////////////////// 
        
           // 
        
           // Generated from the TEXTINCLUDE 2 resource. 
        
           // 
        
           #define APSTUDIO_HIDDEN_SYMBOLS 
        
           #include <Windows.h>

ここ(19行目)に #pragma code_page(65001) を入れる。

sakura/sakura_core/sakura_rc.rc

Lines 50 to 55 in 92d6a3b

    
           2 TEXTINCLUDE DISCARDABLE  
        
           BEGIN 
        
               "#define APSTUDIO_HIDDEN_SYMBOLS\r\n" 
        
               "#include <Windows.h>\r\n" 
        
               "#undef APSTUDIO_HIDDEN_SYMBOLS\r\n" 
        
               "#include ""funccode_define.h""\r\n"

ここ(52行目)に上の#pragma code_page(65001) の生成コードを入れる。
必須ではないです。

sakura/sakura_core/sakura_rc.rc

Lines 29 to 33 in 92d6a3b

    
           #if !defined(AFX_RESOURCE_DLL) || defined(AFX_TARG_JPN) 
        
           #ifdef _WIN32 
        
           LANGUAGE LANG_JAPANESE, SUBLANG_DEFAULT 
        
           #pragma code_page(932) 
        
           #endif //_WIN32

ここのparagmaとかifndef WIN32は不要。
編集して保存すると文字コードが変更され、
#pragma code_page(932) が復活します。

sakura/sakura_core/sakura_rc.rc

Line 2831 in 92d6a3b

VALUE "Translation", 0x411, 1200

この 1200 はUTF16LEを意味するので65001に変える。

berryzplus · 2018-07-15T09:24:18Z

ん？defineしたchar*定数を使うコードがいまの #pragma code_page(932) の前になければ移動しなくていいような気がしてきました・・・。

k-takata · 2018-07-15T09:36:42Z

この 1200 はUTF16LEを意味するので65001に変える。

リソースファイルのコンパイル後はUTF-16LEで格納されるので、そのままでいい気がします。

berryzplus · 2018-07-15T14:07:28Z

そのままでいい気がします。

おっしゃる通り、このパラメータが何に影響してるのか分かってませんでした。
1200のままで良さそうです。

m-tmatma · 2018-07-18T12:42:12Z

そですね、編集で SJIS に戻ってしまう問題があることは意識した上で、一旦 BOM 無しのコミット積みます

a54b143 の状態で rc ファイルを Shift JIS で保存して
コンパイルすると、ビルドエラーになったので間違って Shift JIS で保存してコミットしてしまっても
appveyor でビルドエラーになるはずなので、気づけるとは思います。
(appveyor 上では確認してないです。ローカルビルドです)

kobake · 2018-07-18T12:42:21Z

@m-tmatma さん検証ありがとうございます。バイナリ一致してるの確認できると安心できますね。

berryzplus · 2018-07-18T12:50:34Z

vcxprojの文字コード指定が保険として使える結果になったというw

せっかくなので開けるとこまで持って行ってしまいたい気がします。がどうでしょう。

数行書き替えで済みます。

kobake · 2018-07-18T12:52:41Z

6e42d7a で BOM 無しの .rc コミットしました。リソースエディタで開ける状態にはなったはずです。

m-tmatma

BOM なし、というのもコメントにあったほうがいいと思います。リソースエディタで開けるようにするという理由もあったほうがいいと思います。

m-tmatma · 2018-07-18T13:02:02Z

6e42d7a で BOM 無しの .rc コミットしました。リソースエディタで開ける状態にはなったはずです。

6e42d7a でも同様に res ファイルが完全一致しています。

kobake · 2018-07-18T13:03:14Z

BOM 無しコメント入れました

berryzplus · 2018-07-18T13:16:34Z

電池やべっ！

変更１か所目

// CodePage: 65001 (UTF-8)
#pragma code_page(65001)

#include "sakura_rc.h"

#define APSTUDIO_READONLY_SYMBOLS
/////////////////////////////////////////////////////////////////////////////
//
// Generated from the TEXTINCLUDE 2 resource.
//
#define APSTUDIO_HIDDEN_SYMBOLS
#include <Windows.h>
#undef APSTUDIO_HIDDEN_SYMBOLS
#include "Funccode_define.h"
#include "String_define.h"
#include "version.h"

変更２か所目

/////////////////////////////////////////////////////////////////////////////
//
// TEXTINCLUDE
//

1 TEXTINCLUDE DISCARDABLE 
BEGIN
    "sakura_rc.h\0"
END

2 TEXTINCLUDE DISCARDABLE 
BEGIN
    "#define APSTUDIO_HIDDEN_SYMBOLS\r\n"
    "#include <Windows.h>\r\n"
    "#undef APSTUDIO_HIDDEN_SYMBOLS\r\n"
    "#include ""funccode_define.h""\r\n"
	"#include ""String_define.h""\r\n"
	"#include ""version.h""\r\n"
	"\0"
END

以上でリソースエディタでsakura_rc.rcを開けるようになりました。

m-tmatma · 2018-07-18T13:32:35Z

BOM 無しコメント入れました

確認しました。

85917a6 + preBuild.bat での exit /b 0 で

バイナリ一致することも確認しました。
リソースエディタで開けることも確認しました。
rc ファイルを強制的に shift-Jis で保存して appveyor でコンパイルエラーになることを確認しました。
- https://ci.appveyor.com/project/m-tmatma/sakura/build/1.0.342

m-tmatma · 2018-07-18T13:35:04Z

説明欄で BOM付 としているところを修正していただけますか?

kobake · 2018-07-18T13:38:57Z

PR タイトルと本文を修正しました

m-tmatma · 2018-07-18T13:39:10Z

この PR はもともと UTF16 対応をするということで始まりましたが
途中で方針変更して UTF8 対応することになりました。
だから最初は UTF16 対応することに対するコメントがついています。

途中で方針変更して全く別のやり方で対応することになった場合
後で見返したときに経緯がわかるようにもともとの PR をマージせずに
クローズして、新たな PR を作るのがいい思います。

新しい PR の説明欄に古い PR のコメントを適宜引用して、経緯を説明する
ようにしたらいいと思います。

kobake · 2018-07-18T13:45:07Z

たしかに PR 作り直したほうが良かったかもしれませんね。
必ずしも PR 作り直すのが正解とは自分は思いませんが（特に議論が分散して情報を漁るのが面倒になる点が自分は好きではないです）、PR 作り直す選択肢があることは頭に入れておきます。

今回は PR 本文内に経緯のメモも追記しました。

berryzplus

LGTMです。

リソースファイルのエンコーディングを UTF-8 (BOM無し) に変更

m-tmatma reviewed Jul 14, 2018

View reviewed changes

kobake changed the title ~~リソースファイルのエンコーディングを UTF-16LE (BOM付) に変更~~ [WIP] リソースファイルのエンコーディングを UTF-16LE (BOM付) に変更 Jul 14, 2018

kobake added 2 commits July 18, 2018 11:36

リソースファイルのエンコーディングを UTF-8 (BOM付) に変更

24819a1

リソースファイル内 #pragma で UTF-8 コードページを指定

f9c361b

kobake force-pushed the rc-utf16 branch from 9c19d10 to ee5b9fe Compare July 18, 2018 02:41

m-tmatma reviewed Jul 18, 2018

View reviewed changes

.rc ファイルに BOM を付けていない理由をコメントで追記

85917a6

m-tmatma added a commit to m-tmatma/sakura that referenced this pull request Jul 18, 2018

sakura-editor#251 に対して rc ファイルを shift-jis で保存してエラーになるか確認する

11d3e66

m-tmatma approved these changes Jul 18, 2018

View reviewed changes

kobake changed the title ~~リソースファイルのエンコーディングを UTF-8 (BOM付) に変更~~ リソースファイルのエンコーディングを UTF-8 (BOM無し) に変更 Jul 18, 2018

m-tmatma added this to the next release milestone Jul 18, 2018

m-tmatma added the refactoring リファクタリング【ChangeLog除外】 label Jul 18, 2018

berryzplus approved these changes Jul 18, 2018

View reviewed changes

kobake merged commit 29af81d into sakura-editor:master Jul 18, 2018

kobake deleted the rc-utf16 branch July 18, 2018 14:46

This was referenced Jul 25, 2018

ソースコードのUnicode化 #112

Closed

sakura_lang_en_US 配下のヘッダファイルを UTF-8(BOM付き) に変換 #305

Merged

m-tmatma added the 🌏Internationalization 🇯🇵 🇺🇸 🇨🇳 🇹🇼 国際化対応 label Sep 9, 2018

ds14050 added refactoring リファクタリング【ChangeLog除外】 🌏Internationalization 🇯🇵 🇺🇸 🇨🇳 🇹🇼 国際化対応 labels Sep 18, 2018

HoppingTappy pushed a commit to HoppingTappy/sakura that referenced this pull request Jun 11, 2019

Merge pull request sakura-editor#251 from kobake/rc-utf16

7d962ff

リソースファイルのエンコーディングを UTF-8 (BOM無し) に変更

suconbu mentioned this pull request Nov 4, 2020

リソースエディタで編集不可のものを.rc2に分離 #1456

Merged

udaken mentioned this pull request Jun 9, 2021

ublacklist-github-translation arosh/ublacklist-stackoverflow-translation#51

Closed

リソースファイルのエンコーディングを UTF-8 (BOM無し) に変更 #251

リソースファイルのエンコーディングを UTF-8 (BOM無し) に変更 #251

Conversation

kobake commented Jul 14, 2018 • edited by m-tmatma Loading

対応内容

関連 Issues

NOTE

m-tmatma left a comment

Choose a reason for hiding this comment

m-tmatma commented Jul 14, 2018

kobake commented Jul 14, 2018

kobake commented Jul 14, 2018

berryzplus commented Jul 14, 2018

kobake commented Jul 14, 2018

m-tmatma commented Jul 14, 2018

berryzplus commented Jul 14, 2018

kobake commented Jul 14, 2018

kobake commented Jul 14, 2018

kobake commented Jul 14, 2018

berryzplus commented Jul 14, 2018

kobake commented Jul 14, 2018

berryzplus commented Jul 14, 2018

k-takata commented Jul 14, 2018

m-tmatma commented Jul 14, 2018

m-tmatma commented Jul 14, 2018

berryzplus commented Jul 14, 2018

kobake commented Jul 14, 2018

m-tmatma commented Jul 14, 2018

m-tmatma commented Jul 14, 2018

k-takata commented Jul 15, 2018

berryzplus commented Jul 15, 2018

berryzplus commented Jul 15, 2018

k-takata commented Jul 15, 2018

berryzplus commented Jul 15, 2018

m-tmatma commented Jul 18, 2018

kobake commented Jul 18, 2018

berryzplus commented Jul 18, 2018

kobake commented Jul 18, 2018

m-tmatma left a comment

Choose a reason for hiding this comment

m-tmatma commented Jul 18, 2018

kobake commented Jul 18, 2018

berryzplus commented Jul 18, 2018

m-tmatma commented Jul 18, 2018

m-tmatma commented Jul 18, 2018

kobake commented Jul 18, 2018

m-tmatma commented Jul 18, 2018

kobake commented Jul 18, 2018

berryzplus left a comment

Choose a reason for hiding this comment

kobake commented Jul 14, 2018 •

edited by m-tmatma

Loading