Makefile調整：入力ファイルUTF-8指定、GitHash出力 #306

kobake · 2018-07-26T02:53:06Z

以下の調整を行いました。

入力ファイルのエンコーディング指定が cp932 になっていたのを utf-8 に変更
svnrev 出力処理を githash 出力処理に差し替え

注記

自分の手元ではビルド全成功はしません（auto イテレータのところでコンパイルエラーになる。自分の gcc が悪いだけかも。）が、対応前よりはビルド進むようになった感じです。

m-tmatma

git hash の生成は vc と共通化した方がいいです。

kobake · 2018-07-26T04:37:15Z

git hash の生成は vc と共通化した方がいいです。

それはそうなのですが、今のところは暫定対処ということで考えています。
preBuild.bat って Makefile から呼ばれることも考えられて作られてます？

k-takata · 2018-07-26T04:43:08Z

sakura_core/Makefile

@@ -32,7 +32,7 @@ DEFINES= \
 -DUNICODE \
 -DNDEBUG
 CFLAGS= -O2 \
- -finput-charset=cp932 -fexec-charset=cp932 \
+ -finput-charset=utf-8 -fexec-charset=utf-8 \


-fexec-charset は cp932 ではないでしょうか。
utf-8 にすると #265 (comment) で指摘した問題が出ると思います。

なるほど。 e8afea7 で cp932 に戻しました。

berryzplus · 2018-07-26T11:31:57Z

さすが・・・

って、あれ？

なんでmakefileまだ保守してるんでしたっけ？
自動生成ファイルだから消しませんか？って話の結末がどうなったか曖昧です・・・

m-tmatma · 2018-07-26T11:57:50Z

なんでmakefileまだ保守してるんでしたっけ？

#44 (comment)

m-tmatma · 2018-07-26T11:59:04Z

preBuild.bat って Makefile から呼ばれることも考えられて作られてます？

考慮はされてないですが、
githash.bat とかいう名前で分離したらいいと思います。

m-tmatma · 2018-07-26T11:59:30Z

まあ、別 PR でいいですね。

kobake · 2018-07-26T12:01:18Z

はい、エンコーディングを変更した btool のビルド確認ができれば良いかなくらいの気持ちで今回の対応してます

berryzplus · 2018-07-26T14:20:11Z

@k-takata さんにご指摘いただいた件ですが、対応が必要だと思います。

↓ btool フォルダに入っている gcc 向けツールをビルドしている。

sakura/sakura_core/Makefile

Lines 445 to 446 in 611dcc6

    
           $(RCTOOL): $(RCTOOLDIR)/mrc2grc.cpp 
        
           	$(CXX) $(CXXFLAGS) $(RCTOOLDIR)/mrc2grc.cpp -o $@ -static-libgcc

↓ビルドしたツールを使ってshiftJISのダメ文字の後に '\' を追加し、windresを使って *.rc をビルドし、一時ファイルを消している

sakura/sakura_core/Makefile

Lines 451 to 454 in 611dcc6

    
           .rc.o: 
        
           	$(RCTOOL) $< sakura_grc.rc 
        
           	$(RC) --language=0411 $(DEFINES) sakura_grc.rc -o $@ 
        
           	$(RM) sakura_grc.rc

ダメ文字とは、マルチバイト文字の 2byte目に 0x5c (バックスラッシュ) が来る文字のこと。
ここに例が載ってます　→　ダメ文字

UTF-8の場合、2byte目以降は必ず最上位ビットが立つので、
2byte目に 0x5c が来る状況は発生しません。　→　UTF-8 Wikipedia
なので、今後 btool/mrc2grc.cpp は不要になります。

一方、windresに対してリソーススクリプトの文字コードを教えてあげないといけないので、その分の修正が必要です。
452と454を削って、453に -c 65001 追加です。

手元環境にあった windres(binutil-2.27) には -c 65001 を受け付けました。
去年末くらいに落としてきた pleiades 最新版についてた mingw-w64 のものです。

Makefileを消しちゃダメな理由・・・

MakefileMake の挙動は「既存の Makefile を読み取って書き換える」処理になっているので、単に Makefile を消してしまうとうまく動作しません。

了解です。すっかり忘れておりました。

m-tmatma · 2018-07-26T22:31:12Z

最終的には　appveyor ビルドしたいです。
https://www.appveyor.com/docs/build-environment/#mingw-msys-cygwin

berryzplus · 2018-07-29T14:05:59Z

このPRは今、451行目あたりのRC(windres)オプションに変更が必要で止まってる認識・・・。

kobake · 2018-08-07T21:42:15Z

ご無沙汰しております。
遅くなりましたが以下の対応を行いました。

@berryzplus

一方、windresに対してリソーススクリプトの文字コードを教えてあげないといけないので、その分の修正が必要です。
452と454を削って、453に -c 65001 追加です。

結果、btool は不要になったっぽい気がしますが、それについてどうするかの対応は別件として考えたいです。

m-tmatma · 2018-08-07T22:38:27Z

sakura_core/Makefile

@@ -50,380 +50,19 @@ exe= sakura.exe
 OBJS= \
 CAutoReloadAgent.o \
 CAutoSaveAgent.o \
-CBackupAgent.o \
-CCodeChecker.o \


ここら辺ばっさり削っていいのですか？

あ、すみません、実験用コードが混じってました。直します

しょうもなすぎるミスコミットだったので修正コミット上書いて push -f しました

kobake · 2018-08-07T22:44:56Z

夜にまた見に来ます

m-tmatma · 2018-08-07T22:59:41Z

ビルド手順を共有してほしいです。
(できれば markdown で)

kobake · 2018-08-07T23:11:58Z

cd sakura_core
make

です。自分も詳細は把握しておらず手探りです。

berryzplus · 2018-08-08T03:37:57Z

メイクコマンドはmingw32–makeでやるものらしいです。こいつはpathにshがいると誤動作するのでgit
にpath を通していたら外してやる必要があります。

berryzplus · 2018-08-08T16:00:20Z

追加情報

結論、いまMinGWではビルドできなくなっています。
最近入れたいくつかの修正が原因です。

確認のための情報共有

確認には pleiades (Eclipse日本語版) に同梱されている MinGW64 を使っています。
http://mergedoc.osdn.jp/

とりあえず、ソースを直しながら sakura.exe がビルドされるところまで確認はしました。
ぼくが確認に使ったのは 4.6 Neon です。バージョンはGNU 6.2.0。これより前だとnoexceptがエラーになった(C++11未対応？）ので、これを使いました。

最終的に修正したファイル→ mingw_fix_files.zip
対応方法は色々あると思いますので、最低限「ビルドできる状態にするには？」のサンプルだと思ってください。

ビルド確認手順

Windowsでのやり方

テキトーな場所でコマンドプロンプトを開く
sh と叩いて bash やら sh が起動しないことを確認する
sh(bash) が起動してしまった場合、pathを設定しなおしてpath上にshがいない状態にする
MinGWのbinフォルダをpathに入れる

path=C:\eclipse4.6\eclipse\mingw\bin;%path%

sakuraのgit-cloneがあるフォルダに移動してビルド

cd C:\gitroot\sakura\sakura_core
mingw32-make

ビルドには超時間かかります。20分くらいかかってるはず。

以上

m-tmatma · 2018-08-09T23:09:21Z

ビルドには超時間かかります。20分くらいかかってるはず。

-jN オプションを使うと速くなりますか?

kobake · 2018-08-11T02:21:38Z

補足しておくとこの PR 一発で Makefile を完璧なものに仕上げるつもりはなくて、
最低限 #304 の btool ビルドが確認できるようにだけはしておきたい、というのがもともとの目的です

berryzplus

start reviewのまま放置していたコメントがあったので入れときます。

berryzplus · 2018-08-08T03:34:42Z

sakura_core/Makefile

-	$(RCTOOL) $< sakura_grc.rc
-	$(RC) --language=0411 $(DEFINES) sakura_grc.rc -o $@
-	$(RM) sakura_grc.rc
+	$(RC) -c65001 --language=0411 $(DEFINES) sakura_rc.rc -o $@


すみません。提示した修正案が間違っておりました。

-c UTF8と書かないと動かないみたいです。

なんだか自分の環境では -c65001 でも -c UTF8 でも、もしくは -c オプション入れなくても sakura_rc.o の内容は全部同じになりました。環境依存ありますかね？

-c65001 でも -c UTF8 でも

ん？-c65001？-c 65001じゃなくて？
・・・コマンドラインの書き方間違ってた気配がｗ

-c65001 も -c 65001 もどっちもイケて、どっちも同じ結果でした

berryzplus · 2018-08-08T14:56:23Z

sakura_core/Makefile

@@ -32,7 +32,7 @@ DEFINES= \
 -DUNICODE \
 -DNDEBUG
 CFLAGS= -O2 \
- -finput-charset=cp932 -fexec-charset=cp932 \
+ -finput-charset=utf-8 -fexec-charset=cp932 \


ちゃんと試せてませんが「-finput-charset=utf-8」はなしでもいけてます。
「-finput-charset=utf8」だと「iconvにそんなエンコード名ないよ」と怒られます。

まぁもともと明示的な指定があったみたいなのでそれを踏襲して utf-8 にした、という経緯があります。無くても BOM 付き UTF-8 なら自動判定してくれそうではありますね。

問題ないっす。
-finput-charset=utf-8 を付けた場合で問題ないことも確認できてます。

kobake · 2018-08-12T03:09:11Z

何度か言及していますがこの PR は #304 の btool ビルドを最低限チェックできるようにするためのものです。この PR だけで完璧な Makefile を作り上げる目的ではないことをご理解ください。

berryzplus · 2018-08-12T03:15:55Z

追加情報

ぼくが試した mingw32-make を使う方法だと git に PATH を通せないので、githashの生成がうまくいきません。MinGWでのビルドをサポートしている他のプロジェクト、たとえばgoogletestの場合、appveyor側で PATH からGITを外している模様。

あと、生成された sakura.exe は起動できないっぽいｗ

kobake · 2018-08-12T03:17:58Z

ま～、現状使ってる人が（おそらく）いない Makefile なので、そんなものでしょう。
むしろ sakura.exe 生成まで成功していることに驚きｗ

ただ、btool のビルドを確かめるためには現状では Makefile 必要なのでこの PR 上げた感じです。btool 自体が廃止される気配濃厚ですが。

m-tmatma · 2018-08-12T09:58:36Z

sakura_core/Makefile

@@ -449,14 +453,12 @@ $(HEADERMAKE): $(HEADERMAKETOOLDIR)/HeaderMake.cpp
 	$(CXX) $(CXXFLAGS) $(HEADERMAKETOOLDIR)/HeaderMake.cpp -o $@ -static-libgcc

 .rc.o:


ここ間違ってませんか?
rc ファイルのコンパイル結果は res ファイルです。

ここは使う人が勝手に決めるものなので、間違ってるとかではないのかな、と思います。
拡張子 res は microsoft が勝手に決めた仕様ですが、これはwindowsの仕様じゃないです。
ちなみに cmakeが吐く Makefile だと .rc.obj になります。
というわけで、rc→oで問題ないんじゃないかと思います。

MinGWではリソースファイルはCOFF obj形式にコンパイルして使います。
res形式はリンクできなかったような？

そうなんや

berryzplus · 2018-08-14T13:03:38Z

これのステータスってどうなんでしたっけ？

このPRの当初の目的(btoolのビルド確認)は失われている
Makefileの修正だけではビルドが通らないことが分かっている Makefile調整：入力ファイルUTF-8指定、GitHash出力 #306 (comment)
このあと CMakeLists.txt を完成させて「appveyor で MinGW ビルドする」という対応が控えているので生Makefileを修正する意味はあんまりなくなっている

kobake · 2018-08-15T21:07:57Z

これのステータスってどうなんでしたっけ？

初めから完璧な Makefile を仕上げる意図はなく、btool のビルド確認およびそれに付随して githash の対応を行うためだけの対応でした。

些細な目的と変更なので、まさかこの PR で理想状態を求められるとは思いませんでしたので、もう疲れてますし、正直どうでもいいかな、と思ってます。
他の人のほうで勝手にどうするか決めてください。クローズしても良いです。

コントリビュータに過度の負担をかける運用は将来必ず破綻することを常に頭に置いてください。

berryzplus · 2018-08-15T22:02:20Z

了解です。これと重複するPRを投げてよいものか判断つかなかったのでどうしたいか確認したかったです。（このPRに継ぎ足しでやるか、別目的で新たにPR起こすか。）

単純にビルドできる状態にもっていく試行は一度しているので、折をみて別PRを起こす腹積もりでいます。 #306 (comment)

kobake · 2018-08-19T07:22:55Z

res 出力を完璧にすることはこの PR の目的ではないことを再度書いておきます。そういうのはこの PR 対応の後で追加でやってください。現状の master がそもそも不完全なものであり、この PR がその不完全性をさらに上げる等でない限りはマージすることに問題は無いと考えています。

この PR がマージされたら #304 をマージする動きにします。

そもそも先に btool 消す対応するなら #306 も #304 もマージせずにクローズします。

選んでください。

berryzplus · 2018-08-19T07:41:52Z

この PR の目的は btool のビルド確認だと認識しています。
btool は廃止の方向で認識があったと思っています。
なので、この PR は目的を失ったと判断しております。
マージしてよいかの判断基準「目的を達成しているか」を満たせなくなったと理解しております。

そもそも先に btool 消す対応するなら #306 も #304 もマージせずにクローズします。

#351 がマージされたら btool 消す対応を進める腹積もりです。

kobake · 2018-08-19T07:45:08Z

ちょっとそういうどっちつかずの答えはダメですよ。クローズします。

kobake changed the title ~~Makefile調整：入力ファイルUTF-8、GitHash出力~~ Makefile調整：入力ファイルUTF-8指定、GitHash出力 Jul 26, 2018

m-tmatma reviewed Jul 26, 2018

View reviewed changes

k-takata reviewed Jul 26, 2018

View reviewed changes

k-takata mentioned this pull request Jul 26, 2018

btool 配下のソースコードを UTF-8 (BOM付き) に変換 #304

Closed

This was referenced Jul 26, 2018

appveyor で MingW ビルドする #309

Closed

MakefileMake を #18 の変更に対応させる #39

Closed

kobake added 3 commits August 8, 2018 06:40

入力ファイルのエンコーディング指定変更: cp932 -> utf-8

11f0f24

svnrev 出力関連を githash 出力に差し替え

aa2c3ae

-fexec-charset は utf-8 ではなく cp932 に戻す

9ec35b8

kobake force-pushed the makefile-utf8-githash branch from e8afea7 to 260f11b Compare August 7, 2018 21:40

m-tmatma reviewed Aug 7, 2018

View reviewed changes

sakura_rc ビルドを UTF-8 指定に変更 (RCTOOLは用いない)

8b4f21c

kobake force-pushed the makefile-utf8-githash branch from 260f11b to 8b4f21c Compare August 7, 2018 22:43

berryzplus reviewed Aug 11, 2018

View reviewed changes

m-tmatma reviewed Aug 12, 2018

View reviewed changes

This was referenced Aug 17, 2018

MinGW向けメイクファイルでサクラエディタをビルドできるようにする #349

Closed

MinGWでサクラエディタをビルドできるようにメイクファイルを更新する #351

Merged

kobake closed this Aug 19, 2018

kobake deleted the makefile-utf8-githash branch August 19, 2018 07:46

m-tmatma added the Won't Fix 対応しない【ChangeLog除外】 label Aug 25, 2018

berryzplus mentioned this pull request Sep 15, 2018

deleteのオーバーロードがGCCに怒られる対応 #386

Merged

ds14050 added the Won't Fix 対応しない【ChangeLog除外】 label Sep 18, 2018

		@@ -449,14 +453,12 @@ $(HEADERMAKE): $(HEADERMAKETOOLDIR)/HeaderMake.cpp
		$(CXX) $(CXXFLAGS) $(HEADERMAKETOOLDIR)/HeaderMake.cpp -o $@ -static-libgcc

		.rc.o:

Makefile調整：入力ファイルUTF-8指定、GitHash出力 #306

Makefile調整：入力ファイルUTF-8指定、GitHash出力 #306

Conversation

kobake commented Jul 26, 2018

注記

m-tmatma left a comment

Choose a reason for hiding this comment

kobake commented Jul 26, 2018

Choose a reason for hiding this comment

kobake Jul 26, 2018 • edited Loading

Choose a reason for hiding this comment

berryzplus commented Jul 26, 2018

m-tmatma commented Jul 26, 2018

m-tmatma commented Jul 26, 2018

m-tmatma commented Jul 26, 2018

kobake commented Jul 26, 2018

berryzplus commented Jul 26, 2018 • edited Loading

m-tmatma commented Jul 26, 2018

berryzplus commented Jul 29, 2018

kobake commented Aug 7, 2018

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

kobake commented Aug 7, 2018

m-tmatma commented Aug 7, 2018

kobake commented Aug 7, 2018

berryzplus commented Aug 8, 2018

berryzplus commented Aug 8, 2018 • edited Loading

追加情報

確認のための情報共有

ビルド確認手順

以上

m-tmatma commented Aug 9, 2018

kobake commented Aug 11, 2018 • edited Loading

berryzplus left a comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

kobake commented Aug 12, 2018

berryzplus commented Aug 12, 2018

kobake commented Aug 12, 2018

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

berryzplus commented Aug 14, 2018

kobake commented Aug 15, 2018 • edited Loading

berryzplus commented Aug 15, 2018

kobake commented Aug 19, 2018 • edited Loading

berryzplus commented Aug 19, 2018

kobake commented Aug 19, 2018

kobake Jul 26, 2018 •

edited

Loading

berryzplus commented Jul 26, 2018 •

edited

Loading

berryzplus commented Aug 8, 2018 •

edited

Loading

kobake commented Aug 11, 2018 •

edited

Loading

kobake commented Aug 15, 2018 •

edited

Loading

kobake commented Aug 19, 2018 •

edited

Loading