Enhancement: add / fix turndown rules, improve CLI #43

t-hamano · 2022-07-25T02:53:31Z

はじめまして。
現在コアコントリビューターハンドブックの日本語化を進めており、こちらのライブラリを使わせていいただいています。

主に、より正確にパース出来るようにするために、以下の変更を加えさせていただきました。

一部 glossary が除去出来ていなかった点を修正
dt タグを srong タグに変換（dtタグはマークダウンでは使えないため、strongタグで代用する）
コードブロックをマークダウンに変換する
- コード内の文字がエスケープされないように修正
- コードブロックのクラス名から言語を読み取り、マークダウンにもその言語を付与する（例：```php）
- テーブルタグのサポート（theadが無いテーブルは、Handle tables with no headers by creating an empty Markdown header mixmark-io/turndown-plugin-gfm#10 によりHTMLのままマークダウンファイルにも反映されてしまうので、完全ではありません）
CLIの引数 team を必須から任意に変更（ここが必須だと、正しいエンドポイントを指定出来ないハンドブックが存在したため）

一度に多くの変更を加えてしまい申し訳ないのですが、ご確認いただけると幸いです。

t-hamano · 2022-07-25T02:54:49Z

README.md

 - `-b, --handbook` &lt;handbook&gt; Specify handbook name. (Default "handbook")
 - `-s, --sub-domain` &lt;sub-domain&gt; Specify subdomain name. e.g. "developer" for developer.w.org, "w.org" for w.org (Default "make")
 - `-o, --output-dir` &lt;output-dir&gt; Specify the directory to save files (default `en/`)
+- `-r, --regenerate` &lt;regenerate&gt; If this option is supplied, the directory you specified as output directory will once deleted, and it will regenerate all the files in the directory

 ### Example


いくつかのハンドブックのエンドポイントが変わった？せいか、Exampleのコマンドでは取得出来ないものがあったため、修正に加え、コマンド例も追加しました。

t-hamano · 2022-07-25T02:57:30Z

cli.js

+  .option(
+    '-t, --team <team>',
+    'Specify team name'
+  )


現状のテーマハンドブックやプラグインは、team を未指定にしないと正しいURLが生成出来ないのですが、'' と空文字を指定してもCLIでエラーになったため、任意オプションに変更いたしました。

t-hamano · 2022-07-25T03:00:07Z

cli.js

-const turndown = require('turndown')
-const turndownService = new turndown({
+const TurndownService = require('turndown')
+const {tables}  = require('turndown-plugin-gfm')


turndownコアにはtableタグをパースする機能はないため、こちらのコメントにある通り、別のライブラリを導入しました。

t-hamano · 2022-07-25T03:01:13Z

cli.js

+turndownService.use(tables);
+
+// Remove Glossary
+turndownService.addRule('glossary', {


glossasy の除去を、文字列置換ではなく turndown の addRule に置き換えた所、正しく除去できるようになりました。

t-hamano · 2022-07-25T03:03:35Z

cli.js

+});
+
+// Remove code trigger anchor
+turndownService.addRule('code-trigger-anchor', {


コードブロックを開閉するための#リンク（Expand full source code / Collapse full source code）を除去します。

t-hamano · 2022-07-25T03:06:32Z

cli.js

+});
+
+// Transform pre code block to code markdown
+turndownService.addRule('precode to code', {


このルールが一番ややこしいと思うのですが、以下のロジックで処理しています。

filter でコードブロックを検出（preタグで、必ずbrush: というクラス名が含まれている）

クラス名に含まれているコード言語を検出（```の後に付与するため）

_ や * などの文字がエスケープされるので、アンエスケープする

不要なpタグやbrタグが入ってくる事があるので、除去する

mirucon

PR ありがとうございます！
内容に大枠問題なさそうですが細かいところのみコメントしたのでご対応いただけると嬉しいです
難しそうな場合こちらでやっちゃうのでお声がけください

cli.js

mirucon · 2022-07-28T09:37:26Z

cli.js

+turndownService.addRule('glossary', {
+  filter: node => {
+    const classList = node.getAttribute('class');
+    if ( classList ) {


yarn lint:fix で Prettier をかけていただけるとありがたいです

f2fa42e にて対応いたしました。

Co-authored-by: Toshihiro Kanai <i@miruc.co>

t-hamano · 2022-07-28T10:27:45Z

ご確認いただきありがとううございます！
Suggestの部分はそのままcommitし、その他の点も対応いたしました。

mirucon

ご対応ありがとうございました！

t-hamano · 2022-07-28T10:39:52Z

こちらこそありがとうございました 😊

mirucon · 2022-07-28T15:48:33Z

@t-hamano こちらの対応を取り込んだバージョン v1.0.0 を npm にリリースしました！

t-hamano · 2022-07-28T16:20:05Z

ありがとうございます！
さっそく使わせていただきます😊

Enhancement: add / fix turndown rules, improve CLI

d23c437

t-hamano commented Jul 25, 2022

View reviewed changes

t-hamano mentioned this pull request Jul 25, 2022

原文にGlossaryの文章が含まれている jawordpressorg/core-handbook#44

Closed

mirucon self-requested a review July 25, 2022 03:19

mirucon reviewed Jul 28, 2022

View reviewed changes

t-hamano and others added 4 commits July 28, 2022 19:21

Fix comment typo

6377194

Co-authored-by: Toshihiro Kanai <i@miruc.co>

Code Refactoring

18b9689

Co-authored-by: Toshihiro Kanai <i@miruc.co>

Revert CLI description

2d011df

Lint fix

f2fa42e

mirucon approved these changes Jul 28, 2022

View reviewed changes

mirucon merged commit 4ead1f8 into mirucon:main Jul 28, 2022

t-hamano deleted the update/improve-turndown branch July 28, 2022 10:39

This was referenced Aug 19, 2023

原文の更新 jawordpressorg/plugin-handbook#10

Merged

原文の更新 jawordpressorg/theme-handbook#16

Merged

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

Enhancement: add / fix turndown rules, improve CLI #43

Enhancement: add / fix turndown rules, improve CLI #43

t-hamano commented Jul 25, 2022 •

edited

Loading

t-hamano Jul 25, 2022

t-hamano Jul 25, 2022

t-hamano Jul 25, 2022

t-hamano Jul 25, 2022

t-hamano Jul 25, 2022

t-hamano Jul 25, 2022

mirucon left a comment

mirucon Jul 28, 2022

t-hamano Jul 28, 2022

t-hamano commented Jul 28, 2022

mirucon left a comment

t-hamano commented Jul 28, 2022

mirucon commented Jul 28, 2022

t-hamano commented Jul 28, 2022

Enhancement: add / fix turndown rules, improve CLI #43

Enhancement: add / fix turndown rules, improve CLI #43

Conversation

t-hamano commented Jul 25, 2022 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

mirucon left a comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

t-hamano commented Jul 28, 2022

mirucon left a comment

Choose a reason for hiding this comment

t-hamano commented Jul 28, 2022

mirucon commented Jul 28, 2022

t-hamano commented Jul 28, 2022

t-hamano commented Jul 25, 2022 •

edited

Loading