Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

dat直アクセスへの対応 #12

Open
3 tasks done
onihusube opened this issue Jul 11, 2023 · 8 comments
Open
3 tasks done

dat直アクセスへの対応 #12

onihusube opened this issue Jul 11, 2023 · 8 comments

Comments

@onihusube
Copy link
Owner

onihusube commented Jul 11, 2023 •
edited
Loading

  • dat落ち時過去ログ変換
  • dat取得時リンク置換
  • dat取得時©マークの置換
    • これって現存してる？ -> してた
onihusube referenced this issue Jul 11, 2023
@onihusube
非API、dat落ちしたスレのHTML変換対応
fc38379
onihusube added a commit that referenced this issue Jul 11, 2023
@onihusube
差分取得時のhttps/5ch->2ch変換 #12
f25565e
onihusube added a commit that referenced this issue Jul 11, 2023
@onihusube
dat全件取得時のhttps/5ch -> 2chリンク置換 #12
8cf9825
@onihusube
Copy link
Owner Author

dat落ちしてるときの応答が404になってるので、302に変更して応答するようにしておいた

@onihusube

This comment was marked as outdated.

Sign in to view
@onihusube
Copy link
Owner Author

過去ログが取れないのは過去ログ倉庫のURLが変わったん？

昔
http://egg.2ch.net/software/kako/1689/16890/1689054614.dat.gz
↓
http://egg.2ch.net/software/kako/1689/16890/1689054614.dat

今
http://egg.5ch.net/software/oyster/1689/1689054614.dat

@onihusube
Copy link
Owner Author

onihusube commented Jul 11, 2023 •
edited
Loading

DATファイルへのアクセスが再び解放されました。

DATファイルへのアクセス方法は以下の通りです。
・稼働中のスレッド
/板名/dat/スレッドキー.dat
例： https://agree.5ch.net/operate/dat/1608930977.dat

・DAT落ちした現役サーバに収容されているスレッド
/板名/oyster/スレッドキー上位4桁の数字/スレッドキー.dat
例： https://agree.5ch.net/operate/oyster/1684/1684064837.dat

・過去ログサーバに収容されているスレッド
/板名/oyster/スレッドキー上位4桁の数字/スレッドキー.dat
例： https://natto.5ch.net/food/oyster/1021/1021787092.dat
例： https://mamono.5ch.net/newsplus/oyster/1237/1237017133.dat

※ 過去ログサーバについては上述URLでは読めないスレッドが一部にあります。
現在、新しい過去ログサーバを構築しておりますので稼働しだいすべての過去ログが閲覧できるようになります。

onihusube referenced this issue Jul 12, 2023
@onihusube
過去ログ倉庫へのアクセスを新しいURLに振り替えるようにした
870ad0d 
過去ログ倉庫へのアクセスのHTML変換が無効の場合のみ
@onihusube

This comment was marked as resolved.

Sign in to view
onihusube added a commit that referenced this issue Jul 12, 2023
@onihusube
スレタイ©マーク置換処理のバグ修正 #12
edffc77
@onihusube

This comment was marked as resolved.

Sign in to view
@onihusube
Copy link
Owner Author

5ch->2ch置換有効にすると
http://o.5ch.net/
まで
http://o.2ch.net/
に直してしまってアクセス先が見つからなくなるのは変わってないな

onihusube referenced this issue Jul 13, 2023
@onihusube
過去ログ倉庫へのアクセス置換の設定の解釈変更
9c10997 
過去ログ倉庫へのアクセスを通常通り行ったうえで、取得できなかった場合にHTML変換を試みるようにした
ただし、現状はdat落ちを検出したら即HTML変換を行うため実質機能しない、追加の設定が必要
onihusube added a commit that referenced this issue Jul 18, 2023
@onihusube
可能なら過去ログ倉庫からdatを取得できるように設定の再解釈と調整 #12
bf06e21 
「offlaw2/Rokkaへのアクセス置換時のみHTML変換する」設定を、通常datアクセス時のdat落ち検出時に変換して応答しない（過去ログ倉庫へのアクセスを専ブラに試みさせる）という意味に変更

動作としては、「過去ログをHTMLから変換する」をオンにしたうえで
dat落ち即変換(これまで通り）したい => 「dat落ちを直接HTML変換で応答しない」をオフに
可能なら過去ログ倉庫からdatを取得したい => 「dat落ちを直接HTML変換で応答しない」と「過去ログ倉庫へのアクセス置換する」を両方オン
過去ログ倉庫からdatを取得するがHTML変換はしてほしくない => 「dat落ちを直接HTML変換で応答しない」をオンにし「過去ログ倉庫へのアクセス置換する」をオフにする
@onihusube
Copy link
Owner Author

突然「ERROR: 送信された内容が破損しています。」が出て書き込めなくなりました。
昨日までは何事もなく読み書き共に順調にできていて、今日になって突然書き込み時に
出るようになりました。読み込みはできています。お心当たりの方や同じ症状が出ている方
いらっしゃいますか？

ギコナビはﾊﾞﾀ72(1.72.0.862)、串は20230713 nonAPI testを使っています。 >>577

content-lengthの算出方法が5chの要求にあわなくなった
まだUA変えるだけでAPIなしで書けてた末期に確認されてる

Detour串のサイトに原因が説明されていたけど、8月以降つながらなくなってる

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Assignees
No one assigned
Labels
None yet
Projects
None yet
Milestone
No milestone
Development

No branches or pull requests
1 participant
@onihusube