Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

U+2028 (LINE SEPARATOR) in index files appears to cause a fatal database error on resolution of a query #41

Closed
subsystem7 opened this issue Jun 26, 2017 · 6 comments
Labels
Milestone

Comments

@subsystem7
Copy link
Collaborator

This issue is likely related to this issue:

storesafe/cordova-sqlite-storage#147

It appears that whenever a query returns results that contain one of the many indices where the key has the character combination '\n' -- a crash happens. Here is an example.

"གྲགས་པ་རྒྱལ\nམཚན། གསུང་འབུམ":["W3GSP297"]

The temporary fix is to remove all of these from the index files.

@xristy
Copy link

xristy commented Jun 26, 2017 via email

@ngawangtrinley
Copy link

This didn't solve the problem with "དོན་ག" and "དོན་གྲུབ་" though...

@subsystem7
Copy link
Collaborator Author

NT: did the app reimport when you launched the new version? You may need to uninstall it fully from your phone and try again. It tested fine on my iPhone. :(

@subsystem7
Copy link
Collaborator Author

I have now tested this on my android phone (S5) from the Play Store install, and the problem is no longer there with the latest release (last week). Can you confirm, @ngawangtrinley ?

@subsystem7 subsystem7 changed the title '\n' in index files appears to cause a fatal database error U+2028 (LINE SEPARATOR) in index files appears to cause a fatal database error on resolution of a query Jul 5, 2017
@subsystem7
Copy link
Collaborator Author

Just FYI: Here are the entries in the indexes that containe the unicode line separator:

[Log] possible bad data - found LINE SEPARATOR U+2028
[Log] རྗེ་བཙུན་བླ་མ་དམ་པ་མཁས་ཤིང་གྲུབ་པའི་དབང་ཕྱུག་བྲག་དཀར་རྡོ་རྗེ་འཆང་བློ་བཟང་དཔལ་ལྡན་བསྟན་འཛིན་སྙན་གྲགས་དཔལ་བཟང་པོའི་གསུང་འབུམ་གླེགས་བམ་ཕ་པའི་དཀར་ཆག

 O1PD84604-O1PD846041PD84851

[Log] possible bad data - found LINE SEPARATOR U+2028
[Log] དཔལ་རྡོ་རྗེ་འཇིགས་བྱེད་དཔའ་བོ་གཅིག་པའི་བསྐྱེད་རིམ་དངོས་གྲུབ་བདུད་རྩིའི་བུམ་བཟང།
  O1PD84604-O1PD846041PD84867

[Log] possible bad data - found LINE SEPARATOR U+2028
[Log] དཔལ་རྡོ་རྗེ་འཇིགས་བྱེད་དཔའ་བོ་གཅིག་པའི་རིམ་གཉིས་ཀྱི་ཁྲིད་དངོས་གྲུབ་བདུད་རྩིའི་བུམ་བཟང་ལས་རིམ་པ་གཉིས་པའི་ཁྲིད།
 O1PD84604-O1PD846041PD84869

[Log] possible bad data - found LINE SEPARATOR U+2028
[Log] ཐམས་ཅད་མཁྱེན་གཟིགས་རྗེ་བཙུན་བླ་མ་བློ་བཟང་དཔལ་ལྡན་བསྟན་འཛིན་སྙན་གྲགས་དཔལ་བཟང་པོའི་རྣམ་ཐར་ངོ་མཚར་སྐལ་བཟང་རྣ་བའི་བདུད་རྩིའི་ཁ་སྐོང་ཡིད་ཀྱི་གདུང་སེལ།
 O1PD84604-O1PD846041PD84910

[Log] possible bad data - found LINE SEPARATOR U+2028
[Log] ངེས་པར་དོན་གྱི་རྡོ་རྗེ་འཆང་ཐམས་ཅད་མཁྱེན་གཟིགས་རྗེ་བཙུན་བླ་མ་བློ་བཟང་དཔལ་ལྡན་བསྟན་འཛིན་སྙན་གྲགས་དཔལ་བཟང་པོའི་རྣམ་ཐར་ངོ་མཚར་སྐལ་བཟང་རྣ་བའི་བདུད་རྩི།
 O1PD84604-O1PD846041PD84907

@subsystem7
Copy link
Collaborator Author

I added code that removes U+2028 and U+2029 if they appear in the key.

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
Projects
None yet
Development

No branches or pull requests

3 participants