[sisyphus] странное и некрасивое поведение utf8 в паре rails/mysql

[Michael Bykov]

25 июня 2009 г. 10:57 пользователь Anton V. Boyarshinov
(boyarsh на altlinux.org) написал:
> On Wed, 24 Jun 2009 20:31:40 +0400 Michael Bykov wrote:
>
>> странное и некрасивое поведение utf8 в паре rails/mysql
>> Вторая строка - корректный результат, первая загадочна:
>>
>> первая буква слова в поле wo_stress, по которому я ищу, ἰ = 0xF130, а
>> в значении, которое mysql нашёл, ἱ = 0x1F31. То есть это разные
>> строки!
>
> Конкретно про MySQL не скажу, но про unicode вообще.. Ситуация на
> первый взгляд, конечно, странная, но по своему корректная.. Дело в том,
> что unicode это не кодировка в обычном смысле, а довольно сложная штука
> (даже без учёта конечного автомата utf8). Многие символы можно записать
> в unicode разными способами, и в ряде случаев они при этом должны
> трактоваться как одинаковые.
>
> Так, например, русская буква 'й' может быть записана двумя
> равнозначными способами: как один глиф 'й' и как (два глифа) 'и' с
> надстрочным символом (MacOS X использует второй способ, что порождает
> порядочную кашу при переносе по крайней мере файлов, содержащих 'й' в
> имени). Аналогично ё. Насчёт вашего примера в корректности работы
> поиска не уверен, но вероятность того что в данному случае правильное
> unicode сравнение должно работать именно так, оцениваю как высокое. При
> unicode сравнении сравниваются не байты.
>
> Антон
> _______________________________________________
> Sisyphus mailing list
> Sisyphus на lists.altlinux.org
> https://lists.altlinux.org/mailman/listinfo/sisyphus


MySQL продолжает упорствовать в своих заблуждениях.

show variables like '%character_set\_%';
+--------------------------+--------+
| Variable_name            | Value  |
+--------------------------+--------+
| character_set_client     | utf8   |
| character_set_connection | utf8   |
| character_set_database   | utf8   |
| character_set_filesystem | binary |
| character_set_results    | utf8   |
| character_set_server     | utf8   |
| character_set_system     | utf8   |
+--------------------------+--------+
7 rows in set (0.00 sec)

 show variables like '%collation\_%';
+----------------------+-----------------+
| Variable_name        | Value           |
+----------------------+-----------------+
| collation_connection | utf8_unicode_ci |
| collation_database   | utf8_general_ci |
| collation_server     | utf8_unicode_ci |
+----------------------+-----------------+
3 rows in set (0.00 sec)

 Dict.find_by_word "ᾆδω"
=> #<Dict id: 2622, parent_id: nil, group_id: nil, variant_id: nil, word: "ἄδω"

но  "ᾆδω"  это не "ἄδω" совсем.

Интересно, может быть постгрес будет проще настроить?

М.