[sisyphus] perl и unicode
Boris Savelev
=?iso-8859-1?q?boris_=CE=C1_etersoft=2Eru?=
Пт Апр 11 13:40:47 MSD 2008
Здравствуйте!
Столкнулся с проблемой использования юникода в перле, а именно (cgi тест)
#!/usr/bin/perl -W
use strict;
print "Content-type: text/plain; charset=UTF-8\n\n";
my $text;
my $text_lc;
$text="БОЛЬШОЙ!маленький!small!BIG!";
$text_lc=lc($text);
print "Env 'PERL_UNICODE' is ";
print ${^UNICODE};
print "\n";
print "Run test: \n";
print "Source text\n";
print $text;
print "\n";
print "Text after LowerCase\n";
print $text_lc;
Текст написан в UTF8.
В таком виде тест не проходит, т.е. большие русские символы маленькими не
становятся, хотя с латинскими все прекрасно.
Далее если в начале добавить:
use utf8;
то тест отрабатывается, но:
Starting from Perl 5.8.0, the use of use utf8 is no longer necessary
(http://perldoc.perl.org/perluniintro.html)
rpm -qa | grep perl-base
perl-base-5.8.8-alt19
проверялось все это в OVZ-контейнере с apache22
Был еще нарыт ключик -С к perl, определяющий PERL_UNICODE, но манипуляции с
ним ни к чему не привели. Помогите советом, пожалуйста.
Еще хотелось бы спросить чем отличается использование
use utf8;
от
use encode 'utf-8';
?
PS: все это как-то всплыло при обнаружении не работающего поиска c
использование кирилицы по Bugzilla. Вся багзила в юникоде, база в юникоде, но
на этапе передачи параметров, слова поиска "портятся" (из-за двойного
перекодирования?) из-за чего поиск ессно не удается. С включенным дебагом
запрос выглядит так (ищем слово "привет"):
SELECT bugs.bug_id, bugs.bug_severity, bugs.priority, bugs.bug_status,
bugs.resolution, bugs.bug_severity, bugs.priority, bugs.op_sys,
map_assigned_to.login_name, bugs.bug_status, bugs.resolution,
bugs.short_desc, (SUM(MATCH(longdescs_.thetext) AGAINST('привет' )) + CASE
WHEN bugs.short_desc LIKE '%������%' THEN 7 ELSE 0 END) AS relevance FROM
bugs INNER JOIN profiles AS map_assigned_to ON (bugs.assigned_to =
map_assigned_to.userid) INNER JOIN longdescs AS longdescs_ ON (bugs.bug_id =
longdescs_.bug_id ) LEFT JOIN bug_group_map ON bug_group_map.bug_id =
bugs.bug_id AND bug_group_map.group_id NOT IN (13,4,1,10,11,6,2,8,12,5,3,7,9)
LEFT JOIN cc ON cc.bug_id = bugs.bug_id AND cc.who = 1 WHERE
((bugs.bug_status IN ('UNCONFIRMED','NEW','ASSIGNED','REOPENED')) AND
(MATCH(longdescs_.thetext) AGAINST('привет' ) > 0 OR (bugs.short_desc
LIKE '%������%'))) AND bugs.creation_ts IS NOT NULL AND
((bug_group_map.group_id IS NULL) OR (bugs.reporter_accessible = 1 AND
bugs.reporter = 1) OR (bugs.cclist_accessible = 1 AND cc.who IS NOT NULL) OR
(bugs.assigned_to = 1) ) GROUP BY bugs.bug_id ORDER BY relevance desc LIMIT
200
Если добавить "use utf8;" в buglist.cgi и в нужный шаблон, то проблема
исчезает, но это хак, а хочется понять суть проблемы, может она банальна-)
Может я все усложнил, но help, help!
--
С уважением, Борис Савельев
Подробная информация о списке рассылки Sisyphus