[sisyphus] perl и unicode

Boris Savelev =?iso-8859-1?q?boris_=CE=C1_etersoft=2Eru?=
Пт Апр 11 13:40:47 MSD 2008


Здравствуйте!
Столкнулся с проблемой использования юникода в перле, а именно (cgi тест)
#!/usr/bin/perl -W
use strict;
print "Content-type: text/plain; charset=UTF-8\n\n";
my $text;
my $text_lc;
$text="БОЛЬШОЙ!маленький!small!BIG!";
$text_lc=lc($text);
print "Env 'PERL_UNICODE' is ";
print ${^UNICODE};
print "\n";
print "Run test: \n";
print "Source text\n";
print $text;
print "\n";
print "Text after LowerCase\n";
print $text_lc;

Текст написан в UTF8.
В таком виде тест не проходит, т.е. большие русские символы маленькими не 
становятся, хотя с латинскими все прекрасно.
Далее если в начале добавить:
use utf8;
то тест отрабатывается, но:
Starting from Perl 5.8.0, the use of use utf8  is no longer necessary
(http://perldoc.perl.org/perluniintro.html)
rpm -qa | grep perl-base
perl-base-5.8.8-alt19
проверялось все это в OVZ-контейнере с apache22
Был еще нарыт ключик -С к perl, определяющий PERL_UNICODE, но манипуляции с 
ним ни к чему не привели. Помогите советом, пожалуйста.

Еще хотелось бы спросить чем отличается использование
use utf8;
от
use encode 'utf-8';
?

PS: все это как-то всплыло при обнаружении не работающего поиска c 
использование кирилицы по Bugzilla. Вся багзила в юникоде, база в юникоде, но 
на этапе передачи параметров, слова поиска "портятся" (из-за двойного 
перекодирования?) из-за чего поиск ессно не удается. С включенным дебагом 
запрос выглядит так (ищем слово "привет"):
SELECT bugs.bug_id, bugs.bug_severity, bugs.priority, bugs.bug_status, 
bugs.resolution, bugs.bug_severity, bugs.priority, bugs.op_sys, 
map_assigned_to.login_name, bugs.bug_status, bugs.resolution, 
bugs.short_desc, (SUM(MATCH(longdescs_.thetext) AGAINST('привет' )) + CASE 
WHEN bugs.short_desc LIKE '%������%' THEN 7 ELSE 0 END) AS relevance FROM 
bugs INNER JOIN profiles AS map_assigned_to ON (bugs.assigned_to = 
map_assigned_to.userid) INNER JOIN longdescs AS longdescs_ ON (bugs.bug_id = 
longdescs_.bug_id ) LEFT JOIN bug_group_map ON bug_group_map.bug_id = 
bugs.bug_id AND bug_group_map.group_id NOT IN (13,4,1,10,11,6,2,8,12,5,3,7,9) 
LEFT JOIN cc ON cc.bug_id = bugs.bug_id AND cc.who = 1 WHERE 
((bugs.bug_status IN ('UNCONFIRMED','NEW','ASSIGNED','REOPENED')) AND 
(MATCH(longdescs_.thetext) AGAINST('привет' ) > 0 OR (bugs.short_desc 
LIKE '%������%'))) AND bugs.creation_ts IS NOT NULL AND 
((bug_group_map.group_id IS NULL) OR (bugs.reporter_accessible = 1 AND 
bugs.reporter = 1) OR (bugs.cclist_accessible = 1 AND cc.who IS NOT NULL) OR 
(bugs.assigned_to = 1) ) GROUP BY bugs.bug_id ORDER BY relevance desc LIMIT 
200
Если добавить "use utf8;" в buglist.cgi и в нужный шаблон, то проблема 
исчезает, но это хак, а хочется понять суть проблемы, может она банальна-)
Может я все усложнил, но help, help!
-- 
С уважением, Борис Савельев


Подробная информация о списке рассылки Sisyphus