TSfree 発言

Bruce.さん  ＜  こん？？は でび です

On Fri,  2 Dec 2005 14:33:04 +0900 (JST)
kbk@... (Bruce.) wrote:

> > > s/\([ぁ-ん]\)\([亜-腕弌-熙]\)/\1\
> > 
> > これ漢字の方は期待通りのマッチングしません。

UTF8で[a-z]の形式で指定してみましたが、

｜ mbsed -Wctype=UTF8 -f KIRIDASI.SED HONBUN.TXT > HONBUN1.TXT

だと、以下のエラーでハネられます。

｜ mbsed: option `-W ctype=UTF8' unrecognized, ignored
｜ mbsed: file KIRIDASI.SED line 28: Invalid range end

28行目にsedで予期していないコード範囲が含まれているの
でしょうか…。

UTF8オプションが効いていない…ような気もしますが、
指定方法が間違っていますか？
使ったのは「非・鬼車版」の2005/08/24版です。

なお、HONBUN.TXTは青空文庫から適当な作品を、UTF8、
BOMなし、CRLF改行で保存したものを使いました。

sedスクリプトファイルはUTF8なので、添付ファイルに
したかったのですが、ISHに変換して貼り付けてみます。

Unicodeテキストで「疑似的な単語区切り」をやって
みたいんですよね…。

○例文：
Bruce.君の今日のお昼ご飯はコロッケ弁当でした。

○学校文法による単語区切り：
Bruce.君|の|今日|の|お昼|ご飯|は|コロッケ弁当|でし|た|。

○文字種別の切り替わり位置による疑似的な単語区切り：
Bruce.|君|の|今日|のお|昼|ご|飯|は|コロッケ|弁当|でした|。

こんな感じ。
分かち書きでない日本語でも、まずまずの結果が得られます。
この後、Sort→UNIQすれば、頻出語彙（特に漢字語とカタカ
ナ語）を簡易に調べられる、と。

 # そう言えば、「Bruce.」の"."は「本田美奈子.」や
 #「モーニング娘。」よりも古くからある用例ですねぇ。先駆者？

<<< kiridasi.sed for MS-DOS  ( use non-kana ish ) [ 33 lines ] >>>
!!SG!(9Q!4"P$n_V>/H)%wC^u2;f!("H!&LQYt!"!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!'f
!!SG!(9Q!4"P$n_V>/H)%wC^u2;f!("H!&LQYt!"!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!'f
!!SG!(9Q!4"P$n_V>/H)%wC^u2;f!("H!&LQYt!"!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!'f
"f忖z:rNR"Y脈J8:b稀文J8:b稀文J8'?f恂:堂\荅13瑾_!)搓c眈N笙%痣ufF存復埔恫市nC/g:b
$t^s桑M2臓q(材粉%!1晃VZ'?f忖z:rNR"Y脈J8:b稀文J8:b稀文J8'?f廰<?皈(拷@C胡jg繰I?B~
%麦u%-賦賞袮}Mi=DY39_鄙i隕u?喀吹R却Cb;V{弭f8?lM2,"+賎U$廡觜鳴乗3|8Oi(8J拯z[K拱%
&xJ\g挾志7$>;詳弉"c53琅S庚/tW'y瀁y4Ql愍楞c拡Z喀f冢%y恵%]G\0"L柑h/m薑^-D女[Dm駢+
'"(=[屬S{7澂W'召賊藥S0名&'J|Z圉wcm=耨P_'?f彗_窗w<r\c皰卵夸糢d患悖二;(洟hppJ}K/H
(tE県乎ls"芳蝗捗%!BS<7皎O?)剋鐘恣"+=[幵S窺/tyME薄w)c'湃桎VJ褓\8xAn3/coRJ8毯伶+T
)D-cL6P'%ml&V擢n凵ZrUnn蘆:aMw2sE)[D)SU%慄觀鳴乗3|8O_}[蟇4kJxldS/RN誡慶%]G\0"XK(
*o鏤砠矜;r%z]Q渉贈u?S0率&'KB_N穗!{掠2@輯冲袮}Mi=DYC扨A1{|haQl朞'!古&:鼎yGa殼|蹤
+l瓠Hv6laF>O^Ii/壅$w搜緬告L氷H^bk'0憶BCf瓠gMa*締0杁"4J8:b稀文J8:b稀文J8:b稀VVBB
,稀文hI(捌!jd}奔&'1w]e_$)搓c眈兀,2"^6l嬾撰$-GC單告L氷袋Irw儖柑川便FY嗽艇dZK'*=+
-(診J>SpRN訶bVDeRN%ybUFNRgf3恵%]G\0"L柑h/m薑^-D女[D2|U$怦ek鳴乗3|("Ah屬惆~h灑:v
/8嬌Z圉wcm=耨P_'?f廰Y鯖F貊((Uh^5!l4S繧^b!茅襪珮y叩c9籐~錻>4<H(88!gM+消T峩"'h,5N
0晝呀PIR臺+鎗U'廡訖)TU$怦袙ew[C怦裼閃鳥R蚌ZogBsz猫L氷(88!gM+消T峩"'53焜S込嵌mk2
1[d2|U$怦ek閃鳥R蚌ZogBsz猫L氷(88!gM+消T峩"'53焜S込嵌Wj^5D駁CO]=S)際-JPG'?蓄p[?~
2>拱烟:躓gM+消T峩"'53焜S込嵌Wj^5!l4S繧^b!茅襪珮y叩c9籐;RN'嶬i鼠'?蓄^遭i=,[dI"Y$
3x!6o;I:w諠B<3献創薹蚶率創蛄ly,黍[d浮聊狩"稗GC單告I蠑PFR覡寐撕柑,[dI'鬨弉"cN020
4諠B<3献創薹蚶率創蛄ly,黍[d2|U$怦ek閃鳥R蚌ZogBsz猫L氷(88!kb(+ld呪nT&:鼎g)nT@...!k
5勤裝]=S)]o郭懸wcm=耨/:8d]u審hLR徭@椣乗;xx!6o;I:w諠B<3献創薹蚶率創蛄ly,黍[d瀲@s
6"8E蔀T垠"apU琅獨"L礦欷S込c09s~l,[pW捩%^0jsBixq/漕$0W沾v髻I螟朝3馬訝P圭f冢配Jt+
7a浙抂~k鯨L淵湯Xx7燻ixq/漕$0W沾v髻I螟朝弉"c53琅惆"'=[宦惆章=[愍S込c09s~l,[pWyf6
8uhwx啗R虔0覦U$怦ek閃'Q8!ml&B摘hpa浙抂~k鯨L淵湯Xx7燻ixq/漕$0W沾v髻I螟朝恣"8徨Jf
9婉Je;(:w謚藉8Z:w駅呀PI;f川名"H=<uhwxhG^用E菅@jf拵柴s*S/RN誡翆M桙罪菴/:8dx!ii?>
:幾袰延g)享vE]@S)際-JPG'?蓄^遭i=TQE菅@jf拵柴s*S/RN誡翆M桙罪菴/:8dx!6o;I:w諠db8S
;"烹W歃灼3V劼胯釈^&瞰PFR覡寐撕柑,[dI'鬨恣"8E蔀T垠"apU琅獨"L礦欷S込嵌Wj癩!d0?^A@
<ek閃鳥R蚌ZogBsz猫L氷(88!ml&{'狆fH促猿筐fL7g猿罠fB忤iFq/漕$2W狒灼^&瞰PFR覡寐7r@
=堺冶乗3|稀文J8:b稀文J8:b稀文J8:b稀文"H繙!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!琥9c
g蒟S伺2\<<{!存:唐q3o澹贋各8x[1>菟苔SOJ履,Qo鹸癇}gNv徼編,蠍?篩]2{y毎殳74蛞賑s擲?
i乙o2I搏Q球[0斫syjxT&S^弊瞞褶WS(鐃楠s,WJiul漾eN斉Le孱}nV_檗&~Q掘\8N&J1噌Y^"鴇@R
--- kiridasi.sed (33/33) ---

でび  http://homepage1.nifty.com/davi/