On Tue, Aug 17, 2010 at 6:19 PM, John Millikin <span dir="ltr">&lt;<a href="mailto:jmillikin@gmail.com">jmillikin@gmail.com</a>&gt;</span> wrote:<br><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;">

<div class="im">Ruby, which has an enormous Japanese userbase, solved the problem by</div>
essentially defining Text = (Encoding, ByteString), and then<br>
re-implementing text logic for each encoding. This allows very<br>
efficient operation with every possible encoding, at the cost of<br>
increased complexity (caching decoded characters, multi-byte handling,<br>
etc).</blockquote><div><br></div><div>This code introduce overhead as each function call needs to dispatch on the encoding, which is unlikely to be known statically. I don&#39;t know if this matters or not (yet another thing that needs to be measured).</div>

<div><br></div><div>-- Johan</div><div> </div></div>