<div class="gmail_quote">Hi Bulat,<br><br>On Tue, Aug 17, 2010 at 10:34 AM, Bulat Ziganshin <span dir="ltr">&lt;<a href="mailto:bulat.ziganshin@gmail.com">bulat.ziganshin@gmail.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin: 0pt 0pt 0pt 0.8ex; border-left: 1px solid rgb(204, 204, 204); padding-left: 1ex;">

<div class="im">
&gt; It&#39;s not clear to me that using UTF-16 internally does make<br>
&gt; Data.Text noticeably slower.<br>

</div><br>not slower but require 2x more memory. speed is the same since<br>
Unicode contains 2^20 codepoints<br></blockquote></div><br>Yes, in theory a program could use as much as 2x the memory. That being said, most programs don&#39;t hold that much text data in memory at any given point so that might be 2x of a small number. One experiment [1] found it difficult to show any difference in memory usage at all in Trac when switching Python&#39;s internal representation from UCS2 to UCS4.<br>

<br>So it&#39;s not clear to me that using UTF-16 makes the program noticeably slower or use more memory on a real program.<br><br>1. <a href="http://www.cmlenz.net/archives/2008/07/the-truth-about-unicode-in-python">http://www.cmlenz.net/archives/2008/07/the-truth-about-unicode-in-python</a><br>

<br>Cheers,<br>Johan<br><br>