lexer works fine, problem is in happy parser.<div><div><div><div><div><br><div class="gmail_quote">2010/10/26 Stephen Tetley <span dir="ltr">&lt;<a href="mailto:stephen.tetley@gmail.com">stephen.tetley@gmail.com</a>&gt;</span><br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;">Hello<br>
<br>
I would change you Alex specification to this:<br>
<br>
$digit = 0-9                    -- digits<br>
$alpha = [a-zA-Z]               -- alphabetic characters<br>
$eol = [\r\n]<br>
$any = [^$eol]<br>
<br>
tokens :-<br>
<br>
  $eol               { tok $ \_ -&gt; Eol }<br>
  $any+              { tok $ \s -&gt; Str s }<br>
<br>
<br>
The complementation operator (^) works of character sets so I don&#39;t<br>
expect your original formulation to work:<br>
<br>
$any = [^\r\n]<br>
<br>
(maybe it should, but I never liked the Alex syntax...)<br>
<br>
You can test alex scanners like this:<br>
<br>
demo01 = alexScanTokens &quot;happy?\n&quot;<br>
demo02 = readFile &quot;sample&quot; &gt;&gt;= print . alexScanTokens<br>
<br>
Note - your sample file is using extended characters so it fails for<br>
me with Alex 2.3.2. I&#39;m now sure how capable the current version of<br>
Alex is or whether better Unicode support can be enabled with flags.<br>
<br>
Regards<br>
<br>
Stephen<br>
_______________________________________________<br>
Haskell-Cafe mailing list<br>
<a href="mailto:Haskell-Cafe@haskell.org">Haskell-Cafe@haskell.org</a><br>
<a href="http://www.haskell.org/mailman/listinfo/haskell-cafe" target="_blank">http://www.haskell.org/mailman/listinfo/haskell-cafe</a><br>
</blockquote></div><br></div></div></div></div></div>