<div>&gt; <span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; font-size: 13px; background-color: rgb(255, 255, 255); ">However, I think you are abusing MaybeT</span></div><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; font-size: 13px; background-color: rgb(255, 255, 255); ">&gt; here.  MaybeT is a transformer which adds failure capability to a</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; font-size: 13px; background-color: rgb(255, 255, 255); ">

<span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; font-size: 13px; background-color: rgb(255, 255, 255); ">&gt; monad m: a MaybeT m computation can now fail at any point, causing the</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; font-size: 13px; background-color: rgb(255, 255, 255); ">

<span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; font-size: 13px; background-color: rgb(255, 255, 255); ">&gt; entire computation to fail.</span><div><br></div>MaybeT m values fail monadically in the same sense that Maybe fails, and the failure action of the inner m monad is accessed by using runMaybeT. For example: say we&#39;ve got a function that opens a file and deserializes an object of type a from inside:<div>

<br></div><div><br></div><div>f :: FilePath -&gt; MaybeT IO a</div><div>f filePath = MaybeT $ do</div><div>    fileContents &lt;- readFile filePath</div><div>    return $ deserialize fileContents  </div><div><br></div><div>

<div>deserialize :: String -&gt; Maybe a</div><div>deserialize str = ...</div><div><br></div><div><br></div><div>So f can fail either in Maybe (via deserialize) or in IO (via readFile). If it fails by Maybe, then we get the monadic behavior we expect from Maybe. If it fails by IO, then the next time we pass it to runMaybeT we&#39;ll get the IO exception.</div>

<div><br></div><div><div>The Monad instance for MaybeT m is also enlightening:</div><div><br></div><div><br></div><div>newtype MaybeT m a = MaybeT { runMaybeT :: m (Maybe a) }</div><div><br></div><div><div>instance (Monad m) =&gt; Monad (MaybeT m) where</div>

<div>    fail _ = MaybeT (return Nothing)</div><div>    return = lift . return</div><div>    x &gt;&gt;= f = MaybeT $ do</div><div>        v &lt;- runMaybeT x</div><div>        case v of</div><div>            Nothing -&gt; return Nothing</div>

<div>            Just y  -&gt; runMaybeT (f y)</div><div><br></div><div><br></div><div>So we see that (MaybeT m a) is just a wrapper around (m (Maybe a)). When we do anything monadic with a MaybeT m value, it gets cracked open and the m monad is evaluated first.</div>

<div><br></div><div>&gt; <span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; font-size: 13px; background-color: rgb(255, 255, 255); ">However, your Maybe values do *not*</span></div><span style="font-size: 13px; color: rgb(34, 34, 34); font-family: arial, sans-serif; background-color: rgb(255, 255, 255); ">&gt; indicate failure of the entire computation: they just indicate that</span><br style="font-size: 13px; color: rgb(34, 34, 34); font-family: arial, sans-serif; background-color: rgb(255, 255, 255); ">

<span style="font-size: 13px; color: rgb(34, 34, 34); font-family: arial, sans-serif; background-color: rgb(255, 255, 255); ">&gt; individual values are to be filtered out. </span><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; font-size: 13px; background-color: rgb(255, 255, 255); ">The result is that you have</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; font-size: 13px; background-color: rgb(255, 255, 255); ">

<span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; font-size: 13px; background-color: rgb(255, 255, 255); ">&gt; to be very careful to leave the MaybeT computations inside the list,</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; font-size: 13px; background-color: rgb(255, 255, 255); ">

<span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; font-size: 13px; background-color: rgb(255, 255, 255); ">&gt; and then manually run them one by one.</span><div><br></div><div>They indicate a possibility of failure of the kind that can be filtered out, as opposed to a failed IO, which indicates some external problem. It&#39;s all gravy because we have these two ways to fail, with the desired Maybe behavior as the &quot;outer&quot; monad.</div>

</div><div><font color="#222222" face="arial, sans-serif"><br></font></div><div><font color="#222222" face="arial, sans-serif">&gt; </font><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; font-size: 13px; background-color: rgb(255, 255, 255); ">From the types one might</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; font-size: 13px; background-color: rgb(255, 255, 255); ">

<span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; font-size: 13px; background-color: rgb(255, 255, 255); ">&gt; expect that you could simply do away with sequenceMTAll and use &#39;mapM&#39;</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; font-size: 13px; background-color: rgb(255, 255, 255); ">

<span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; font-size: 13px; background-color: rgb(255, 255, 255); ">&gt; in place of &#39;map&#39;, but this would have the wrong semantics.</span><font color="#222222" face="arial, sans-serif"><br>

</font><div><br></div><div>You&#39;re right, and that&#39;s the reason for my writing sequenceMTAll.</div><div><br></div><div>&gt; <span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; font-size: 13px; background-color: rgb(255, 255, 255); ">Do you have any concrete</span></div>

<span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; font-size: 13px; background-color: rgb(255, 255, 255); ">&gt; examples where your approach above is either more efficient or more</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; font-size: 13px; background-color: rgb(255, 255, 255); ">

<span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; font-size: 13px; background-color: rgb(255, 255, 255); ">&gt; incremental than the version I originally gave?</span><div><br></div><div>I don&#39;t grok Haskell complexity analysis very intuitively yet, so I can&#39;t say anything concrete about efficiency without writing it out like a proof. But regarding incremental processing: let&#39;s look at the mapM solution:</div>

<div><br></div><div><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; font-size: 13px; background-color: rgb(255, 255, 255); ">lst &gt;&gt;= (mapM getMB &gt;=&gt; (return . catMaybes) &gt;=&gt; mapM getC)</span></div>

<div><br></div><div>Written out in do notation (and with the mapM&#39;s expanded a bit), it&#39;s:</div><div><br></div><div>f :: m [a] -&gt; m [c]</div><div>f lst = do</div><div>    lstA &lt;- lst</div><div>    lstMB &lt;- sequence $ map getMB lstA</div>

<div>    let lstB = catMaybes lstMB</div><div>    lstC &lt;- sequence $ map getC lstB</div><div>    return lstC</div><div><br></div><div>We&#39;ve got two calls to sequence here, so we&#39;re evaluating getMB x for every x in lstA before we ever think about evaluating</div>

<div>getC on any of those results. So we can&#39;t get a final result for the first element of the list until we&#39;ve computed partial results for all the elements.</div><div><br></div><div>In contrast, using MaybeT lets us get rid of catMaybes and actually compose getMB with getC. Then we can just sequence the list once (using sequenceMTAll which mashes up catMaybes semantics with sequence functionality).</div>

<div><br></div><div>Best,</div>Mike S Craig<br>(908) 328 8030<br>
<br><br><div class="gmail_quote">On Thu, Sep 15, 2011 at 12:41 PM, Brent Yorgey <span dir="ltr">&lt;<a href="mailto:byorgey@seas.upenn.edu">byorgey@seas.upenn.edu</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;">

<div class="im">On Thu, Sep 15, 2011 at 01:49:55AM -0400, Michael Craig wrote:<br>
&gt; Alright, I return from the land of transformers with a solution:<br>
&gt;<br>
&gt;<br>
&gt; import Control.Monad.Trans.Class<br>
&gt; import Control.Monad.Trans.Maybe<br>
&gt;<br>
&gt; main = sequenceMTAll (lst&#39; &gt;&gt;= map (getB&#39; &gt;=&gt; getC&#39;))<br>
&gt;<br>
&gt; lst&#39; = lift lst :: MaybeT m [a]<br>
&gt; getB&#39; = MaybeT . getMB<br>
&gt; getC&#39; = lift . getC<br>
&gt;<br>
&gt; sequenceMTAll :: (Monad m) =&gt; [MaybeT m a] -&gt; m [a]<br>
&gt; sequenceMTAll (x:xs) = do<br>
&gt;     y &lt;- runMaybeT x<br>
&gt;     case y of<br>
&gt;       Nothing -&gt; sequenceMTAll xs<br>
&gt;       Just z -&gt; sequenceMTAll xs &gt;&gt;= return . (z:)<br>
&gt; sequenceMTAll [] = return []<br>
<br>
</div>This is clever: moving the Maybe processing into the monad lets the<br>
two maps fuse into one.  However, I think you are abusing MaybeT<br>
here.  MaybeT is a transformer which adds failure capability to a<br>
monad m: a MaybeT m computation can now fail at any point, causing the<br>
entire computation to fail.  However, your Maybe values do *not*<br>
indicate failure of the entire computation: they just indicate that<br>
individual values are to be filtered out.  The result is that you have<br>
to be very careful to leave the MaybeT computations inside the list,<br>
and then manually run them one by one.  From the types one might<br>
expect that you could simply do away with sequenceMTAll and use &#39;mapM&#39;<br>
in place of &#39;map&#39;, but this would have the wrong semantics.<br>
<br>
I am also still not convinced that this actually yields any sort of<br>
benefit, although I must confess that I often get confused thinking<br>
about strictness of monadic computations.  Do you have any concrete<br>
examples where your approach above is either more efficient or more<br>
incremental than the version I originally gave?<br>
<font color="#888888"><br>
-Brent<br>
</font><div><div></div><div class="h5"><br>
&gt;<br>
&gt;<br>
&gt; (Of course in real code I&#39;d just modify lst, getMB, getC, etc. to fit the<br>
&gt; new types. The crux here is sequenceMTAll.)<br>
&gt;<br>
&gt; Am I abusing Maybe too much?<br>
&gt;<br>
&gt; Mike S Craig<br>
&gt; <a href="tel:%28908%29%20328%208030" value="+19083288030">(908) 328 8030</a><br>
&gt;<br>
&gt;<br>
&gt; On Thu, Sep 15, 2011 at 1:15 AM, Brent Yorgey &lt;<a href="mailto:byorgey@seas.upenn.edu">byorgey@seas.upenn.edu</a>&gt;wrote:<br>
&gt;<br>
&gt; &gt; On Wed, Sep 14, 2011 at 09:21:04PM -0400, Michael Craig wrote:<br>
&gt; &gt; &gt; Brent: Thanks for reminding me about (&gt;=&gt;). Far more readable! But<br>
&gt; &gt; regarding<br>
&gt; &gt; &gt; the sequence thing: I can think of all sorts of reasons why we&#39;d want to<br>
&gt; &gt; do<br>
&gt; &gt; &gt; a single traversal. How about when lst is long or infinite? In general,<br>
&gt; &gt; it&#39;s<br>
&gt; &gt; &gt; more useful to produce output incrementally than all at once at the<br>
&gt; &gt; &gt; end.<br>
&gt; &gt;<br>
&gt; &gt; Yes, producing output incrementally is great!  My point is that<br>
&gt; &gt; usually laziness will take care of it for you, without having to<br>
&gt; &gt; worry about it specifically.<br>
&gt; &gt;<br>
&gt; &gt; In this particular case, most monads will not actually allow<br>
&gt; &gt; incremental processing anyway.  For example, suppose m = Maybe.  Then<br>
&gt; &gt; when mapping getMB over lst, any particular element could cause the<br>
&gt; &gt; whole computation to fail.  So we cannot output anything based on the<br>
&gt; &gt; first elements in the list until we have processed the entire list,<br>
&gt; &gt; because until we get to the very end of the list we do not know<br>
&gt; &gt; whether to begin by outputting &#39;Just&#39; or &#39;Nothing&#39;.<br>
&gt; &gt;<br>
&gt; &gt; -Brent<br>
&gt; &gt;<br>
&gt; &gt; &gt;<br>
&gt; &gt; &gt; Mike S Craig<br>
&gt; &gt; &gt; <a href="tel:%28908%29%20328%208030" value="+19083288030">(908) 328 8030</a><br>
&gt; &gt; &gt;<br>
&gt; &gt; &gt;<br>
&gt; &gt; &gt; On Wed, Sep 14, 2011 at 8:18 PM, Brent Yorgey &lt;<a href="mailto:byorgey@seas.upenn.edu">byorgey@seas.upenn.edu</a><br>
&gt; &gt; &gt;wrote:<br>
&gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; On Wed, Sep 14, 2011 at 06:48:29PM -0400, Michael Craig wrote:<br>
&gt; &gt; &gt; &gt; &gt; Say we&#39;ve got these types<br>
&gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; lst :: m [a]<br>
&gt; &gt; &gt; &gt; &gt; getMB :: a -&gt; m (Maybe b)<br>
&gt; &gt; &gt; &gt; &gt; getC :: b -&gt; m c<br>
&gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; and we want to map getMB and getC over the elements of lst, all the<br>
&gt; &gt; while<br>
&gt; &gt; &gt; &gt; &gt; discarding elements x where getMB x == Nothing.<br>
&gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; (This could be generalized more by replacing Maybe with some monad<br>
&gt; &gt; m&#39;,<br>
&gt; &gt; &gt; &gt; but<br>
&gt; &gt; &gt; &gt; &gt; let&#39;s run with Maybe because it&#39;s easy to talk about.)<br>
&gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; The best I&#39;ve got (after some help on IRC) is this<br>
&gt; &gt; not-so-easy-to-read<br>
&gt; &gt; &gt; &gt; &gt; oneliner:<br>
&gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; lst &gt;&gt;= (\x -&gt; mapM (liftM (liftM getC) (getMB x)) &gt;&gt;= sequence<br>
&gt; &gt; &gt; &gt; &gt; . catMaybes<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; How about this:<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt;  lst &gt;&gt;= (mapM getMB &gt;=&gt; (return . catMaybes) &gt;=&gt; mapM getC)<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; Everyone always forgets about (&gt;=&gt;).<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; This is hard to read, but it&#39;s also bad because we run sequence twice<br>
&gt; &gt; &gt; &gt; (once<br>
&gt; &gt; &gt; &gt; &gt; inside of mapM). If we want to do multiple things to each element of<br>
&gt; &gt; lst,<br>
&gt; &gt; &gt; &gt; it<br>
&gt; &gt; &gt; &gt; &gt; would be nice to process each element completely before moving on to<br>
&gt; &gt; the<br>
&gt; &gt; &gt; &gt; &gt; next.<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; I wouldn&#39;t worry about running sequence twice.  Processing things by<br>
&gt; &gt; &gt; &gt; chaining whole-structure transformations is the Haskell Way (tm).  All<br>
&gt; &gt; &gt; &gt; that business about &quot;doing only one traversal&quot; is for people<br>
&gt; &gt; &gt; &gt; programming in strict languages to worry about. The compiler can often<br>
&gt; &gt; &gt; &gt; turn a chain of wholesale transformations into a single traversal<br>
&gt; &gt; &gt; &gt; anyway.  In short, I see no particular reason why it is &quot;nice&quot; to<br>
&gt; &gt; &gt; &gt; process each element completely before moving on.  Isn&#39;t it nicer to<br>
&gt; &gt; &gt; &gt; be able to think in a more modular style?<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; -Brent<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; _______________________________________________<br>
&gt; &gt; &gt; &gt; Beginners mailing list<br>
&gt; &gt; &gt; &gt; <a href="mailto:Beginners@haskell.org">Beginners@haskell.org</a><br>
&gt; &gt; &gt; &gt; <a href="http://www.haskell.org/mailman/listinfo/beginners" target="_blank">http://www.haskell.org/mailman/listinfo/beginners</a><br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt;<br>
</div></div></blockquote></div><br></div></div></div>